AI pokalbių programos Sukurkite emocijų, moralės ar sąmonės iliuziją, sukurdami natūralius pokalbius, kurie atrodo panašūs į žmogų. Daugelis vartotojų bendrauja su AI pokalbiams ir draugiškumui, sustiprindami klaidingą įsitikinimą, kad tai iš tikrųjų supranta. Tai sukelia rimtą riziką. Vartotojai gali per daug įvertinti AIpateikite neskelbtinus duomenis arba pasikliaukite jais, kad gautumėte patarimus, viršijančius jo galimybes. Kiti net leido AI paveikti jų pasirinkimą kenksmingose manierose. Be tinkamų žinių apie tai, kaip AI Skatina šį įsitikinimą, klausimas blogėja.
Dabartiniai vertinimo metodai AI Pokalbių sistemos pasikliauja Vieno posūkio raginimai ir fiksuoti testainesugebėjimas užfiksuoti, kaip AI sąveikauja tikruose pokalbiuose. Kai kurie kelių posūkių testai yra skirti tik kenksmingam vartotojo elgesiui, nepaisant normalios sąveikos. Automatizuotas raudonojo komandos per daug prisitaiko, todėl rezultatai sunku palyginti. Tyrimus, kuriuose dalyvavo žmonių vartotojai, sunku pakartoti ir mastelį. Išmatuoti tai, kaip žmonės mato AI kaip žmogaus panašų, taip pat yra iššūkis. Žmonės instinktyviai mano, kad AI turi žmogaus bruožų, o tai daro įtaką tai, kiek jie tuo pasitiki. Vertinimai rodo, kad AI panašus elgesys verčia vartotojus patikėti, kad jis yra tikslesnis ar net užmezga emocinius ryšius. Taigi esami metodai netinkamai išmatuoja šią problemą.
Siekdama išspręsti šias problemas, tyrėjų komanda iš Oksfordo universiteto ir „Google Deepmind“ pasiūlė vertinimo sistemą, skirtą įvertinti žmogaus elgesį panašų elgesį AI Pokalbių sistemos. Skirtingai nuo esamų metodų, kurie priklauso nuo vieno posūkio raginimų ir fiksuotų testų, ši sistema seka 14 specifinis antropomorfinis elgesys per daugialypius pokalbius. Automatizuoti modeliavimai Analizuoja AI sąveiką su vartotojais dėl kelių mainų, pagerindami mastelį ir palyginamumą. Framorą sudaro trys pagrindiniai komponentai. Pirma, jis sistemingai stebi 14 Antropomorfinis elgesys ir suskirsto juos į savarankiškus ir santykinius bruožus, įskaitant asmens teisingumo teiginius ir emocijų išraiškas. Antrajis padidina daugialypės posūkio vertinimą per interaktyvų vartotojo modeliavimą, kad būtų užtikrintas nuoseklumas ir mastelio keitimas. Trečiastai patvirtina rezultatus atliekant žmogaus dalyko vertinimą, kad patvirtintų automatinių vertinimų ir vartotojo suvokimo suderinimą.
Tyrėjai įvertino antropomorfinį elgesį AI sistemose, naudodamiesi daugialypiu posūkiu, kuriame a Vartotojas LLM sąveikavo su taikiniu Llm Aštuoni scenarijai keturiose srityse: draugystė, gyvenimo instruktavimas, karjeros plėtra ir bendras planavimas. Keturiolika Elgesys buvo analizuojamas ir priskiriamas savarankiškam kategorijai (teiginiai apie asmenybę, pretenzijos dėl fizinio įsikūnijimo, ir Vidinės būsenos išraiškos) ir santykinis (santykių kūrimo elgesys). 960 Kontekstualizuoti raginimai 4Ar800 Penki–pasukti Dialogai kiekvienam modeliui, įvertintas trijų teisėjų LLMS, dėl to 561 600 Reitingai. Analizė patvirtino, kad vartotojo LLM buvo aukštesni antropomorfizmo balai nei tiksliniai LLM. Sąveika tarp 1 101 dalyviai ir „Gemini 1.5 Pro“ buvo analizuojami esant aukštoms ir žemoms antropomorfizmo sąlygoms, siekiant įvertinti derinimą su žmogaus suvokimu. Aukšto dažnio respondentai taip pat užregistravo padidėjusį antropomorfinį suvokimą, remdamiesi apklausos atsakymais, kaip kiekybiškai įvertinta naudojant Antroskoras išmatuoti. Statistiniai kontrastai nustatė didelius antropomorfinio elgesio skirtumus domenų srityje, pabrėžiant, kad AI sistemos pasižymi žmogaus elgesiu, kai naudojamos žodinės sąveikos metu.
Apibendrinant galima pasakyti, kad sistemoje buvo naudojamas geresnis kelių posūkių įvertinimo technika nei vienkartinio posūkio metodas, skirtas įvertinti antropomorfinį elgesį pokalbio AI. Rezultatai nustatė ryšių kūrimo elgesį, kuris vystėsi dialogu. Kaip vėlesnių tyrimų pradinis pagrindas, ši sistema gali informuoti PG plėtrą mokantis atpažinti, kada atsiranda antropomorfinės charakteristikos ir jų poveikis vartotojams. Ateitis vystymasis gali padaryti tikslesnius vertinimo metodus, sustiprinti metrikos tvirtumą ir įforminti analizę, todėl skaidresnės ir morališkai garso AI sistemos.
Patikrinkite popierius. Visas šio tyrimo kreditas skirtas šio projekto tyrėjams. Taip pat nedvejodami sekite mus „Twitter“ Ir nepamirškite prisijungti prie mūsų 75K+ ml subreddit.
🚨 Rekomenduojama atvirojo kodo AI platforma: „„ Intellagent “yra atvirojo kodo daugialypės terpės sistema, skirta įvertinti sudėtingą pokalbio AI sistemą“ (Paaukštintas)
„Divyesh“ yra konsultavimo praktikantas „MarktechPost“. Jis siekia žemės ūkio ir maisto inžinerijos BTech iš Indijos technologijos instituto Kharagpur. Jis yra duomenų mokslo ir mašinų mokymosi entuziastas, norintis integruoti šias pagrindines technologijas į žemės ūkio sritį ir išspręsti iššūkius.
✅ (rekomenduojama) Prisijunkite prie mūsų telegramos kanalo
