Text vyšiel pôvodne v denníku Washington Post.
Chatboty s umelou inteligenciou sa čoraz lepšie orientujú v umení ľudskej konverzácie. Problém je v tom, že podľa odborníkov sú náchylné dávať nepresné alebo nezmyselné odpovede, známe ako „halucinácie“.
Výskumníci teraz prišli s potenciálnym riešením: pomocou ďalších chatbotov skúsia vychytať chyby, ktoré urobili iné chatboty.
V článku sa dočítate:
- ako vedci testovali chatboty,
- čo vedci pri skúmaní chatbotov zistili,
- prečo by to mohol byť problém.
Odhalenie anomálií
Sebastian Farquhar, počítačový vedec z Oxfordskej univerzity, je autorom štúdie uverejnenej v časopise Nature, v ktorej sa uvádza, že chatboty, ako je ChatGPT alebo Gemini od spoločnosti Google, možno použiť na vyradenie nepravdivých údajov umelej inteligencie.
Chatboty využívajú veľké jazykové modely (LLM), ktoré čítajú obrovské množstvo textu z internetu a môžu sa používať na rôzne úlohy vrátane generovania textu predpovedaním ďalšieho slova vo vete. Boty nachádzajú vzory prostredníctvom pokusov a omylov a spätná väzba od ľudí sa potom používa na doladenie modelu.
Má to však jednu nevýhodu: chatboty nedokážu myslieť ako ľudia a nerozumejú tomu, čo ľudia hovoria.
Reálna skúsenosť s umelou inteligenciou stúpa s klesajúcim vekom Čítajte Aby to otestovali, Farquhar a jeho kolegovia kládli chatbotu otázky a potom použili druhý chatbot, ktorý preskúmal nezrovnalosti v odpovediach - podobne ako sa polícia môže pokúsiť odhaliť podozrivého tak, že mu kladie stále tú istú otázku. Ak mali odpovede výrazne odlišný význam, znamenalo to, že boli pravdepodobne skreslené.
Povedal, že chatbot dostal súbor bežných otázok, ako aj slovné úlohy z matematiky na základnej škole.
Výskumníci krížovo kontrolovali presnosť hodnotenia chatbota porovnaním s ľudským hodnotením tej istej podmnožiny otázok. Zistili, že chatbot sa zhodoval s ľudskými hodnotiteľmi v 93 percentách prípadov, zatiaľ čo ľudskí hodnotitelia sa navzájom zhodovali v 92 percentách prípadov - čo je dostatočné na to, aby sa vzájomné hodnotenie chatbotov nepovažovalo za znepokojujúce, povedal Farquhar.
Podľa Farquhara je pre priemerného čitateľa identifikácia niektorých chýb umelej inteligencie „dosť ťažká“.
Pri používaní LLM pre svoju prácu má často problém odhaliť takéto anomálie, pretože chatboty „často hovoria to, čo chcete počuť, vymýšľajú si veci, ktoré sú nielen hodnoverné, ale boli by užitočné, keby boli pravdivé, čo výskumníci označili ako podlízavosť“, uviedol v e-maile.
Nespoľahlivé odpovede sú prekážkou širokého prijatia chatbotov s umelou inteligenciou najmä v lekárskych oblastiach, kde by „mohli predstavovať riziko pre ľudský život“, uviedli výskumníci. Mohli by tiež viesť k vymysleným právnym precedensom alebo falošným správam.
Prilievanie oleja do ohňa
Nie každý je presvedčený, že používanie chatbotov na hodnotenie odpovedí iných chatbotov je skvelý nápad.
Karin Verspoor, profesorka počítačových technológií na RMIT University v austrálskom Melbourne, v článku News and Views v časopise Nature, uviedla, že „vyrážať klin klinom“ predstavuje riziko.
Zdá sa, že počet chýb vyprodukovaných LLM sa zníži, ak druhý chatbot zoskupí odpovede do sémanticky podobných zhlukov, ale „použitie LLM na hodnotenie metódy založenej na LLM sa zdá byť uvažovanie v kruhoch a môže byť neobjektívne“, napísala Verspoorová.
Umelá inteligencia podľa analytikov konkuruje finančným expertom či rozpočtárom Čítajte „Výskumníci sa budú musieť popasovať s otázkou, či tento prístup skutočne kontroluje výstup LLM, alebo neúmyselne prilieva olej do ohňa vrstvením viacerých systémov, ktoré sú náchylné na halucinácie a nepredvídateľné chyby,“ dodala.
Farquhar to vidí skôr ako stavbu dreveného domu s drevenými priečnymi trámami na podporu. „Nie je nič nezvyčajné na tom, že sa navzájom podopierajú výstužné komponenty,“ povedal.
