A mesterséges intelligencia (MI) alapú szoftverek verbális intelligenciáját vizsgálták az ELTE PPK-n, az eredmény: a teszten a gépek legyőzték az embereket. Kiderült, vannak olyan, az MI-án alapuló programok, amelyeknek szókincse meghaladhatta egy anyanyelvi doktori fokozatú emberét. Mindezt egy komoly kutatással, bizonyította Kovács Kristóf, az ELTE PPK tudományos főmunkatársa, a Kognitív Képességek Kutatócsoport vezetője és a tesztező platformokkal foglalkozó Klein Balázs. A kutatás során két nagy nyelvi mesterséges intelligencia, a ChatGPT és Bing teljesítményét egy több, mint 9 ezer fős normacsoporthoz hasonlították.
„Lenyűgöző is, és nem is” – nyilatkozta a kutatás eredményéről a két szakember. „Ha adatbázis alkalmazásként tekintjük, akkor ennél jobb teljesítmény is elképzelhető, hiszen ha valaki egy hatalmas szinonímaszótárral ül le megcsinálni egy szókincstesztet, annak elvileg egyáltalán nem is kellene hibáznia, márpedig a ChatGPT és más nyelvi modellek lényegében rendelkeznek a világ legnagyobb szinonímaszótárával. Ha viszont intelligenciaként nézzük, akkor meglepően jó eredményt értek el ezek a nyelvi modellek” – magyarázta Kovács Kristóf. „Ha ezek a gépek emberek lennének, kiemelkedő tehetségnek számítanának” – tette hozzá Klein Balázs. Magyarázata szerint ugyanis két feladat kombinációját oldotta meg a ChatGPT és a Bing. Megértették, hogy mi volt a kérdés, értelmezték és megtalálták a szinonímákat. Olyan, mintha intelligensek lennének, és ez nagy teljesítmény. Persze máshogyan azok, mint mi, emberek, más úton oldanak meg feladatokat, ezért nevezzük mesterségesen intelligensnek őket.
A résztvevőknek kilenc felsorolt szó közül mindig azt a kettőt kellett kiválasztaniuk, amelyek jelentése a legközelebb állt egymáshoz. Az alkalmazott teszt adaptív volt, azaz ha jó választ adtak a tesztkitöltők, akkor egyre nehezebb feladatok érkeztek, míg helytelen válasz esetén egyre könnyebbek. Az eredmények összehasonlításakor két releváns háttérváltozót vettek figyelembe: a kitöltőnek anyanyelve-e az angol, illetve, mennyire iskolázott. Az anyanyelviek és a magasabban iskolázottak érték el a legjobb eredményeket. Az anyanyelvi diplomások az összes kitöltő 80 százalékánál teljesítettek jobban, az anyanyelvi doktori fokozattal rendelkezők 90 százalékánál, míg a két nyelvi modell száz emberből 95-nél ért el jobb eredményt. Az MI alkalmazásoknak a közeljövőben valószínűleg az emberek száz százalékánál jobb szókincse lesz.
Elsöprő magyar siker az első Mesterséges Intelligencia Diákolimpián
A négy magyar versenyző egy arany, két ezüst és egy bronzérmet nyert a szaúd-arábiai Rijádban. Az eseményen a mesterséges intelligencia olyan területein mérték össze tudásukat a diákok, mint a gépi tanulás, a mélytanulás és megerősítéses tanulás – olvasható az ELTE hétfői közleményében. A négy fős magyar keretből Labancz Benedek (Kecskeméti Bolyai János Gimnázium) arany-, Christ Miranda Anna (Budapesti Fazekas Mihály Gyakorló Általános Iskola és Gimnázium) és Szilágyi Balázs (Békásmegyeri Veres Péter Gimnázium) ezüst-, a még csak 10. osztályos Ungár Vince (Békásmegyeri Veres Péter Gimnázium) pedig bronzéremmel zárta a versenyt.
A gépek kiemelkedő teljesítményük mellett azonban vétettek néhány hibát is. Az ismétlődő kérdések 42 százalékánál eltérő válaszokat adtak – ilyen embereknél nem történik. Esetenként „hallucinációik” is voltak: olyan szavakkal válaszoltak, amelyek nem szerepeltek a megadott opciók között. (Ez akkor is megtörtént, ha korábban már helyesen megválaszolták a kérdést, tehát nem arról volt szó, hogy nem tudták a megoldást.) Ezek a hibák arra mutatnak rá, hogy az embereknek szánt pszichometriai teszteknek a mesterséges intelligencia esetében vannak korlátai. Iskolai esszét, dolgozatot íratni a ChatGP-vel ezért is kockázatos, főleg, ha a diák nem nyúl bele, nem bírálja fölül. Könnyű lebukni, mert ezek a rendszerek időnként „hazudnak” és a stílusuk is könnyen felismerhető. De például egy igazgató évnyitó beszédét tökéletesre alkotják. A következő évek, évtizedek kérdése, hogy melyek azok a teljesítmények, amikben az ember jobb a MI-nál. Klein Balázs és Kovács Kristóf folytatja ilyen irányú közös kutatásait, további modelleket vizsgálnak, nem csak szókincs-, hanem nemverbális problémamegoldó tesztekkel is, összehasonlítva az emberek és a mesterséges intelligencia képességeit.
A nyelvi modellek
A nagy nyelvi modellek olyan mesterségesintelligencia-típusok, amelyek képesek ember alkotta szövegekhez hasonló tartalmak létrehozására. Ezek a modellek – például a ChatGPT és a Bing – forradalmi változást hoztak az MI világában, és már képesek élethűen utánozni egyes emberi képességeket, például a szövegalkotást.
