Pontos a GPTZero? Íme, mit mutatnak a bizonyítékok

Az olyan AI-szövegdetektorok, mint a GPTZero, statisztikai lenyomatokat keresnek, nem "olvassák" a jelentésedet. A két alapvető jelzés a perplexitás (mennyire kiszámítható az egyes szavak egy referencia nyelvi modell számára) és a burstiness, azaz a kilengés (mennyire változik ez a kiszámíthatóság mondatról mondatra). Az elgondolás az, hogy az emberi írás hajlamos kevésbé kiszámíthatónak és egyenetlenebbnek lenni, míg a nyers gépi kimenet gyakran simább és egységesebb.

A GPTZero elmondása szerint mostantól ezeket a klasszikus jelzéseket egy nagyobb, több összetevőből álló modellel kombinálja, amelyet változatos írásokon — köztük diákszövegeken — tanítottak, mondat- és dokumentumszintű pontszámokat produkálva. Ez azért számít, mert így kell értelmezned az eredményt: a detektor egy valószínűséget becsül az írásminták alapján, nem bizonyítja a szerzőséget. Tehát a "pontosság" nagymértékben függ attól, milyen szöveget adsz meg neki, és hol húzzák meg az átmenő/elutasított küszöböt.

Kontrollált benchmarkokban a GPTZero erősen teljesít. A gyártói és harmadik féltől származó benchmark-tesztek a magas 90-es évek százalékában jelentett felismerést egyértelműen AI által generált szövegrészeken, nagyon alacsony fals pozitív arányokkal a válogatott adatkészleteken. Az ilyen tiszta, egyértelmű AI-szövegeken képes eszköz.

A rendezetlenebb, valós írásokon végzett független tesztelés óvatosabb képet fest. A 2026-os áttekintések szerint a valós pontosság jellemzően a közepes-80-as és alacsony-90-es évek százalékában mozog, a fals pozitív arányok pedig a valódi emberi írásoknál gyakran 8-12% körülire tehetők, az adatkészlettől függően. Ezek a számok az adatkészlettel és a beállításokkal együtt mozognak, ezért bármely egyetlen százalékot inkább hozzávetőlegesnek, mintsem garanciának tekints. Az őszinte összefoglaló: erős a hígítatlan AI-kimeneten, láthatóan bizonytalanabb mindenen, ami ettől eltér.

A legjobban dokumentált gyengeség a nem anyanyelvi angol írókkal szembeni torzítás. Egy széles körben idézett Stanford-tanulmány (Liang és társai, megjelent a Patterns folyóiratban, 2023) hét GPT-detektort futtatott 91, nem anyanyelvi angol beszélők által írt TOEFL-esszén és 88, amerikai diákok által írt esszén. A detektorok jól kezelték az amerikai esszéket, de a nem anyanyelvi esszék több mint felét tévesen AI-nak minősítették — átlagosan körülbelül 61%-os fals pozitív aránnyal —, ahol szinte mindegyiket legalább egy detektor megjelölte, és nagyjából minden ötödiket az összes tesztelt detektor.

Az ok mechanikus, nem rosszindulatú. A detektorok által "géphez" társított minták — mint az egyszerűbb szókincs, a kiszámíthatóbb megfogalmazás és a korlátozott idiomatikus díszítés — egyben egy második vagy harmadik nyelven írt szöveg természetes jellemzői is. Árulkodó módon ugyanez a tanulmány azt találta, hogy a fals pozitív arány élesen csökkent, amikor ezeket az esszéket kifinomultabb szóhasználattal írták át, ami azt mutatja, hogy a pontszám a stílust tükrözi, nem az őszinteséget. Ha angolul írsz mint pótlólagos nyelven, egyetlen AI-jelzés valódi szkepticizmust érdemel.

A detektor pontossága csökken, amint a szöveg eltávolodik a nyers modellkimenettől. A 2026-os független tesztelés szerint a pontosság körülbelül 15-30 százalékponttal csökkenhet az átfogalmazott vagy erősen szerkesztett szövegrészeken, és a vegyes ember-plusz-AI vázlatokon az eredmények különösen következetlenek. A kevert írás — ahol egy ember szerkeszt egy AI-vázlatot, vagy egy AI csiszol egy emberi vázlatot — pontosan az a szürke zóna, ahol a detektorok a legjobban küzdenek.

A rövid szövegek egy másik gyenge pont: mindössze néhány mondattal egyszerűen nincs elég jelzés egy magabiztos döntéshez, és mind a fals pozitívok, mind a fals negatívok száma nő. A gyakorlati tanulság az, hogy a GPTZero a leghosszabb, érintetlen AI-kimeneten a legjobb, és a legkevésbé megbízható a szerkesztett, átfogalmazott, hibrid vagy rövid szövegeken — amelyek a legtöbb valós dokumentum tényleges formáját jelentik.

Egyetlen jelenlegi detektor sem — beleértve a GPTZero-t is — végleges, és maguk az eszközök is általában elleneznek, hogy egy pontszámot egyetlen bizonyítékként használj. Kezelj minden eredményt valószínűségként és arra való felszólításként, hogy közelebbről is megnézd, ne ítéletként. Ha egy szöveget megjelölnek, mérlegeld a kontextust: az író háttere, a vázlatok és a verziótörténet, valamint az, hogy hogyan készült a szöveg, mind többet számítanak, mint egyetlen szám.

Ésszerű munkafolyamat egy második, független eszközzel is ellenőrizni, ahelyett hogy egyetlen pontszámban bíznál, és különösen óvatosnak lenni a nem anyanyelvi írókkal, a rövid szövegrészekkel és a szerkesztett vázlatokkal. Az oktatók és bírálók számára ez azt jelenti, hogy a detektorokat egy beszélgetés-indítóként használják az emberi ítélőképesség mellett. Az írók számára ez azt jelenti, hogy átláthatóan tartják a folyamatukat, és saját önellenőrzést futtatnak, mielőtt beadják a szöveget, hogy egy meglepő jelzés ne érje őket felkészületlenül.