Geriausias AI detektorius mokytojams (ir kaip juo naudotis sąžiningai)

Rinkodaros puslapiai dažniausiai iškart pateikia vieną tikslumo procentą, tačiau tas skaičius retai atspindi jūsų klasę. Įrankis, kuris gerai vertina ilgą, neredaguotą AI tekstą, gali elgtis visai kitaip su trumpu, smarkiai peržiūrėtu mokinio rašiniu. Vertindami detektorių, kartu apsvarstykite keturis praktinius dalykus: kaip jis tvarko realų mokinių rašytą tekstą (įskaitant juodraščius ir taisymus), ar jis integruojasi su LMS, kurioje jau vertinate darbus, kaip tvarko jūsų klasės sąrašą ir mokinių privatumą, ir kiek kainuoja vienai klasei ar vienai vietai.

Daugumai pedagogų darbo eigos tinkamumas svarbesnis nei nedidelis tikslumo pranašumas. Detektorius, rodantis rezultatą tiesiai Canvas, Google Classroom, Moodle ar Blackboard aplinkoje — kur jau skaitote pateiktus darbus — yra kur kas naudingesnis nei šiek tiek „tikslesnis“ įrankis, į kurį reikia kopijuoti ir įklijuoti tekstą. Taip pat svarbus skaidrumas: rinkitės įrankius, kurie paaiškina, kodėl fragmentas buvo pažymėtas, ir suteikia papildomo konteksto (pavyzdžiui, rašymo proceso peržiūrą), o ne vien skaičių, kurį turite interpretuoti patys.

„Turnitin“ yra numatytasis institucinis pasirinkimas daugelyje mokyklų — jis sujungia seniai veikiančią plagijavimo atitikmenų duomenų bazę su AI teksto rodikliu tiesiai LMS viduje. „Turnitin“ viešai skelbia aukštą tikslumą (minimi skaičiai apie 98 %, su mažesniu nei 1 % klaidingai teigiamų rezultatų dažniu dokumentams, kuriuose AI dalis siekia 20 % ar daugiau, nors nepriklausomi testai su redaguotu ar perfrazuotu tekstu paprastai rodo žemesnius rezultatus). Verta paminėti, kad pati „Turnitin“ pažymi žvaigždute įverčius, patenkančius į maždaug 1–19 % intervalą, ir nurodo, kad rodiklis neturėtų būti vienintelis pagrindas akademinio sąžiningumo sprendimui. GPTZero populiarus tarp pavienių mokytojų ir teigia turintis didelę pedagogų vartotojų bazę; jis siūlo klasei pritaikytas funkcijas, tokias kaip rašymo proceso peržiūra (jo „Origin“ vaizdas), masinis įkėlimas, LMS integracijos su Canvas ir Google Classroom, ir teigia, kad modelis apmokytas atsižvelgiant į ESL rašytojus.

Copyleaks daugiausia dėmesio skiria plačiai LMS aprėpčiai (Canvas, Moodle, Blackboard, Brightspace, Schoology, Sakai ir kitos) ir pristatė „AI Logic“ funkciją, skirtą palaikyti įrodymais pagrįstus pokalbius, o ne vien bausti. Originality.ai labiau orientuota į leidėjus bei mokėjimą pagal naudojimą, tačiau siūlo akademinį modelį ir Chrome pagrindu veikiančią rašymo peržiūrą, o kaina, kaip pranešama, prasideda nuo maždaug 14,95 USD per mėnesį. Nepriklausomi visų šių įrankių testai labai skiriasi priklausomai nuo testavimo metodo — dažnai svyruoja nuo maždaug 75 iki 95 procentų su realaus pasaulio tekstu — todėl bet kokį vieną pagrindinį tikslumo teiginį, įskaitant pačių gamintojų, verta vertinti su sveiku atsargumu.

Svarbiausias dalykas, kurį turi suprasti kiekvienas mokytojas — AI detektoriai duoda klaidingai teigiamų rezultatų, ir tai vyksta netolygiai. Plačiai cituojamas 2023 m. Stanfordo tyrimas, publikuotas žurnale Patterns, patikrino septynis GPT detektorius ir nustatė, kad jie klaidingai priskyrė AI daugiau nei pusę TOEFL rašinių, parašytų ne gimtakalbių anglų kalbos vartotojų — vidutinis klaidingai teigiamų rezultatų dažnis siekė apie 61 %, o JAV gimusių studentų rašinius detektoriai teisingai pripažino švariais. Tolesni tyrimai, įskaitant Center for Democracy & Technology, rodo tą pačią tendenciją.

Tikėtinas mechanizmas yra tas, kad daugelis detektorių matuoja „perplexity“ — kiek nuspėjami yra pasirinkti žodžiai — o rašytojai, vartojantys paprastesnį, dažniau pasitaikantį žodyną (o taip rašo daug daugiakalbių ir jaunesnių mokinių), modeliui gali atrodyti panašūs į mašiną. Tai reiškia, kad mokiniai, kuriems gresia didžiausia rizika būti klaidingai pažymėtiems, dažnai yra būtent tie, kuriems sunkiausiai atlaikyti neteisingą kaltinimą. Tai nėra priežastis atsisakyti detektorių, tačiau tai lemianti priežastis niekada nelaikyti aukšto įverčio įrodymu ir būti ypač atsargiems su ESL bei neurologiškai kitaip funkcionuojančiais mokiniais, kurių natūralus stilius gali suveikti tuos pačius signalus.

Universitetų mokymo centruose formuojasi paprasta geroji praktika: detektoriaus įvertis yra žymė, o ne išvada. Naudokite jį nuspręsti, į ką pažvelgti atidžiau — niekada kaip savarankišką įrodymą. Jei pateiktas darbas gauna aukštą įvertį, susilaikykite nuo kaltinimo iš karto. Pradėkite nuo paties darbo: paprašykite mokinio papasakoti apie savo procesą, ką jis tyrinėjo, kaip atrodė ankstyvas juodraštis ir ką jis keitė. Įvertis verta tirti tik tada, kai jį patvirtina bent vienas nepriklausomas signalas.

Rinkite tokį patvirtinimą iš dalykų, kurių detektorius negali sufalsifikuoti. Google Docs (ar Word) versijų istorija parodo, ar darbas buvo rašomas palaipsniui, ar įklijuotas iš karto. Trumpas žodinis pokalbis, klasėje atliktas rašymo pavyzdys ar palyginimas su mokinio žinomu stiliumi iš ankstesnių darbų — visa tai suteikia realių įrodymų ir, kas taip pat svarbu, sąžiningą galimybę mokiniui pasiaiškinti. Įtraukite tai į skaidrią politiką, kurią pristatote iš anksto, kad mokiniai žinotų, kaip vertinamas AI naudojimas, ir žinotų, kad niekas nebus baudžiamas remiantis vien skaičiumi.

Vienas efektyviausių būdų sumažinti tiek netinkamą AI naudojimą, tiek nerimą dėl klaidingai teigiamų rezultatų — patikrą perkelti anksčiau, į paties mokinio rankas. Kai mokiniai gali patikrinti savo tikrą juodraštį nemokamu detektoriumi prieš pateikdami darbą, jie turi galimybę pamatyti, ar jų sąžiningai parašytas tekstas neskamba „kaip AI“, ir patikslinti ar pridėti savo balsą ten, kur fragmentas skamba pernelyg blankiai ar bendrai. Tai ypač raminantis dalykas daugiakalbiams mokiniams, kurie nerimauja, kad jų natūralus stilius bus klaidingai suprastas.

Skatinimas patiems pasitikrinti taip pat pakeičia santykį klasėje. Vietoje to, kad aptikimas būtų kažkas, kas daroma mokiniams po fakto, jis tampa peržiūros ir aiškumo žingsniu, kurį jie patys valdo — lygiai taip pat, kaip rašybos tikrintuvas ar skaitomumo įrankis. Tai nepakeis jūsų institucijos sąžiningumo proceso, tačiau sumažina įtampą: mažiau nustebusių mokinių, mažiau gynybinių pokalbių ir tekstas, aiškiau atspindintis kiekvieno mokinio paties mąstymą.