Welke AI-detector gebruikt Turnitin?

Turnitins AI-schrijfdetectie is een propriëtair, intern model dat Turnitin zelf ontwikkelde en in april 2023 lanceerde. Het is geen omgedoopte of gelicentieerde versie van de tool van een ander bedrijf — Turnitin bouwt en traint zijn eigen classifier op grote sets gepaarde menselijke en AI-geschreven tekst, gebruikmakend van de studentenschrijfdata die al door zijn plagiaatcontroledienst stroomt.

Sinds de lancering is Turnitin gegroeid van één model naar een combinatie van modellen, ontworpen om direct AI-gegenereerde tekst, geparafraseerde AI-tekst en AI-tekst die is aangepast door zogeheten 'humanizer'-tools te signaleren. Het bedrijf meldt dat de detector is gebruikt om ruim 200 miljoen papers te beoordelen bij duizenden instellingen.

Turnitins model leest doorlopende tekst en scoort die op zinsniveau, waarbij elke zin een waarde krijgt tussen 0 (met vertrouwen menselijk) en 1 (waarschijnlijk AI-gegenereerd). Daarvoor onderzoekt het het document in overlappende segmenten van ongeveer 250 woorden en telt die scores op zinsniveau op tot één totaalpercentage.

Dat percentage is een inschatting van hoeveel van het document volgens Turnitins software door AI-schrijftools is gegenereerd — geen definitief oordeel. Turnitin zelf presenteert het cijfer als aanleiding voor menselijke beoordeling, niet als bewijs van wangedrag, en onafhankelijk onderzoek heeft aanzienlijke percentages fout-positieven gedocumenteerd, waaronder hogere signaleringspercentages voor niet-native Engelstalige schrijvers en zeer formulematige academische tekst. Een percentage is een signaal, geen conclusie.

Nee. GPTZero, Originality.ai, Copyleaks en Turnitin zijn losse, concurrerende producten, elk met een eigen, onafhankelijk gebouwd detectiemodel. Turnitin roept op de achtergrond geen GPTZero of Originality.ai aan, en die tools voeden Turnitins score niet.

Daarom kan hetzelfde stuk tekst verschillende AI-percentages krijgen van verschillende detectoren: elke leverancier traint op andere data en kalibreert zijn drempels anders. Turnitins model is specifiek afgestemd op academisch schrijfwerk en wordt over het algemeen omschreven als conservatief, maar het blijft een eigen systeem met eigen sterke punten en blinde vlekken.

Het is makkelijk om de twee scores door elkaar te halen, maar ze meten compleet andere dingen. Het Similarity Report vergelijkt je tekst met een database van gepubliceerd werk, webpagina's en andere studenteninzendingen om overeenkomende of niet-originele passages te vinden — dat is plagiaatdetectie. De AI-schrijfindicator schat in plaats daarvan in hoeveel van de tekst machinaal gegenereerd lijkt, ongeacht of het origineel is.

De twee draaien onafhankelijk van elkaar: AI-schrijfmarkeringen verschijnen niet in het Similarity Report, en een lage similarity-score zegt niets over de AI-indicator. Een paper kan 0% overeenkomst hebben (volledig origineel) en toch een hoog AI-schrijfpercentage krijgen, of omgekeerd. Het verschil kennen is belangrijk bij het interpreteren van de feedback.

Turnitins AI-schrijfdetectie is een door de instelling gecontroleerde functie. Scholen en docenten schakelen hem in en beheren hem, en in de meeste opzetten is het AI Writing Report volledig verborgen voor studenten. Studenten kunnen doorgaans niet inloggen en hun eigen paper op aanvraag door Turnitins AI-detector laten lopen.

Dat betekent dat een student zijn AI-schrijfpercentage vaak pas na inlevering te weten komt, van een docent die ervoor kiest het te delen. Er is geen officieel studentenportaal voor de AI-indicator — toegang ligt bij de instelling, naar goeddunken van de docent.