Jakiego detektora AI używa Turnitin?

Wykrywanie pisma AI przez Turnitin to autorski, wewnętrzny model, który Turnitin sam opracował i uruchomił w kwietniu 2023 roku. Nie jest to przemianowana ani licencjonowana wersja narzędzia innej firmy — Turnitin buduje i trenuje własny klasyfikator na dużych zbiorach sparowanego tekstu ludzkiego i pisanego przez AI, czerpiąc z danych pisma uczniowskiego już przepływających przez jego usługę sprawdzania plagiatu.

Od momentu wprowadzenia Turnitin rozszerzył się z pojedynczego modelu do kombinacji modeli zaprojektowanych do oznaczania tekstu bezpośrednio wygenerowanego przez AI, tekstu AI, który został sparafrazowany, oraz tekstu AI zmienionego przez tak zwane narzędzia "humanizer". Firma zgłasza, że detektor był używany do przejrzenia znacznie ponad 200 milionów prac w tysiącach instytucji.

Model Turnitin odczytuje długą prozę i ocenia ją na poziomie zdania, przypisując każdemu zdaniu wartość między 0 (pewnie ludzkie) a 1 (prawdopodobnie wygenerowane przez AI). Aby to zrobić, analizuje dokument w nakładających się segmentach po około 250 słów, a następnie agreguje te wyniki na poziomie zdania w jeden ogólny procent.

Ten procent to szacunek tego, ile z dokumentu, według oprogramowania Turnitin, zostało wygenerowane przez narzędzia do pisania AI — a nie ostateczny werdykt. Sam Turnitin przedstawia tę liczbę jako zachętę do ludzkiej weryfikacji, a nie dowód wykroczenia, a niezależne badania udokumentowały znaczące wskaźniki fałszywych alarmów, w tym wyższe wskaźniki oznaczeń dla osób piszących po angielsku jako języku obcym oraz bardzo szablonowej prozy akademickiej. Procent to sygnał, a nie wniosek.

Nie. GPTZero, Originality.ai, Copyleaks i Turnitin to osobne, konkurujące ze sobą produkty, każdy z własnym, niezależnie zbudowanym modelem wykrywania. Turnitin nie odwołuje się w tle do GPTZero ani Originality.ai, a te narzędzia nie zasilają wyniku Turnitin.

Dlatego ten sam fragment tekstu może otrzymać różne procenty AI od różnych detektorów: każdy dostawca trenuje na innych danych i inaczej kalibruje swoje progi. Model Turnitin jest dostrojony specjalnie do pisma akademickiego i jest ogólnie opisywany jako konserwatywny, ale pozostaje własnym systemem z własnymi mocnymi stronami i ślepymi punktami.

Łatwo pomylić te dwa wyniki, ale mierzą one zupełnie różne rzeczy. Raport Similarity porównuje Twój tekst z bazą danych opublikowanych prac, stron internetowych i innych prac uczniowskich, aby znaleźć pasujące lub nieoryginalne fragmenty — to wykrywanie plagiatu. Wskaźnik pisma AI natomiast szacuje, ile tekstu wygląda na wygenerowany maszynowo, niezależnie od tego, czy jest oryginalny.

Oba działają niezależnie: wyróżnienia pisma AI nie pojawiają się w raporcie Similarity, a niski wynik podobieństwa nic nie mówi o wskaźniku AI. Praca może mieć 0% podobieństwa (całkowicie oryginalna), a mimo to otrzymać wysoki procent pisma AI, lub odwrotnie. Znajomość tej różnicy ma znaczenie przy interpretowaniu informacji zwrotnej.

Wykrywanie pisma AI przez Turnitin to funkcja kontrolowana przez instytucję. Jest włączana i administrowana przez szkoły i instruktorów, a w większości konfiguracji raport AI Writing jest całkowicie ukryty przed widokiem ucznia. Uczniowie zazwyczaj nie mogą zalogować się i uruchomić własnej pracy przez detektor AI Turnitin na żądanie.

Oznacza to, że uczeń najczęściej dowiaduje się o swoim procencie pisma AI dopiero po złożeniu pracy, od instruktora, który zdecyduje się nim podzielić. Nie ma oficjalnego portalu samoobsługowego dla ucznia w zakresie wskaźnika AI — dostęp należy do instytucji, według uznania edukatora.