Sally McGraw, ghostwriterka z ponad 20-letnim stażem, wysłała potencjalnej klientce próbkę tekstu i usłyszała, że kilka narzędzi do wykrywania AI uznało go za dzieło maszyny. Napisała go sama. Jej historia pokazuje, jak zawodne bywają detektory, po które coraz chętniej sięgają redaktorzy.

Zlecenie, które przepadło

McGraw miała przygotować propozycję książki. Klientka sprawdziła próbkę w kilku detektorach, a te wskazały tekst generowany maszynowo. Pisarka zapewniła, że nie użyła AI, ale nie drążyła sprawy, bo zlecenie uznała za niewielkie. Klientka potwierdziła w korespondencji z NPR, że sprawdzała tekst, lecz twierdzi, że o wyborze innej osoby zdecydowały doświadczenie i dopasowanie, a nie wynik detektora. McGraw dostała zapłatę za próbki, ale jest przekonana, że to wynik testu kosztował ją resztę zlecenia.

Redaktorzy toną w tekstach od AI

Po detektory sięgają też redakcje, które nie nadążają z ocenianiem zgłoszeń. Neil Clarke, wydawca magazynu science fiction „Clarkesworld”, podaje, że w 2021 roku pismo dostawało około 1100 zgłoszeń miesięcznie. W lutym 2023 roku, gdy ChatGPT, Claude i Gemini stały się powszechnie dostępne, liczba ta się podwoiła. Redakcja musiała na jakiś czas zamknąć formularz zgłoszeń, a własny nakład pracy Clarke szacuje na około 30% większy.

Dlaczego detektory się mylą

Badacze zauważyli, że różne narzędzia potrafią dojść do skrajnie odmiennych wniosków o tym samym tekście. W badaniu opublikowanym w czerwcu w „International Journal for Educational Integrity” porównano cztery popularne detektory na 160 artykułach naukowych. Były wśród nich teksty w całości ludzkie, w całości maszynowe, mieszane oraz takie, w których człowiek przepisał materiał od AI. Najlepiej wypadł Pangram: trafnie rozpoznał użycie AI w 37 z 40 tekstów mieszanych i w 37 z 40 tekstów przepisanych przez człowieka. Prezes firmy przyznał jednak, że narzędzie może się mylić, zwłaszcza gdy próbka jest krótka.

Chris Callison-Burch z Uniwersytetu Pensylwanii wyjaśnia, że wiele detektorów ocenia, jak przewidywalny jest fragment tekstu, a modele językowe uznają za nienaturalnie przewidywalne także teksty, na których same się uczyły. Tak mogło być w przypadku blogerki Janelle Shane, której fragment książki z 2019 roku o działaniu AI został oceniony jako maszynowy z pewnością 98,7%.

Szkice niepublikowane, jak próbka McGraw, nie mają tego problemu, ale i one mogą zostać oflagowane przez styl. Detektory zwracają uwagę na dobór słów, interpunkcję i budowę zdań. Podejrzane bywają:

• słowo „delve”,
• częste używanie długiej półpauzy (em dash),
• wyliczenia po trzy elementy,
• zdania otwierane przysłówkami typu „notably” czy „crucially”,
• pytanie, na które autor od razu odpowiada.

To jednak nawyki wielu ludzkich autorów. Według Callison-Burcha detektory oceniają wzorce w całym tekście, więc pojedyncza półpauza nie dowodzi użycia bota.

Skutki dla autorów i co z tego dla nas

Stowarzyszenie Authors Guild ostrzegło w maju, że stosowanie detektorów tworzy atmosferę przypominającą polowanie na czarownice. Fałszywy alarm może kosztować autora umowę wydawniczą i reputację. Clarke, który sam nie używa detektorów do selekcji zgłoszeń, uważa, że mogą one pomagać przeciążonym redaktorom, o ile ktoś weryfikuje ich wyniki. Radzi też: „Submissions should end in rejection, not an accusation” (zgłoszenie powinno kończyć się odrzuceniem, nie oskarżeniem) – powiedział Neil Clarke.

McGraw zmieniła swój sposób pisania: unika pewnych słów i konstrukcji, a czasem pomija przecinki, które dawniej stawiała. Brakuje jej półpauzy, której uczyła się jeszcze na dziennikarstwie.

Artykuł dotyczy rynku amerykańskiego, ale problem nie zna granic. Detektorów AI używa się też w szkołach, na uczelniach i w rekrutacji, a polscy autorzy, tłumacze, copywriterzy czy studenci mogą trafić na podobne narzędzia. Praktyczny wniosek jest prosty: wynik detektora to wskazówka, nie dowód. Warto zachowywać wersje robocze i historię edycji dokumentu, bo mogą pomóc, gdy ktoś zakwestionuje autorstwo. Natomiast osoby oceniające cudze teksty nie powinny opierać decyzji wyłącznie na jednym narzędziu.

Źródło: NPR – „Your writing was flagged as AI. What does that actually mean?”