KI-Detektoren im Praxistest: Warum Treffer noch keine Beweise sind

KI-Detektoren versprechen eine Antwort auf eine Frage, die mit dem Boom von ChatGPT und anderen Sprachmodellen immer drängender wird: Stammt ein Text von einem Menschen oder von einer Maschine? Forschung und Herstellerangaben zeigen jedoch, dass die Programme vor allem Wahrscheinlichkeiten liefern. Gerade bei überarbeiteten Texten, neuen Modellen und Grenzfällen kann ihre Aussagekraft deutlich sinken.

Deutschland, 15. August 2026 – Je leichter sich Texte mit generativer KI erstellen lassen, desto größer wird der Wunsch nach einem technischen Gegenmittel. Schulen, Hochschulen und andere Einrichtungen greifen deshalb auf KI-Detektoren zurück, die maschinell erzeugte Inhalte erkennen sollen. Was auf den ersten Blick nach einer klaren Prüfung klingt, ist in der Praxis jedoch wesentlich komplizierter.

Der aktuelle c’t-uplink von Heise greift diese Unsicherheit auf. Im Zentrum steht die Frage, was KI-Detektor-Software tatsächlich leisten kann und wo ihre Grenzen liegen. Der Befund aus Forschung und Herstellerdokumentationen ist nüchterner als viele Werbeversprechen: Einzelne Systeme können unter bestimmten Bedingungen auffällige Texte erkennen. Ein belastbarer Herkunftsnachweis entsteht daraus nicht.

KI-Detektoren erkennen Muster, keine Urheberschaft

Ein KI-Detektor prüft nicht, wer einen Text geschrieben hat. Er sucht vielmehr nach sprachlichen und statistischen Merkmalen, die für maschinell erzeugte Inhalte typisch sein könnten. Aus diesen Mustern leitet das System eine Wahrscheinlichkeit oder Klassifizierung ab.

Genau darin liegt die zentrale Grenze. Menschliche Texte können sehr regelmäßig, sachlich und formelhaft geschrieben sein. KI-Texte wiederum lassen sich kürzen, umstellen oder sprachlich überarbeiten. Dadurch verschwimmen jene Merkmale, auf denen ein KI-Detektor seine Entscheidung aufbaut.

Wie groß diese Unsicherheit sein kann, zeigt ein früher Versuch von OpenAI. Das Unternehmen veröffentlichte 2023 einen eigenen Klassifikator für KI-generierte Texte. In internen Tests erkannte das System lediglich 26 Prozent der maschinell erzeugten Texte korrekt als wahrscheinlich KI-generiert. Zugleich wurden neun Prozent der menschlich geschriebenen Texte fälschlich als KI-Inhalte eingestuft. Wenige Monate später stellte OpenAI das Werkzeug wegen seiner geringen Genauigkeit wieder ein.

Schon damals verwies der Anbieter auf weitere Schwächen: Kurze Texte ließen sich besonders schlecht beurteilen, außerhalb des Englischen nahm die Zuverlässigkeit ab, und eine nachträgliche Bearbeitung konnte die Erkennung zusätzlich erschweren.

False Positives sind mehr als ein technisches Randproblem

Für die Praxis zählt deshalb nicht nur, wie oft ein KI-Detektor einen maschinell geschriebenen Text erkennt. Mindestens ebenso wichtig ist die Zahl der Fehlalarme. Ein sogenanntes False Positive liegt vor, wenn ein menschlich verfasster Text fälschlich als KI-generiert eingestuft wird.

In einem unverbindlichen Test mag das folgenlos bleiben. In Schulen oder Hochschulen kann eine solche Einstufung jedoch schnell Gewicht bekommen. Wird aus einem technischen Hinweis ein vermeintlicher Beweis für unerlaubte KI-Nutzung, entsteht ein Problem, das die Software selbst nicht auflösen kann.

Auch Turnitin warnt vor einer solchen Nutzung. Nach Angaben des Anbieters kann die eigene Erkennung sowohl menschlich geschriebene als auch KI-generierte und mit KI umformulierte Texte falsch klassifizieren. Das Ergebnis soll deshalb nicht allein als Grundlage für nachteilige Entscheidungen gegenüber Studierenden dienen.

Niedrige Prozentwerte sind besonders heikel

Turnitin hat seine Darstellung niedriger Trefferwerte entsprechend angepasst. Ergebnisse zwischen einem und 19 Prozent werden nicht mehr als exakte Prozentzahl ausgewiesen. Der Anbieter begründet das mit einem erhöhten Risiko von Fehlalarmen in diesem Bereich.

Auch die Textform setzt Grenzen. Für den KI-Bericht verlangt Turnitin mindestens 300 Wörter Fließtext. Gedichte, Programmcode, Tabellen, Stichpunkte und andere stark strukturierte Formate eignen sich nach Angaben des Unternehmens nicht zuverlässig für die Analyse.

Das zeigt, wie schnell eine vermeintlich eindeutige Kennzahl missverstanden werden kann. Ein KI-Detektor misst keine Urheberschaft. Er bewertet Auffälligkeiten innerhalb eines bestimmten technischen Modells – unter Voraussetzungen, die nicht bei jedem Text erfüllt sind.

Neue Sprachmodelle bringen Detektoren aus dem Takt

Unabhängige Forschung kommt zu einem ähnlichen Ergebnis. Eine 2025 bei der Fachkonferenz NAACL veröffentlichte Untersuchung prüfte verschiedene Verfahren unter schwierigeren Bedingungen: mit unbekannten Modellen, wechselnden Aufgabenstellungen und gezielt veränderten Eingaben. Dabei sank die Leistung einzelner KI-Detektoren teils deutlich.

Das ist für den Alltag besonders relevant. Ein System kann in einem Benchmark sehr gut abschneiden, wenn es mit Texten getestet wird, die seinen Trainingsbedingungen ähneln. Sobald jedoch ein neues Sprachmodell verwendet wird oder die Texte aus einem anderen Themenbereich stammen, können die Ergebnisse schlechter ausfallen.

Die hohe Trefferquote eines Tests sagt deshalb noch wenig darüber aus, wie zuverlässig ein KI-Detektor bei einem beliebigen Aufsatz, einer Bewerbung oder einem journalistischen Text arbeitet. Entscheidend ist nicht nur die durchschnittliche Erkennung, sondern die Frage, ob das System auch außerhalb bekannter Bedingungen stabil bleibt.

Schon kleine Änderungen können die Erkennung schwächen

Hinzu kommt ein weiteres Problem: KI-generierte Texte müssen nicht unverändert bleiben. Eine Untersuchung, die 2024 bei LREC-COLING veröffentlicht wurde, zeigte, dass gezielte Veränderungen maschinell erzeugter Texte Detektoren täuschen können. Durch solche sogenannten adversariellen Anpassungen wurden KI-Texte häufiger als menschlich eingestuft.

Das betrifft nicht nur bewusstes Umgehen von Prüfsoftware. Schon normales Überarbeiten verändert einen Text. Wer Sätze umstellt, Formulierungen ersetzt oder eigene Passagen ergänzt, verändert damit zugleich die statistischen Eigenschaften, nach denen ein KI-Detektor sucht.

Besonders schwierig wird es bei Mischformen. Ein Text kann von einem Menschen begonnen, mit einem Sprachmodell ergänzt und anschließend erneut redigiert worden sein. Für solche Arbeitsweisen gibt es keine einfache technische Trennlinie zwischen „menschlich“ und „KI-generiert“.

Schreibstil und Sprache können das Ergebnis verzerren

Dass die Schwächen nicht alle Autoren gleichermaßen treffen müssen, zeigte eine viel beachtete Untersuchung aus dem Jahr 2023. Forscher um Weixin Liang testeten mehrere KI-Detektoren mit englischsprachigen Texten von Nicht-Muttersprachlern. In dem untersuchten Datensatz wurden durchschnittlich rund 61 Prozent der Texte fälschlicherweise als KI-generiert eingestuft.

Die Ergebnisse lassen sich nicht ohne Weiteres auf jede Software und jede Sprache übertragen. Sie machen jedoch deutlich, dass bestimmte sprachliche Muster einen KI-Detektor in die falsche Richtung führen können. Ein schlichter, geradliniger oder stark standardisierter Stil kann offenbar Merkmale aufweisen, die manche Systeme mit maschinell erzeugter Sprache verbinden.

Für deutschsprachige Inhalte ist die Lage zusätzlich schwer einzuschätzen. Viele bekannte Studien beschäftigen sich vor allem mit englischen Texten. Aussagen über die Zuverlässigkeit eines KI-Detektors auf Englisch können deshalb nicht automatisch auf deutsche Schulaufsätze, wissenschaftliche Arbeiten oder redaktionelle Beiträge übertragen werden.

Nicht jeder KI-Detektor arbeitet nach demselben Prinzip

Der Begriff KI-Detektor bündelt zudem unterschiedliche technische Ansätze. Klassifikatoren analysieren einen fertigen Text und versuchen, dessen Herkunft anhand von Mustern einzuschätzen. Andere Verfahren setzen auf statistische Wasserzeichen, die bereits während der Texterzeugung eingebaut werden.

Ein Wasserzeichen funktioniert nach einem anderen Prinzip. Statt nachträglich aus dem Schreibstil auf eine mögliche Herkunft zu schließen, wird ein technisches Signal in den generierten Inhalt eingebettet. Das kann die Erkennung unter bestimmten Bedingungen robuster machen, setzt jedoch voraus, dass ein Modellanbieter ein solches Verfahren tatsächlich verwendet und das Signal bei späterer Bearbeitung erhalten bleibt.

Auch bei kommerziellen Angeboten sind die Unterschiede erheblich. Eine 2025 veröffentlichte Untersuchung des National Bureau of Economic Research verglich unter anderem Pangram, OriginalityAI und GPTZero und kam zu unterschiedlichen Ergebnissen. Schon deshalb führt die pauschale Frage, ob „KI-Detektoren funktionieren“, in die Irre.

Entscheidend ist immer, welches System getestet wird, mit welcher Sprache, welchem Sprachmodell, welcher Textlänge und unter welchen Bedingungen. Ein gutes Ergebnis in einem definierten Testszenario ist keine Garantie dafür, dass derselbe KI-Detektor bei einem unbekannten Text genauso zuverlässig urteilt.

Ein Hinweis ist noch kein Beweis

Die Technik ist damit weder wertlos noch allwissend. KI-Detektoren können Auffälligkeiten markieren und eine genauere Prüfung anstoßen. Unter günstigen Bedingungen können einzelne Systeme maschinell erzeugte Texte mit hoher Trefferquote erkennen.

Ihre eigentliche Grenze beginnt dort, wo aus dieser Wahrscheinlichkeit eine eindeutige Aussage über die Urheberschaft werden soll. Fehlalarme bleiben möglich. Neue Sprachmodelle, andere Sprachen, kurze Texte und nachträgliche Bearbeitungen können die Ergebnisse beeinflussen. Selbst Hersteller weisen darauf hin, dass ihre Systeme nicht als alleinige Grundlage für weitreichende Entscheidungen gedacht sind.

Damit verschiebt sich die entscheidende Frage. Nicht allein, ob ein KI-Detektor einen verdächtigen Wert ausgibt, ist relevant, sondern wie dieser Wert anschließend eingeordnet wird. Wer aus einer technischen Einschätzung einen Beweis macht, verlangt von der Software mehr, als sie nach heutigem Forschungsstand sicher leisten kann.