ChatGPT for Teens in der Kritik: US-Gericht verhängt Haftstrafe für KI-Musikbetrug

Eine neue Untersuchung stellt den Jugendschutz von ChatGPT for Teens infrage. Die US-Organisation Common Sense Media berichtet von Schwächen bei Sicherheitsfunktionen und Elternbenachrichtigungen, während OpenAI der Bewertung widerspricht. Zugleich hat ein Gericht in New York einen Mann zu 18 Monaten Haft verurteilt, der mit KI-generierter Musik und manipulierten Streamingzahlen mehr als acht Millionen Dollar erlangt haben soll.

USA, 8. Oktober 2026. Der Jugendschutz bei ChatGPT steht erneut in der Kritik. Eine Untersuchung der US-Verbraucherschutzorganisation Common Sense Media kommt zu dem Ergebnis, dass die speziell für Minderjährige entwickelte Version des KI-Chatbots in sensiblen Gesprächssituationen nicht immer ausreichend reagiert. OpenAI bestreitet die Schlussfolgerungen. Unterdessen hat die amerikanische Justiz einen Millionenbetrug mit künstlich erzeugter Musik und automatisierten Streamingabrufen geahndet.

Die beiden Nachrichten betreffen unterschiedliche Bereiche der Digitalwirtschaft. Bei ChatGPT for Teens geht es um die Zuverlässigkeit von Sicherheitsvorkehrungen für Jugendliche. Im Fall des Musikstreamingbetrugs steht dagegen die gezielte Manipulation digitaler Vergütungssysteme im Mittelpunkt.

ChatGPT for Teens: Neue Untersuchung kritisiert den Jugendschutz

Seit dem 18. August 2026 bietet OpenAI mit ChatGPT for Teens eine speziell auf Jugendliche zugeschnittene Nutzung seines KI-Chatbots an. Zusätzliche Schutzmechanismen sollen verhindern, dass Minderjährige mit ungeeigneten Inhalten konfrontiert werden. Vorgesehen sind außerdem altersgerechte Antworten und Einstellungsmöglichkeiten für Eltern.

Ob diese Vorkehrungen zuverlässig greifen, bezweifelt nun Common Sense Media. Die US-Organisation veröffentlichte am 7. Oktober eine Bewertung ihres Youth AI Safety Institute. Darin werden erhebliche Sicherheitsrisiken beschrieben. Die Prüfer stufen das Angebot als nicht ausreichend sicher für Minderjährige ein.

Die Kritik richtet sich nicht gegen die bloße Existenz einzelner Schutzfunktionen. Entscheidend ist nach Auffassung der Organisation, wie ChatGPT for Teens reagiert, wenn Gespräche eine problematische Richtung nehmen oder Jugendliche Unterstützung bei besonders sensiblen Themen suchen.

Mehr als 4.000 Anfragen: Wo die Prüfer Schwächen fanden

Für ihre Untersuchung werteten die Experten von Common Sense Media mehr als 4.000 Testanfragen aus. Berücksichtigt wurden Tests vor und nach der Einführung der speziellen Jugendfunktionen.

Besonderes Augenmerk galt Gesprächen über Selbstverletzung, Essstörungen und andere sensible Themen. Gerade in solchen Situationen sollen die Schutzmaßnahmen verhindern, dass ein KI-System riskante Gesprächsverläufe unterstützt oder notwendige Hilfsangebote ausbleiben.

Nach Darstellung der Prüfer reagierte ChatGPT for Teens nicht durchgehend angemessen. Teilweise seien vorgesehene Hinweise oder Hilfsangebote unzureichend gewesen. Auch bei der Benachrichtigung von Eltern stellten die Tester Probleme fest: Warnmeldungen seien in bestimmten Fällen ausgeblieben oder nicht rechtzeitig ausgelöst worden.

Die Untersuchung enthält allerdings auch positive Ergebnisse. Bestimmte Sicherheitsgrenzen funktionierten demnach wie vorgesehen. So lehnte das System in den Tests unter anderem explizite sexuelle Rollenspiele ab.

Die Bewertung fällt dennoch kritisch aus. Nach Einschätzung von Common Sense Media reichen funktionierende Einzelmaßnahmen nicht aus, wenn andere Schutzmechanismen gerade bei besonders sensiblen Gesprächsinhalten versagen können.

Auch die Altersbestimmung von ChatGPT steht in der Kritik

Ein weiterer Schwerpunkt betrifft die Frage, ob ChatGPT jugendliche Nutzer zuverlässig erkennt und ihnen die vorgesehenen Schutzfunktionen zuordnet.

Die Organisation untersuchte dazu rund 1.000 Testanfragen über Erwachsenenkonten. Obwohl die Inhalte nach ihrer Einschätzung Hinweise auf minderjährige Nutzer enthielten, beobachteten die Prüfer keine automatische Umstellung auf den Jugendmodus.

Das Ergebnis wirft Fragen zur praktischen Altersbestimmung auf. Denn zusätzliche Schutzfunktionen können nur dann umfassend wirken, wenn sie bei den vorgesehenen Nutzergruppen auch tatsächlich aktiviert werden.

Wie häufig solche Probleme im regulären Betrieb auftreten, lässt sich aus den veröffentlichten Untersuchungsergebnissen allerdings nicht abschließend ableiten. Die Tests dokumentieren bestimmte Schwachstellen unter den gewählten Bedingungen, liefern jedoch keine repräsentative Fehlerquote für sämtliche jugendlichen Nutzer.

OpenAI widerspricht – Streit über die Testbedingungen

OpenAI weist die Schlussfolgerungen der Untersuchung zurück. Wie die Nachrichtenagentur Associated Press und das Technologieportal The Verge berichteten, verwies das Unternehmen auf mögliche Unterschiede bei der Aktivierung der Elternfunktionen.

Demnach könnten während der Tests nicht sämtliche verfügbaren Schutzmöglichkeiten vollständig eingeschaltet gewesen sein. Common Sense Media widerspricht dieser Darstellung. Die Organisation hält daran fest, dass die betreffenden Funktionen verfügbar gewesen seien und einzelne Probleme auch nach längerer Beobachtung bestanden hätten.

Damit bleibt die Aussagekraft der Untersuchung umstritten. Die Prüfer sehen grundlegende Schwächen bei der Sicherheit von ChatGPT for Teens. OpenAI stellt dagegen die Bedingungen infrage, unter denen zumindest ein Teil der Ergebnisse zustande gekommen sein könnte.

Common Sense Media fordert weitreichende Konsequenzen. Nach Auffassung der Organisation sollte ChatGPT bis zu nachgewiesenen Verbesserungen der Schutzmaßnahmen nur Erwachsenen zugänglich sein. Ob und in welchem Umfang OpenAI aufgrund der aktuellen Untersuchung weitere technische Änderungen vornehmen wird, ist bislang nicht abschließend geklärt.

KI-Streamingbetrug: US-Gericht verhängt 18 Monate Gefängnis

Ein zweiter Fall aus den USA zeigt, wie künstliche Intelligenz zur Manipulation digitaler Geschäftsmodelle eingesetzt werden kann. Ein Bundesgericht in New York hat den 54-jährigen Michael Smith aus Cornelius im Bundesstaat North Carolina zu 18 Monaten Haft verurteilt.

Das Urteil erging am 6. Oktober 2026 am Bundesbezirksgericht für den Southern District of New York unter Richter John G. Koeltl. Smith hatte sich bereits am 19. März der Verschwörung zum elektronischen Betrug schuldig bekannt.

Nach Angaben des US-Justizministeriums nutzte Smith KI-generierte Musikstücke und automatisierte Nutzerkonten, um in großem Umfang künstliche Streamingabrufe zu erzeugen. Die Manipulation brachte ihm demnach mehr als acht Millionen US-Dollar ein.

Hunderttausende KI-Songs und Milliarden künstliche Streams

Das Betrugssystem beruhte auf zwei miteinander verbundenen Verfahren. Zunächst wurden Hunderttausende Musikstücke mithilfe künstlicher Intelligenz erzeugt und auf Streamingplattformen bereitgestellt. Anschließend sorgten automatisierte Konten dafür, dass diese Titel immer wieder abgespielt wurden.

So entstanden nach Darstellung der amerikanischen Strafverfolgungsbehörden Milliarden künstlicher Abrufe. Für die Streamingdienste sollten sie wie reguläre Hörvorgänge erscheinen und entsprechende Vergütungen auslösen.

Medienberichten zufolge waren unter anderem Spotify, Apple Music, Amazon Music und YouTube Music betroffen. Eine belastbare Aufschlüsselung der jeweiligen finanziellen Auswirkungen auf die einzelnen Plattformen liegt aus den ausgewerteten Informationen nicht vor.

Der Fall ist auch deshalb bemerkenswert, weil die Verwendung künstlicher Intelligenz zur Musikproduktion nicht den eigentlichen Straftatbestand bildete. Entscheidend war vielmehr die systematische Täuschung über die tatsächliche Nutzung der veröffentlichten Titel.

Die künstlichen Abrufe dienten dazu, Zahlungen auszulösen, denen keine entsprechende reale Hörernachfrage zugrunde lag. Damit wurde ein Vergütungssystem manipuliert, das die Nutzung von Musikstücken zur Grundlage finanzieller Ausschüttungen macht.

Mehr als acht Millionen Dollar unterliegen dem Vermögensverfall

Neben der Freiheitsstrafe ordnete das Gericht einen Vermögensverfall von 8.091.843,64 US-Dollar an. Hinzu kommen zwei Jahre beaufsichtigte Freiheit nach Verbüßung der Haftstrafe.

Das US-Justizministerium bezeichnet das Verfahren als ersten strafrechtlich angeklagten Fall dieser Art, bei dem KI-generierte Musik mit automatisierter Streamingmanipulation verbunden wurde.

Der Fall macht eine Schwachstelle digitaler Vergütungsmodelle sichtbar. Werden Zahlungen anhand registrierter Abrufe berechnet, können automatisierte Aktivitäten erhebliche finanzielle Auswirkungen haben, sofern sie nicht zuverlässig erkannt und herausgefiltert werden.

Die Kombination aus massenhaft erzeugten Musiktiteln und automatisierten Nutzerkonten ermöglichte im vorliegenden Fall eine Manipulation in außergewöhnlichem Umfang. Eine mögliche Berufung gegen das Urteil ist anhand der bisher ausgewerteten Informationen nicht abschließend geklärt.

Jugendschutz und Streamingbetrug stellen Plattformen vor unterschiedliche Aufgaben

Zwischen den Vorwürfen gegen ChatGPT for Teens und dem Strafverfahren wegen Musikstreamingbetrugs besteht kein unmittelbarer Zusammenhang. Die beiden Entwicklungen betreffen jedoch zentrale Fragen im Umgang mit zunehmend automatisierten digitalen Diensten.

Bei ChatGPT geht es darum, ob Sicherheitsvorkehrungen unter den Bedingungen tatsächlicher Nutzung ausreichend zuverlässig funktionieren. Die aktuelle Untersuchung liefert dazu kritische Ergebnisse, über deren Einordnung sich die beteiligten Seiten uneinig sind.

Im Streamingverfahren steht dagegen ein nachgewiesener Betrug im Mittelpunkt. Die KI-generierten Musikstücke waren Bestandteil eines Systems, das künstliche Nachfrage erzeugte und daraus finanzielle Vorteile zog.

Beide Vorgänge verlangen eine genaue Unterscheidung zwischen technischen Möglichkeiten, versprochenen Schutzmaßnahmen und überprüfbaren Ergebnissen. Weder lässt sich aus der Existenz eines Jugendmodus bereits dessen umfassende Wirksamkeit ableiten, noch ist die Produktion von Musik mithilfe künstlicher Intelligenz mit Streamingbetrug gleichzusetzen.

Was nach der Untersuchung und dem Urteil offenbleibt

Für OpenAI ist die Untersuchung von Common Sense Media eine weitere öffentliche Auseinandersetzung über die Sicherheit seiner Angebote für Minderjährige. Im Mittelpunkt steht nun die Frage, wie zuverlässig ChatGPT for Teens bei sensiblen Gesprächsinhalten reagiert und unter welchen Bedingungen die vorgesehenen Schutzfunktionen greifen.

Das Urteil gegen Michael Smith betrifft einen anderen, bereits strafrechtlich bewerteten Sachverhalt. Es dokumentiert, welche finanziellen Dimensionen manipulierte Musikstreams erreichen können. Offen bleibt, wie wirksam Streamingplattformen vergleichbare Verfahren künftig erkennen und verhindern können.

Die beiden Nachrichten markieren damit unterschiedliche Grenzen digitaler Kontrolle: Beim Jugendschutz muss sich die Sicherheit eines KI-Angebots an seiner tatsächlichen Funktionsweise messen lassen. Beim Musikstreaming entscheidet die verlässliche Unterscheidung zwischen echten und künstlichen Abrufen darüber, ob ein Vergütungssystem gegen Manipulation geschützt ist.