„Moderation“ klingt nach einer Sache. In Companion-Apps sind es mindestens vier, die unterschiedlich schnell arbeiten und unterschiedliche Menschen einbeziehen.
Die vier Ebenen
Jede Ebene sieht weniger Inhalt, aber genauer.
1. Echtzeit-Filter. Jede Nachricht, die du schickst, und jede Antwort, die das Modell schreibt, kann von automatischen Klassifikatoren geprüft werden, bevor sie erscheint. Sie erfassen verbotene Kategorien – alles mit Minderjährigen, bestimmte gewalttätige Inhalte, Signale von Selbstverletzung – und blockieren die Nachricht, entschärfen die Antwort oder zeigen eine Warnung. Daher kommen Ablehnungen und Krisenkarten; unser Artikel zu Inhaltsfiltern erklärt, warum sie manchmal mitten in einer Szene auslösen.
2. Markierung auf Gesprächsebene. Davon getrennt können Systeme ganze Gespräche oder Konten auf Muster prüfen: wiederholte Versuche, einen Filter zu umgehen, Belästigung, Anzeichen, dass ein Minderjähriger eine Erwachsenen-App nutzt. Eine Markierung ist keine Strafe, sondern ein Vermerk, dass ein Mensch hinschauen könnte.
3. Menschliche Prüfung. Mitarbeiter für Vertrauen und Sicherheit, oft bei Auftragnehmern, prüfen einen Bruchteil der markierten Gespräche, Nutzermeldungen und Einsprüche. Manche Unternehmen wählen auch normale Gespräche stichprobenartig aus, um die Qualität zu prüfen oder Modelle zu trainieren. Diese Ebene beschreiben Datenschutzerklärungen mit Wendungen wie „zur Verbesserung unserer Dienste“ oder „zur Durchsetzung unserer Bedingungen“.
4. Rechtliche Anfragen. Gerichte, Polizei und Aufsichtsbehörden können Daten mit rechtlichen Anordnungen anfordern. Unternehmen reagieren nach ihrer Richtlinie und dem örtlichen Recht.
Was typischerweise einen menschlichen Blick auslöst
| Auslöser | Warum |
|---|---|
| Inhalte mit Minderjährigen | Rechtspflicht in den meisten Ländern; oft weitergemeldet |
| Signale von Selbstverletzung oder Suizid | Krisenprotokolle sind in mehreren US-Bundesstaaten inzwischen gesetzlich vorgeschrieben |
| Drohungen gegen echte Personen | Mögliche reale Gefahr |
| Deine eigene Meldung oder dein Support-Ticket | Du hast jemanden gebeten hinzusehen |
| Wiederholte Versuche, Filter zu umgehen | Durchsetzung der Nutzungsbedingungen |
| Zufällige Qualitätsstichprobe | Produktverbesserung, wenn die Richtlinie es erlaubt |
Was das Recht in Deutschland und der EU ergänzt
In den USA verlangen Gesetze für Companion-Chatbots, beginnend mit New York 2025 und Kalifornien 2026, dass Apps Äußerungen von Suizidgedanken und Selbstverletzung erkennen und an Krisendienste verweisen. In der Praxis heißt das mehr automatische Überwachung der sensibelsten Gespräche, nicht weniger. Die Einzelheiten stehen in KI-Companions und das Recht in Deutschland und der EU, wo die US-Gesetze nur als Kontext vorkommen.
Für Nutzer in Deutschland gilt vor allem die DSGVO: Menschliche Prüfung oder Stichproben sind eine Verarbeitung personenbezogener Daten. Das Unternehmen muss dich über Zwecke, Rechtsgrundlage und Empfänger informieren (Art. 13 DSGVO), und ein externer Moderationsdienstleister gehört als Empfänger oder Empfängerkategorie in diese Information. Du kannst mit einem Auskunftsersuchen nach Art. 15 DSGVO nachfragen, was gespeichert ist. Bleibt eine Antwort aus oder ist sie unzureichend, kannst du dich bei der zuständigen Datenschutzaufsichtsbehörde beschweren, meist der Landesdatenschutzbehörde (Übersicht beim BfDI). Eine deutsche oder EU-Vorgabe, die Moderation von Companion-Chats ausdrücklich regelt, konnten wir nicht bestätigen; die Transparenzpflicht des EU-KI-Gesetzes (Art. 50, ab 2. August 2026) betrifft, dass du erfährst, dass du mit einer KI sprichst, nicht, wer mitliest.
Die Richtlinie dazu lesen
Suche in Datenschutzerklärung und Bedingungen nach:
- „review“, „moderate“, „human“ bzw. „Prüfung“, „Moderation“, „Mitarbeiter“ – ob Menschen Gespräche lesen und warum.
- „contractors“ oder „service providers“ bzw. „Auftragnehmer“, „Dienstleister“ – ob Prüfer für jemand anderen arbeiten.
- „improve“, „train“ bzw. „verbessern“, „trainieren“ – ob normale Chats stichprobenartig ausgewertet werden.
- „law enforcement“, „legal process“, „court order“ bzw. „Behörden“, „Strafverfolgung“, „richterlicher Beschluss“ – wann Daten herausgegeben werden und ob ein Gerichtsbeschluss nötig ist.
Eine sorgfältige Richtlinie nennt die Auslöser und sagt, dass Prüfer Gespräche nur bei Bedarf sehen. Eine vage Richtlinie, die Mitarbeitern Zugriff auf „alle Inhalte für jeden Geschäftszweck“ erlaubt, sagt dir auch etwas. Unsere vier Datenschutz-Checks decken den Rest des Dokuments ab.
Praktische Schlüsse
- Schreib so, als könnte ein Prüfer es lesen, denn in wenigen Fällen liest einer mit.
- Lass identifizierende Angaben anderer Personen aus Chats heraus, besonders in expliziten Szenen – ein Prüfer, der ein markiertes Gespräch liest, sieht sie auch.
- Wenn ein Filter in der Fiktion danebengreift, löst ein Hinweis außerhalb der Rolle es meist; in der Rolle zu diskutieren kann mehr Markierungen erzeugen.
- Wenn dir am wichtigsten ist, wer deine Chats lesen kann, ist das einzige Setup, in dem es niemand sonst kann, ein Companion auf deinem eigenen Rechner – siehe einen KI-Companion lokal betreiben.
Moderation ist nicht dasselbe wie Überwachung. Bei der überwältigenden Mehrheit der Gespräche schaut über den automatischen Filter hinaus weder etwas noch jemand. Aber die Richtlinie, nicht die Wärme der App, entscheidet über die Ausnahmen – und es lohnt sich, sie zu kennen, bevor man sie braucht.