Eine Zeile für alle KI-Firmen: Der neue robots.txt-Opt-out erklärt

Bisher war das Aussperren von KI-Crawlern ein bisschen wie Schlüsseldienst spielen: GPTBot hier, ClaudeBot da, Google-Extended dort, und jede Firma hatte ihren eigenen Namen. Am 30. Oktober hat sich das geändert, zumindest auf dem Papier. OpenAI, Google, Microsoft und Anthropic haben angekündigt, einen gemeinsamen Hinweis in der robots.txt zu respektieren, mit dem du ausdrücken kannst: Meine Inhalte sollen nicht zum Training von KI-Modellen verwendet werden.

Klingt nach einem großen Schritt, und das ist es auch. Aber wie so oft steckt der Teufel im Detail, und manche dieser Details können dich Sichtbarkeit kosten. Wir haben den Entwurf und die Ankündigungen gelesen und sortieren, was für Betreiber von Unternehmenswebsites jetzt wirklich zählt.

Was genau wurde angekündigt?

Grundlage ist ein Internet-Draft der IETF-Arbeitsgruppe "AI Preferences" mit dem Titel "Machine-Readable Training Preference Signal". Autor ist K. Kelley von Anthropic, veröffentlicht am 30. Oktober 2026 (IETF-Draft). Der Draft definiert einen sogenannten Policy-Token mit dem Namen __usage_ai-training.

Das Praktische daran: Es braucht keine neue Syntax. Der Token wird wie ein ganz normaler User-Agent in der robots.txt geschrieben. Das Beispiel aus dem Draft sieht so aus:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Damit sagst du: Kein Training mit meinen Inhalten, außer im Ordner /press-kit/. Bestehende Parser können die Datei weiter lesen, weil sich an der Grammatik nichts ändert.

Wer macht wann mit?

Hier wird es unspektakulärer, denn live ist noch fast nichts. Laut den bisherigen Berichten sieht der Stand so aus:

• Anthropic: Hat mit der Umsetzung begonnen, nennt aber kein konkretes Datum.
• Google: Plant die Unterstützung für 2027. In einer Crawler-Notiz ist von "early 2027" die Rede (Search Engine Roundtable).
• Microsoft: Startet laut ShiftDelete am 1. Februar 2027, wenn Bing Seiten neu crawlt, und ergänzt eigene Einstellungen für Training und "AI Grounding".
• OpenAI: Will den Token "in den kommenden Monaten" umsetzen.
• Meta: Nennt ein gemeinsames Signal einen "wichtigen Schritt", hat aber nicht gesagt, ob es sich daran hält.

Heißt: Wenn du den Token heute einträgst, passiert heute noch nichts. Er wirkt erst, wenn die jeweilige Firma ihn einschaltet.

Das Kleingedruckte: fünf Stolpersteine

Jetzt kommt der Teil, den die Schlagzeilen gern weglassen.

1. Es ist freiwillig und kein Standard

Der Draft ist ein individueller Internet-Draft ohne formalen Status im IETF-Prozess, und er läuft am 3. Mai 2027 ab, wenn er nicht überarbeitet wird. Der Token ist ausdrücklich kein Zugriffsschutz. Im Draft steht, er sei "not a directive for crawling behavior": Bots dürfen weiter vorbeikommen, es geht nur um die Verwendung der Inhalte fürs Training. Außerdem können private Vereinbarungen die Präferenz überschreiben. Wer Inhalte wirklich technisch schützen muss, braucht weiterhin Server-, Netzwerk- oder Vertragsebene.

2. Der Platzhalter reicht nicht

Ein User-Agent: * zählt nicht. Der Draft schreibt vor, dass Wildcard-Gruppen den Token nicht abdecken dürfen. Wer also in der robots.txt pauschal alles für alle sperrt, hat damit keine Trainingspräferenz ausgedrückt. Der Token muss namentlich genannt werden.

3. Training ist nicht gleich Antwort

Der Token gilt fürs Training, also für das Verändern der Parameter eines generativen Modells. Dass KI-Produkte deine Seite in Echtzeit abrufen, um Antworten zu belegen (das sogenannte Grounding), ist ein anderes Thema. Genau hier wird es für dein Marketing heikel.

4. Das Google-Extended-Risiko

Google schreibt laut SERoundtable: Wenn du den Token zum Opt-out nutzt und Google-Extended nicht ausdrücklich erwähnst, behandelt Google das so, als hättest du Google-Extended gesperrt. Seiten, die Google-Extended ausdrücklich erlauben, können dagegen in Gemini-Antworten auftauchen und darüber Klicks bekommen. Wer also "nur mal schnell" den Token einträgt, könnte sich ungewollt aus Gemini-Antworten ausklinken. Zu AI Overviews steht in der Meldung nichts, dort gilt weiter die separate Einstellung in der Search Console.

Auch Google und Microsoft weisen darauf hin, dass ein Opt-out die Sichtbarkeit in KI-Erlebnissen verringern kann. Microsoft betont zudem, dass keine der beiden Entscheidungen Aufnahme, Traffic oder Bezahlung garantiert.

5. Die Vergangenheit bleibt, wie sie ist

Ob die Präferenz auch für bereits gesammelte Daten gelten soll, hat bisher keine der Firmen gesagt. Auch laufende Urheberrechtsstreitigkeiten werden durch die Ankündigung nicht entschieden.

Was heißt das für dein KMU?

Die ehrliche Antwort: Es kommt darauf an, wovon du lebst.

Du lebst von deinen Texten und Bildern (Magazin, Ratgeber, Fotografie, Fachverlag, Onlineshop mit eigenen Produktfotos): Dann ist der Token eine sinnvolle Ergänzung, denn damit hast du erstmals ein einheitliches Signal an alle großen Anbieter. Trag ihn ein, prüfe aber vorher deine bestehenden Regeln.

Du willst von KI-Antworten gefunden werden (lokaler Betrieb, Dienstleister, Handwerk): Hier könnte ein pauschaler Opt-out nach hinten losgehen. Wer in ChatGPT-, Gemini- oder Copilot-Antworten auftauchen will, sollte genau abwägen, was er sperrt. Wir haben im Juni beschrieben, wie KI-Suche den Website-Traffic von KMU umkrempelt. Dieser Beitrag ist dafür die wichtigere Lektüre.

Eine Faustregel für beide Fälle: Bestehende Regeln für GPTBot, ClaudeBot und Google-Extended nicht löschen. Sie funktionieren laut den Berichten auch während der Übergangszeit weiter, und mit ihnen kannst du feiner steuern als mit dem neuen Sammelsignal.

Was du jetzt konkret tun kannst

1. robots.txt ansehen. Einfach deine-domain.at/robots.txt im Browser öffnen. Du wirst überrascht sein, was dort alles steht, vor allem wenn die Seite von einem Baukasten oder einem alten Plugin erzeugt wurde.
2. Entscheidung treffen: Soll mein Content zum Training dienen, ja oder nein? Und: Will ich in KI-Antworten vorkommen? Beides sind getrennte Fragen.
3. Falls Opt-out gewünscht: Token mit eigener Gruppe eintragen und Google-Extended ausdrücklich so setzen, wie du es willst (erlauben, wenn du in Gemini auftauchen möchtest).
4. Nicht darauf verlassen. Für wirklich schützenswerte Inhalte brauchst du Zugriffsbeschränkungen, nicht nur eine höfliche Bitte in einer Textdatei.
5. Im Frühjahr 2027 nachschauen, welche Firmen den Token tatsächlich umgesetzt haben und ob der Draft überarbeitet wurde.

Unser Fazit

Ein gemeinsames Signal ist überfällig, und dass vier der größten KI-Firmen es mittragen, ist ein echter Fortschritt. Aber es ist ein Höflichkeitsprotokoll, kein Schloss, und die wichtigsten Umsetzungen kommen erst 2027. Wer jetzt hektisch alles sperrt, riskiert Sichtbarkeit, wer gar nichts tut, überlässt die Entscheidung den Voreinstellungen der anderen.

Wenn du nicht sicher bist, was in deiner robots.txt steht oder wie du Sichtbarkeit und Schutz ausbalancierst: Wir schauen uns das gerne gemeinsam mit dir an.

Quellen

• IETF Internet-Draft: Machine-Readable Training Preference Signal (draft-kelley-aipref-training-preference-signal-00), 30. Oktober 2026
• Search Engine Roundtable: Google AI training control, 30. Oktober 2026
• ShiftDelete: AI Training Opt-Out, OpenAI, Google and Microsoft Back One Rule, 31. Oktober 2026
• DataStudios: OpenAI, Google, Microsoft, Anthropic back __usage_ai-training robots.txt opt-out token, 30. Oktober 2026