In den meisten Unternehmen ist diese Entscheidung längst gefallen – nämlich dadurch, dass niemand sie getroffen hat. Die Voreinstellung lautet: alles erlaubt.

Das kann richtig sein. Es sollte nur bewusst so sein.

Zwei Arten von Zugriff

Der Unterschied, auf den alles Weitere aufbaut:

  • Training. Ein Programm sammelt Inhalte ein, damit ein künftiges Modell daraus lernt. Der Nutzen für den Urheber ist gering und mittelbar – im fertigen Modell ist die Quelle nicht mehr erkennbar.
  • Abruf. Ein Programm holt eine Seite in dem Moment, in dem jemand eine Frage stellt, und formuliert daraus eine Antwort – in der Regel mit Quellenangabe und Verlinkung. Hier ist der Nutzen unmittelbar.

Wer sichtbar sein will, ohne Trainingsmaterial zu liefern, sperrt das Erste und erlaubt das Zweite. Diese Kombination ist der Regelfall für Unternehmen, die im Netz gefunden werden wollen.

Wie das praktisch aussieht

Die Steuerung erfolgt über Regelblöcke je Kennung. Der Aufbau ist derselbe wie bei allen anderen Einträgen in der Datei:

User-agent: BeispielTrainingsBot
Disallow: /

User-agent: BeispielAbrufBot
Allow: /

Die Namen der Kennungen bewusst weggelassen: Sie ändern sich, es kommen neue hinzu, und eine hier abgedruckte Liste wäre in einem halben Jahr falsch. Die Anbieter dokumentieren ihre Kennungen jeweils selbst – dort gehört sie geholt, und zwar bei jeder Überarbeitung neu.

Wichtig ist die Reihenfolge der Prüfung: Ein Programm richtet sich nach dem Block, der seine eigene Kennung nennt. Ein allgemeiner Block für alle wird nur herangezogen, wenn kein spezifischer existiert. Wer einen speziellen Block setzt und darin nur eine Sperre notiert, hebt damit nicht automatisch die allgemeinen Regeln auf.

Der Sonderfall Google

Hier wird am häufigsten falsch abgebogen. Das Kennzeichen Google-Extended steuert, ob Inhalte für bestimmte KI-Produkte verwendet werden dürfen. Es ist kein eigener Crawler – die Inhalte holt weiterhin der gewöhnliche Googlebot – und es schaltet die generierten Antwortkästen in der Suche nicht ab.

Wer die Antwortkästen fürchtet und deshalb Google-Extended sperrt, hat etwas anderes bewirkt als beabsichtigt. Wer umgekehrt den Googlebot sperrt, verschwindet aus der Suche – mitsamt allem, was daran hängt.

Die Nebenwirkungen

Eine Sperre wirkt in beide Richtungen. Inhalte, die nicht abgerufen werden dürfen, kommen in Antworten nicht vor. Für Unternehmen, die über Sichtbarkeit Kunden gewinnen, ist das der teure Weg.

Die Datei ist eine Bitte. Sie wird von den dokumentierten Anbietern beachtet. Wer Inhalte gegen unerwünschtes Auslesen wirklich absichern will, braucht eine Zugangsbeschränkung – Anmeldung, Bezahlschranke, Zugriffsbegrenzung.

Rückwirkung gibt es nicht. Was bereits eingesammelt wurde, ist eingesammelt.

Der stille Fehler daneben

Häufiger als eine falsch gesetzte Sperre ist eine, von der niemand weiß: Schutzmechanismen gegen automatisierte Zugriffe weisen die abrufenden Programme ab, obwohl die robots.txt sie erlaubt. Im Frontend funktioniert alles, in den Server-Protokollen stehen Statuscodes im Bereich 403 und 429.

Diese Prüfung gehört an den Anfang jeder Arbeit an der Sichtbarkeit in Antwortsystemen. Sie dauert zwanzig Minuten und erspart im Zweifel ein halbes Jahr Aufwand am falschen Ende.

Eine Entscheidung, die dokumentiert gehört

Wer sperrt, sollte festhalten, warum – sonst hebt die nächste Überarbeitung die Regel auf, weil niemand mehr die Begründung kennt. Und wer alles erlaubt, sollte das ebenfalls festhalten. Eine bewusste Freigabe ist etwas anderes als eine vergessene Zeile.