Agenturen für Crawler-Steuerung und llms.txt

Agenturen für Crawler-Steuerung und llms.txt

Die eigentliche Weiche steht in der robots.txt. Dort entscheidet sich, welche Programme Inhalte lesen dürfen und zu welchem Zweck. Die Unterscheidung, auf die es ankommt, verläuft zwischen zwei Arten von Zugriff: Programme, die Inhalte für das Training künftiger Modelle einsammeln, und Programme, die im Moment einer Nutzerfrage eine Seite abrufen, um daraus zu antworten.

Wer das Erste sperrt und das Zweite erlaubt, behält seine Inhalte weitgehend für sich und bleibt trotzdem in aktuellen Antworten auffindbar. Wer pauschal alles sperrt, verschwindet auch aus den Antworten – was eine legitime Entscheidung sein kann, aber eine bewusste sein sollte.

Die Datei llms.txt ist ein Vorschlag aus dem Jahr 2024: eine Übersicht der wichtigsten Inhalte in Markdown, abgelegt im Wurzelverzeichnis. Bislang hat kein großer Anbieter bestätigt, sie auszuwerten. Der Aufwand ist gering, der Nutzen unbewiesen – wer sie anlegt, sollte das mit dieser Begründung tun und nicht mit einer Wirkung, die niemand gezeigt hat.

Prüffrage: Kann der Anbieter die Namen der derzeit relevanten Programme nennen und sagen, welches davon für Training und welches für den Abruf zuständig ist? Die Listen ändern sich – wer sie kennt, verfolgt das Feld.