SEO & GEO
llms.txt & KI-Crawler 2026: robots.txt richtig steuern
llms.txt und KI-Crawler 2026: was die Datei bringt, welche Bots trainieren oder zitieren, drei robots.txt-Vorlagen, Log-Check und Rechtslage zum TDM-Opt-out.

Das Wichtigste in Kürze
Kurz gesagt:
- llms.txt ist für die meisten Firmenwebsites Nebensache. Laut Ahrefs veröffentlichen 28 % von rund 137.000 Domains eine llms.txt, 97 % davon wurden im Mai 2026 kein einziges Mal abgerufen. Nutzen hat sie vor allem bei Entwicklerdokumentation.
- Die robots.txt ist das eigentliche Steuerungsinstrument. Die großen Anbieter trennen ihre Bots nach Zweck: Training (z. B. GPTBot, ClaudeBot), Suchindex (OAI-SearchBot, Claude-SearchBot, PerplexityBot) und Abruf auf Nutzerwunsch (ChatGPT-User, Perplexity-User).
- Wer KI-Sichtbarkeit will, sperrt nie die Such-Bots. Training lässt sich getrennt davon ausschließen, ohne Zitate in ChatGPT, Claude oder Perplexity zu verlieren.
- Neu seit 30. Oktober 2026: Das gemeinsame Token
__usage_ai-trainingaus der IETF-Arbeitsgruppe AIPREF soll das Training-Opt-out für viele Anbieter in einer Regel bündeln. Microsoft beachtet es ab 1. Februar 2027, Google ab Anfang 2027. - Rechtlich ist der maschinenlesbare Vorbehalt nach § 44b Abs. 3 UrhG die Grundlage für ein Training-Opt-out in Deutschland.
Seit KI-Assistenten Websites lesen, zitieren und zum Training nutzen, ist die robots.txt vom Technik-Detail zur Geschäftsentscheidung geworden. Gleichzeitig verkaufen manche Anbieter die llms.txt als Pflicht für KI-Sichtbarkeit. Dieser Ratgeber trennt beides sauber: Was eine llms.txt kann und was die Daten dazu sagen, welche KI-Crawler es gibt und was eine Sperre jeweils bewirkt, drei fertige robots.txt-Vorlagen, eine Anleitung für den Log-Check und der rechtliche Rahmen in der EU. Stand der Recherche: 6. November 2026, alle Bot-Angaben stammen aus den offiziellen Dokumentationen der Betreiber.
Was ist eine llms.txt – und was ist sie nicht?
Eine llms.txt ist eine Markdown-Datei, die eine Website für Sprachmodelle und KI-Agenten zusammenfasst und auf die wichtigsten Inhalte verlinkt. Der Vorschlag stammt von Jeremy Howard (Answer.AI, fast.ai) aus dem September 2024; am 10. August 2026 hat er die Spezifikation in Version 2 überarbeitet. Die Kernpunkte:
- Aufbau: Pflicht ist nur eine H1 mit dem Namen der Website. Danach folgen optional ein Zitatblock mit einer Kurzbeschreibung, erläuternder Text und H2-Abschnitte mit Linklisten im Format
[Name](URL): Notiz. Ein Abschnitt „Optional“ markiert Links, die ein Agent bei knappem Kontext überspringen kann. - Ort: Die Datei liegt unter
/llms.txtoder seit v2 auch in Unterpfaden, etwa/docs/llms.txtfür die Dokumentation. Die spezifischste Datei gilt. - Markdown-Versionen: Seiten können zusätzlich als
.mdunter derselben URL bereitgestellt werden. Überrel="alternate" type="text/markdown"undrel="describedby"im HTML oder im HTTP-Header lassen sich beide Dateien auffindbar machen. - Abgrenzung: Laut Spezifikation steuert die robots.txt den Zugriff, die llms.txt liefert Kontext, wenn ein Agent gerade eine Frage beantwortet. Sie ist also für die Nutzung zur Laufzeit gedacht, nicht für das Training.
Was die llms.txt nicht ist: Sie ist kein Standard einer Normungsorganisation, sie sperrt oder erlaubt nichts, und sie ist keine Voraussetzung für Zitate. Google schreibt in seinem Leitfaden für generative KI-Funktionen, dass maschinenlesbare Zusatzdateien wie llms.txt für AI Overviews und AI Mode nicht nötig sind. In der Crawler-Dokumentation von OpenAI taucht die Datei als Voraussetzung für die ChatGPT-Suche ebenfalls nicht auf.
Wie wird llms.txt 2026 tatsächlich genutzt?
Die belastbarste Untersuchung stammt von Ahrefs. Für die llms.txt-Studie vom 28. Juli 2026 wurden die Server-Logs aller 137.210 Domains ausgewertet, die im Mai 2026 Ahrefs Web Analytics nutzten.
| Kennzahl | Wert |
|---|---|
| Domains mit gültiger llms.txt | 28 % (rund 38.000), laut Ahrefs eher Obergrenze, weil die Stichprobe SEO-affin ist |
| Dateien ohne einen einzigen Abruf im Mai 2026 | 97 % |
| Anteil Bots an den Abrufen der übrigen 3 % | 96 % |
| Anteil bekannter KI-Bots an diesen Abrufen | 19,5 %, angeführt von GPTBot und Claude-Code |
| Anteil KI-Retrieval-Bots (OAI-SearchBot, PerplexityBot u. a.) | 1,1 % |
| Abrufe fehlender llms.txt durch KI-Bots | null |
Quelle aller Werte: Ahrefs.
Das Bild ist eindeutig: Die Bots, die über Zitate in ChatGPT oder Perplexity entscheiden, interessieren sich kaum für die Datei. Laut Ahrefs rief sogar der Link-Vorschau-Bot von Slack llms.txt-Dateien häufiger ab als PerplexityBot. Am ehesten lesen Coding-Agenten die Datei. Das passt zur Einordnung von Google-Mitarbeiter John Mueller, der llms.txt laut Ahrefs als Hilfe für KI-Coding-Tools beim Lesen von Entwicklerdokumentation beschrieb, „not done for search“.
Gleichzeitig wächst die Infrastruktur: Laut llmstxt.org prüft Chrome Lighthouse die Datei in seinen experimentellen Agentic-Browsing-Audits, Wix erzeugt sie für jede Website, Yoast SEO und AIOSEO bieten Generatoren für WordPress, und OpenAI, Anthropic und Google veröffentlichen llms.txt-Dateien für ihre eigene Entwicklerdokumentation. Ahrefs weist zudem auf ein Risiko hin: Agenten vertrauen der Datei, und Forscher testen bereits, ob sich darüber Prompt Injection einschleusen lässt. Wer eine llms.txt veröffentlicht, sollte sie deshalb wie Code behandeln: versioniert, mit eingeschränkten Schreibrechten und ohne Formulierungen, die wie Anweisungen klingen.
Wann lohnt sich eine llms.txt? Der Entscheidungsbaum
Gehen Sie die Fragen der Reihe nach durch. Die erste Antwort mit „Ja“ entscheidet.
- Haben Sie Entwicklerdokumentation, eine API oder ein SaaS-Produkt, das andere integrieren? → Ja: llms.txt anlegen, idealerweise unter
/docs/llms.txt, plus Markdown-Versionen der Doku-Seiten. Hier ist der Nutzen belegt, weil Coding-Agenten genau danach suchen. - Erzeugt Ihr CMS oder Ihre Doku-Plattform die Datei automatisch (Wix, Mintlify, GitBook, Yoast)? → Ja: aktiv lassen, aber einmal prüfen, ob die verlinkten Seiten stimmen und nichts Internes auftaucht.
- Ist Ihre Website groß und strukturiert (Hunderte Produkte, Fachdatenbank, Wissensportal) und verweisen Sie Kunden selbst auf KI-Agenten? → Ja: eine kuratierte llms.txt kann Agenten den Weg zu den richtigen Bereichen zeigen. Verlinken Sie sie im HTML, sonst findet sie niemand.
- Typische Firmenwebsite mit 10 bis 100 Seiten? → Keine Priorität. Wenn Sie eine anlegen, dann in 30 Minuten und ohne Budget dafür. Die Zeit ist in Leistungsseiten mit klaren Fakten besser investiert.
Für alle vier Fälle gilt: Die llms.txt ersetzt keine erreichbaren, indexierbaren Seiten. Was KI-Antworten wirklich beeinflusst, beschreibt unser GEO-Leitfaden.
Praxisbeispiel: Contentoren selbst
Wir veröffentlichen unter contentoren.de/llms.txt eine llms.txt und unter /llms-full.txt eine ausführliche Fassung. Beide werden beim Build automatisch aus denselben Daten erzeugt wie die Website, damit sie nicht veralten; die Kurzfassung listet Leistungsbereiche, Produkte und Ratgeber. In unserer robots.txt sind Such- und KI-Crawler ausdrücklich erlaubt, darunter GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended und Applebot-Extended. Das ist eine bewusste Entscheidung: Als Agentur wollen wir in KI-Antworten genannt werden, und unsere Inhalte sind ohnehin öffentlich. Ein Verlag mit Bezahlinhalten würde anders entscheiden. Die llms.txt behandeln wir dabei als günstige Ergänzung, nicht als Hebel.
Welche KI-Crawler gibt es – und was bewirkt eine Sperre?
Die wichtigste Unterscheidung: Training (Inhalte fließen in künftige Modelle), Suchindex (Inhalte können in KI-Antworten zitiert und verlinkt werden) und Abruf auf Nutzerwunsch (ein Nutzer bittet den Assistenten, eine bestimmte Seite zu lesen). Wer Training sperrt, verliert keine Zitate. Wer den Suchindex sperrt, schon.
| Bot / Token | Betreiber | Zweck | Folge einer Sperre in der robots.txt |
|---|---|---|---|
Googlebot |
Suchindex inkl. AI Overviews und AI Mode | Website verschwindet aus der Google-Suche, auch aus den KI-Funktionen | |
Google-Extended |
kein eigener Crawler; Steuer-Token für Gemini-Training und Grounding in Gemini Apps/Vertex AI | kein Training, kein Grounding in Gemini Apps; Google-Suche und Ranking unberührt | |
bingbot |
Microsoft | Bing-Index, Grundlage für Copilot-Antworten | Website verschwindet aus Bing und damit aus Copilot-Antworten |
GPTBot |
OpenAI | Training | Inhalte nicht für das Training von OpenAI-Basismodellen; ChatGPT-Suche unberührt |
OAI-SearchBot |
OpenAI | Suchindex der ChatGPT-Suche | keine Zitate in ChatGPT-Suchantworten, nur noch Navigationslinks möglich |
ChatGPT-User |
OpenAI | Abruf auf Nutzerwunsch | laut OpenAI gelten robots.txt-Regeln hier unter Umständen nicht |
ClaudeBot |
Anthropic | Training | künftige Inhalte nicht im Trainingsdatensatz |
Claude-SearchBot |
Anthropic | Suchindex | geringere Sichtbarkeit in Claude-Suchergebnissen |
Claude-User |
Anthropic | Abruf auf Nutzerwunsch | Claude ruft Ihre Seiten auf Nutzerfragen nicht ab |
PerplexityBot |
Perplexity | Suchindex, laut Perplexity kein Training | keine Treffer in der Perplexity-Suche |
Perplexity-User |
Perplexity | Abruf auf Nutzerwunsch | ignoriert robots.txt laut Perplexity in der Regel |
Applebot |
Apple | Suche in Spotlight, Siri, Safari; Daten können auch ins Training fließen | Website verschwindet aus der Apple-Suche |
Applebot-Extended |
Apple | kein eigener Crawler; Steuer-Token für Training der Apple-Modelle | kein Training; Apple-Suche und Ranking unberührt |
meta-externalagent |
Meta | Training von KI-Modellen und Indexierung | Inhalte nicht für diese Zwecke genutzt |
Amazonbot |
Amazon | Produktverbesserung, kann auch für Training genutzt werden | kein Crawling durch Amazonbot; Amzn-SearchBot (Alexa-Suche) ist separat |
CCBot |
Common Crawl | offenes Webarchiv, für jeden frei nutzbar | Inhalte landen nicht in künftigen Common-Crawl-Archiven |
Quellen: Google, Microsoft Bing, OpenAI, Anthropic, Perplexity, Apple, Meta, Amazon, Common Crawl. Alle abgerufen am 6. November 2026.
Vier Details, die oft übersehen werden:
- Google-Suche und KI-Funktionen der Suche hängen am Googlebot. Wer nicht in AI Overviews und AI Mode erscheinen will, nutzt die Search-Console-Einstellung für generative KI oder
nosnippet, nicht Google-Extended. Das erklären wir im Ratgeber zu Google AI Mode und AI Overviews. - Apple: Wenn eine robots.txt Applebot nicht nennt, aber Googlebot, folgt Applebot laut Apple den Googlebot-Regeln. Für KI-Antworten in Siri und Suche greift
nosnippet. - Nutzergesteuerte Abrufe: OpenAI, Perplexity und Meta (
meta-externalfetcher) schreiben, dass Abrufe auf Nutzerwunsch robots.txt unter Umständen nicht befolgen. Wer das verhindern will, braucht Zugriffsschutz auf Serverebene, nicht die robots.txt. - Wartezeit: OpenAI, Perplexity, Amazon und Meta nennen bis zu 24 Stunden, bis Änderungen greifen. Amazon nutzt laut Doku eine zwischengespeicherte robots.txt bis zu 30 Tage.
Was ist AIPREF und das neue Trainingssignal __usage_ai-training?
AIPREF (AI Preferences) ist eine Arbeitsgruppe der IETF, die ein gemeinsames Vokabular für KI-Nutzungspräferenzen erarbeitet. Am 30. Oktober 2026 hat Kevin Kelley (Anthropic) dazu den Internet-Draft „Machine-Readable Training Preference Signal“ veröffentlicht. Es ist ein Einzelentwurf ohne formalen IETF-Status, der am 3. Mai 2027 ausläuft, wenn keine neue Fassung erscheint.
Die Idee: Statt jeden Trainings-Bot einzeln zu sperren, schreiben Sie eine Gruppe mit dem Policy-Token __usage_ai-training. KI-Training ist dort definiert als die Nutzung von Inhalten, um die gelernten Parameter eines generativen KI-Modells zu verändern. Reine Klassifikations- oder Rankingmodelle fallen nicht darunter.
User-Agent: __usage_ai-training
Disallow: /
Allow: /presse/
Drei Regeln aus dem Draft sind wichtig:
User-agent: *gilt nicht für das Token. Wer heute alle Bots aussperrt, hat damit keine Trainingspräferenz ausgedrückt.- Das Token steuert kein Crawling. Googlebot, Bingbot und andere lesen weiter ihre eigenen Gruppen.
- Spezifische Regeln gehen vor. Anbieter dürfen eigene Tokens wie Google-Extended oder ClaudeBot als vorrangig behandeln.
Wer was unterstützt (Stand 6. November 2026):
| Anbieter | Umsetzung | Besonderheit |
|---|---|---|
| „in 2027“ laut Ankündigung, „early 2027“ laut Crawler-Doku | Opt-out wirkt wie ein Disallow für Google-Extended, außer Google-Extended ist ausdrücklich geregelt | |
| Microsoft | ab 1. Februar 2027 beim Crawlen (Bing Blog) | zusätzlich eigene Grounding-Präferenz auf Seitenebene; NoArchive/NoCache gelten ab 1. März 2027 nicht mehr als Trainings- oder Grounding-Signal |
| Anthropic | seit 30. Oktober 2026 schrittweise (Anthropic) | eine Regel für ClaudeBot hat Vorrang vor dem allgemeinen Signal |
| OpenAI | „in den kommenden Monaten“ laut Search Engine Journal | GPTBot-Regeln bleiben gültig; Vorrang bei Widerspruch nicht beschrieben |
Eine Einschränkung bei Google: Google-Extended bündelt Training und Grounding in Gemini Apps. Wer das Training per Token ablehnt, verliert damit auch das Grounding in Gemini Apps. Laut Google können nur Websites, die Google-Extended ausdrücklich erlauben, dort über Grounding erscheinen und Klicks erhalten. Bei Microsoft lassen sich Training und Grounding getrennt steuern, etwa per <meta name="Bingbot" content="ai-training:disallow">.
Unsere Empfehlung: Bestehende Regeln für GPTBot, ClaudeBot oder Google-Extended nicht löschen. Das Token zusätzlich setzen, wenn Sie Training generell ablehnen. Wer bisher NoArchive oder NoCache gegen Copilot einsetzt, muss laut Microsoft vor dem 1. März 2027 handeln.
Drei robots.txt-Vorlagen zum Anpassen
Die Vorlagen sind Ausgangspunkte. Pfade wie /intern/ oder /checkout/ ersetzen Sie durch Ihre eigenen. Testen Sie jede Änderung vor dem Livegang, etwa mit dem robots.txt-Bericht der Search Console.
Vorlage 1: B2B-Dienstleister, der in KI-Antworten genannt werden will
Ziel: maximale Sichtbarkeit in Google, Bing, ChatGPT, Claude, Perplexity und Apple. Training wird erlaubt, weil Modelle die Marke dann eher kennen; das ist eine Abwägung, keine Pflicht.
#Suche und KI-Suche ausdrücklich erlauben
User-agent: Googlebot
User-agent: bingbot
User-agent: Applebot
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Allow: /
Disallow: /intern/
#Abrufe auf Nutzerwunsch erlauben
User-agent: ChatGPT-User
User-agent: Claude-User
User-agent: Perplexity-User
Allow: /
Disallow: /intern/
#Training erlauben (bewusste Entscheidung)
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
Allow: /
Disallow: /intern/
User-agent: *
Allow: /
Disallow: /intern/
Sitemap: https://www.example.de/sitemap.xml
Mehrere User-agent-Zeilen über einer Regelgruppe sind nach RFC 9309 zulässig. Wichtig: Ein Bot, der eine eigene Gruppe findet, ignoriert die *-Gruppe. Deshalb steht Disallow: /intern/ in jeder Gruppe.
Vorlage 2: Verlag oder Fachportal, das Inhalte vor Training schützt
Ziel: in KI-Suchen zitiert werden, aber kein Training. Diese Variante kostet Sichtbarkeit in Gemini Apps, weil Google-Extended dort auch das Grounding steuert.
#Gemeinsames Trainingssignal (AIPREF-Entwurf, Unterstützung ab 2027)
User-Agent: __usage_ai-training
Disallow: /
#Trainings-Bots und -Tokens einzeln sperren
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /
#Suche und KI-Suche erlauben, Bezahlbereich ausnehmen
User-agent: Googlebot
User-agent: bingbot
User-agent: Applebot
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Allow: /
Disallow: /plus/
User-agent: *
Allow: /
Disallow: /plus/
Sitemap: https://www.example.de/sitemap.xml
Ergänzend: nosnippet oder data-nosnippet für Texte, die nicht in KI-Antworten von Google und Apple erscheinen sollen, und für Bezahlinhalte die Auszeichnung isAccessibleForFree: false, die Apple laut Doku als Signal gegen die Nutzung in KI-Antworten wertet. Für Bing ab Februar 2027 zusätzlich die Meta-Angabe ai-training:disallow.
Vorlage 3: Onlineshop
Ziel: Produkte in allen Such- und Shopping-Oberflächen, keine Crawler in Warenkorb, Konto und Filter-URLs. Training ist für Produktdaten meist unkritisch.
User-agent: *
Allow: /
Disallow: /warenkorb/
Disallow: /checkout/
Disallow: /konto/
Disallow: /suche?
Disallow: /*?sort=
Disallow: /*?filter=
#Bots mit eigener Gruppe brauchen die Sperren erneut
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: Amazonbot
Allow: /
Disallow: /warenkorb/
Disallow: /checkout/
Disallow: /konto/
Sitemap: https://www.example.de/sitemap.xml
Wer Shop-Inhalte nicht für Training freigeben will, ergänzt die Trainingsgruppe aus Vorlage 2. Die Wildcard * in Pfaden wird von Google, Bing und den meisten großen Crawlern unterstützt, ist aber erst seit RFC 9309 Teil des Standards; kleinere Bots ignorieren sie unter Umständen.
Wie prüfen Sie in den Server-Logs, welche KI-Bots kommen?
Bevor Sie Regeln ändern, lohnt ein Blick in die Access-Logs. Die folgenden Befehle funktionieren für die üblichen Log-Formate von Nginx und Apache (Combined Log Format). Pfade wie /var/log/nginx/access.log passen Sie an; bei Managed Hosting finden Sie die Logs meist im Kundenportal.
1. Zugriffe pro Bot zählen:
grep -oiE "Googlebot|bingbot|GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|Claude-User|PerplexityBot|Perplexity-User|Applebot|meta-externalagent|Amazonbot|CCBot" /var/log/nginx/access.log \
| sort | uniq -c | sort -rn
2. Welche Seiten ein bestimmter Bot abruft:
grep "OAI-SearchBot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head -20
3. Wer Ihre llms.txt liest:
grep '"GET /llms' /var/log/nginx/access.log | awk -F'"' '{print $6}' | sort | uniq -c | sort -rn
4. Blockiert Ihre Firewall versehentlich Such-Bots? Statuscodes 403 oder 429 bei KI-Suchbots deuten auf eine WAF- oder CDN-Regel hin:
grep -E "OAI-SearchBot|PerplexityBot|Claude-SearchBot" /var/log/nginx/access.log | awk '{print $9}' | sort | uniq -c
5. Echtheit prüfen. User-Agent-Strings lassen sich fälschen. Google empfiehlt eine Reverse-DNS-Prüfung: Die IP muss auf googlebot.com oder google.com auflösen und der Name zurück auf dieselbe IP.
host 66.249.66.1
host crawl-66-249-66-1.googlebot.com
OpenAI (gptbot.json, searchbot.json), Perplexity, Anthropic, Amazon und Common Crawl veröffentlichen ihre IP-Bereiche als JSON-Dateien; Apple und Common Crawl unterstützen zusätzlich Reverse DNS. Perplexity beschreibt in seiner Doku, wie man Bots in Cloudflare oder AWS WAF nur bei passender IP durchlässt.
Logs, Firewall und CDN-Regeln gehören zusammen betrachtet: Viele Websites sperren KI-Suchbots nicht in der robots.txt, sondern unbemerkt über einen Bot-Schutz des Hosters. Wenn Sie das prüfen lassen wollen, hilft unser Bereich Hosting & Sicherheit.
Was gilt rechtlich in der EU? TDM-Vorbehalt und AI Act
Dieser Abschnitt ist eine Einordnung, keine Rechtsberatung.
- § 44b UrhG (Text und Data Mining): Vervielfältigungen rechtmäßig zugänglicher Werke für Text und Data Mining sind erlaubt, außer der Rechteinhaber hat sich das vorbehalten. Bei online zugänglichen Werken ist ein Vorbehalt laut § 44b Abs. 3 UrhG „nur dann wirksam, wenn er in maschinenlesbarer Form erfolgt“. Ein Hinweis nur im Impressum oder in den AGB reicht danach möglicherweise nicht.
- Art. 4 Abs. 3 DSM-Richtlinie (EU) 2019/790: Die europäische Grundlage verlangt einen ausdrücklichen Vorbehalt „in angemessener Weise, etwa mit maschinenlesbaren Mitteln“ bei online veröffentlichten Inhalten (EUR-Lex).
- AI Act, Art. 53 Abs. 1 lit. c: Anbieter von KI-Modellen mit allgemeinem Verwendungszweck (GPAI) müssen eine Strategie zur Einhaltung des EU-Urheberrechts haben und Vorbehalte nach Art. 4 Abs. 3 DSM-Richtlinie erkennen und einhalten, auch mit modernsten Technologien (Verordnung (EU) 2024/1689). Diese Pflichten gelten seit dem 2. August 2025; Modelle, die vorher auf den Markt kamen, haben bis 2. August 2027 Zeit.
- Verhaltenskodex: Laut Google erkennt der EU-Verhaltenskodex für GPAI-Anbieter die robots.txt als wichtigstes Mittel an, mit dem Publisher maschinenlesbare Präferenzen ausdrücken.
Für die Praxis heißt das: Wer Training widersprechen will, sollte das in der robots.txt tun – mit den einzelnen Tokens und ab 2027 zusätzlich mit __usage_ai-training – und den Stand dokumentieren, etwa durch Versionierung der Datei. Ob ein bestimmter Vorbehalt im Streitfall ausreicht, klärt eine Anwältin oder ein Anwalt für Urheberrecht. Welche weiteren Pflichten der AI Act für Ihr Unternehmen mit sich bringt, zeigt unser Überblick zu den Fristen des EU AI Act.
Checkliste: KI-Crawler in 60 Minuten aufräumen
- Aktuelle robots.txt unter
ihre-domain.de/robots.txtöffnen und speichern. - Prüfen, ob
Googlebot,bingbot,OAI-SearchBot,Claude-SearchBotundPerplexityBoterlaubt sind, falls Sie in KI-Antworten erscheinen wollen. - Entscheidung zum Training treffen und dokumentieren: erlauben, einzeln sperren oder per
__usage_ai-trainingwidersprechen. - Für jede Gruppe mit eigenem User-Agent die nötigen
Disallow-Pfade wiederholen. - Search-Console-Einstellung für generative KI prüfen, damit die Website nicht versehentlich ausgeschlossen ist.
- Bei NoArchive/NoCache: Bing-Übergang bis 1. März 2027 planen.
- Server-Logs und WAF/CDN auf 403/429 für Such-Bots prüfen.
- llms.txt nur anlegen, wenn der Entscheidungsbaum oben „Ja“ ergibt; dann im HTML verlinken und versionieren.
- Wirkung messen: KI-Impressionen in Search Console und Bing, Referrer aus chatgpt.com und perplexity.ai. Wie das geht, steht im Ratgeber KI-Sichtbarkeit messen.
Fazit
Die llms.txt ist 2026 vor allem ein Werkzeug für Entwicklerdokumentation und KI-Coding-Agenten, kein Sichtbarkeitshebel für typische Firmenwebsites. Die Datenlage dazu ist klar. Entscheidend ist die robots.txt: Wer zwischen Training, Suchindex und Abruf auf Nutzerwunsch unterscheidet, kann Inhalte vor dem Training schützen und trotzdem in ChatGPT, Claude, Perplexity und Google zitiert werden. Mit dem AIPREF-Token kommt 2027 erstmals ein gemeinsames Trainingssignal, das die Pflege vereinfacht, aber bestehende Regeln nicht ersetzt. Wie wir die Entwicklung für 2027 insgesamt einschätzen, steht in den SEO-Trends 2027.
Möchten Sie robots.txt, Logs und KI-Sichtbarkeit prüfen lassen? Die KI-Suchmaschinenoptimierung (GEO) von Contentoren ab 4.500 € Setup (inkl. USt.) umfasst Technik, Inhalte und Messung. Eine Garantie für Zitate gibt es nicht. Ihre Ausgangslage besprechen wir in einem unverbindlichen Gespräch: Kontakt aufnehmen.
Quellen
Stand: 6. November 2026
- llmstxt.org: „The /llms.txt file, v2“ (Jeremy Howard, veröffentlicht 3. September 2024, geändert 10. August 2026)
- Ahrefs: „llms.txt-Studie: 97 % der Dateien werden nie gelesen“ (28. Juli 2026)
- Google Search Central: „Optimizing your website for generative AI features on Google Search“
- Google Search Central Blog: „Supporting a shared AI training control for websites“ (30. Oktober 2026)
- Google: „List of Google's common crawlers“ (Googlebot, Google-Extended)
- Search-Console-Hilfe: „Steuerung für generative KI in der Suche“
- Microsoft Bing Blog: „Your content, your choice: clearer preferences for training and grounding“ (30. Oktober 2026)
- OpenAI: „Overview of OpenAI Crawlers“
- Anthropic: „Does Anthropic crawl data from the web, and how can site owners block the crawler?“
- Perplexity: „Perplexity Crawlers“
- Apple: „About Applebot“ (4. September 2026)
- Meta: „Meta Web Crawlers“
- Amazon: „Amazon Web Search crawlers“ (26. Oktober 2026)
- Common Crawl: „CCBot“
- IETF Datatracker: draft-kelley-aipref-training-preference-signal-00 (30. Oktober 2026)
- RFC 9309: Robots Exclusion Protocol
- Search Engine Journal: „Google, Microsoft & OpenAI Plan To Honor Shared AI Training Opt-Out“ (1. November 2026)
- SEO Südwest: „KI-Training wird per robots.txt einheitlich steuerbar“ (1. November 2026)
- § 44b UrhG – Text und Data Mining
- Richtlinie (EU) 2019/790 (DSM-Richtlinie), Art. 4
- Verordnung (EU) 2024/1689 (AI Act), Art. 53 und Art. 113
Häufige Fragen
Was ist eine llms.txt-Datei?
Eine llms.txt ist eine Markdown-Datei, meist unter /llms.txt, die eine Website kurz beschreibt und auf ihre wichtigsten Inhalte verlinkt, damit KI-Agenten sich schneller zurechtfinden. Vorgeschlagen hat sie Jeremy Howard 2024, im August 2026 erschien Version 2 der Spezifikation. Sie ist kein offizieller Standard und steuert oder blockiert nichts.
Bringt eine llms.txt mehr Sichtbarkeit in ChatGPT oder Google?
Nach heutiger Datenlage nicht. In einer Ahrefs-Studie mit rund 137.000 Domains erhielten 97 % der llms.txt-Dateien im Mai 2026 keinen einzigen Abruf, und Google schreibt, dass die Suche solche Dateien für AI Overviews und AI Mode nicht braucht. Sinnvoll ist die Datei vor allem für Entwicklerdokumentation, die von Coding-Agenten gelesen wird.
Verliere ich Google-Rankings, wenn ich Google-Extended sperre?
Nein. Google-Extended ist kein eigener Crawler, sondern ein Steuer-Token für das Training von Gemini-Modellen und das Grounding in Gemini Apps und Vertex AI. Laut Google hat ein Disallow keinen Einfluss auf die Aufnahme in die Google-Suche und ist kein Rankingsignal. AI Overviews und AI Mode steuern Sie separat in der Search Console.
Was bedeutet __usage_ai-training in der robots.txt?
Das ist ein gemeinsames Policy-Token aus einem IETF-Entwurf vom 30. Oktober 2026. Mit einer Gruppe User-Agent: __usage_ai-training und Disallow widersprechen Sie dem KI-Training bei allen Anbietern, die das Signal unterstützen. Google plant die Unterstützung für Anfang 2027, Microsoft ab dem 1. Februar 2027, Anthropic hat mit der Umsetzung begonnen.
Reicht die robots.txt als Nutzungsvorbehalt nach § 44b UrhG?
Das Gesetz verlangt für online zugängliche Werke einen Vorbehalt in maschinenlesbarer Form, nennt aber kein bestimmtes Format. Die robots.txt ist der verbreitetste Weg und wird laut Google auch im EU-Verhaltenskodex für KI-Modelle mit allgemeinem Verwendungszweck anerkannt. Ob sie im Einzelfall genügt, ist eine Rechtsfrage; dieser Artikel ist keine Rechtsberatung.


