Contentoren

SEO & GEO

llms.txt & KI-Crawler 2026: robots.txt richtig steuern

llms.txt und KI-Crawler 2026: was die Datei bringt, welche Bots trainieren oder zitieren, drei robots.txt-Vorlagen, Log-Check und Rechtslage zum TDM-Opt-out.

19 Min. Lesezeitvon Contentoren Redaktion
Teilen
Ein IT-Administrator eines Möbelhändlers prüft abends an zwei Monitoren Logdaten, hinter ihm liegt die dunkle Ausstellung.

Das Wichtigste in Kürze

Kurz gesagt:

  • llms.txt ist für die meisten Firmenwebsites Nebensache. Laut Ahrefs veröffentlichen 28 % von rund 137.000 Domains eine llms.txt, 97 % davon wurden im Mai 2026 kein einziges Mal abgerufen. Nutzen hat sie vor allem bei Entwicklerdokumentation.
  • Die robots.txt ist das eigentliche Steuerungsinstrument. Die großen Anbieter trennen ihre Bots nach Zweck: Training (z. B. GPTBot, ClaudeBot), Suchindex (OAI-SearchBot, Claude-SearchBot, PerplexityBot) und Abruf auf Nutzerwunsch (ChatGPT-User, Perplexity-User).
  • Wer KI-Sichtbarkeit will, sperrt nie die Such-Bots. Training lässt sich getrennt davon ausschließen, ohne Zitate in ChatGPT, Claude oder Perplexity zu verlieren.
  • Neu seit 30. Oktober 2026: Das gemeinsame Token __usage_ai-training aus der IETF-Arbeitsgruppe AIPREF soll das Training-Opt-out für viele Anbieter in einer Regel bündeln. Microsoft beachtet es ab 1. Februar 2027, Google ab Anfang 2027.
  • Rechtlich ist der maschinenlesbare Vorbehalt nach § 44b Abs. 3 UrhG die Grundlage für ein Training-Opt-out in Deutschland.

Seit KI-Assistenten Websites lesen, zitieren und zum Training nutzen, ist die robots.txt vom Technik-Detail zur Geschäftsentscheidung geworden. Gleichzeitig verkaufen manche Anbieter die llms.txt als Pflicht für KI-Sichtbarkeit. Dieser Ratgeber trennt beides sauber: Was eine llms.txt kann und was die Daten dazu sagen, welche KI-Crawler es gibt und was eine Sperre jeweils bewirkt, drei fertige robots.txt-Vorlagen, eine Anleitung für den Log-Check und der rechtliche Rahmen in der EU. Stand der Recherche: 6. November 2026, alle Bot-Angaben stammen aus den offiziellen Dokumentationen der Betreiber.

Was ist eine llms.txt – und was ist sie nicht?

Eine llms.txt ist eine Markdown-Datei, die eine Website für Sprachmodelle und KI-Agenten zusammenfasst und auf die wichtigsten Inhalte verlinkt. Der Vorschlag stammt von Jeremy Howard (Answer.AI, fast.ai) aus dem September 2024; am 10. August 2026 hat er die Spezifikation in Version 2 überarbeitet. Die Kernpunkte:

  • Aufbau: Pflicht ist nur eine H1 mit dem Namen der Website. Danach folgen optional ein Zitatblock mit einer Kurzbeschreibung, erläuternder Text und H2-Abschnitte mit Linklisten im Format [Name](URL): Notiz. Ein Abschnitt „Optional“ markiert Links, die ein Agent bei knappem Kontext überspringen kann.
  • Ort: Die Datei liegt unter /llms.txt oder seit v2 auch in Unterpfaden, etwa /docs/llms.txt für die Dokumentation. Die spezifischste Datei gilt.
  • Markdown-Versionen: Seiten können zusätzlich als .md unter derselben URL bereitgestellt werden. Über rel="alternate" type="text/markdown" und rel="describedby" im HTML oder im HTTP-Header lassen sich beide Dateien auffindbar machen.
  • Abgrenzung: Laut Spezifikation steuert die robots.txt den Zugriff, die llms.txt liefert Kontext, wenn ein Agent gerade eine Frage beantwortet. Sie ist also für die Nutzung zur Laufzeit gedacht, nicht für das Training.

Was die llms.txt nicht ist: Sie ist kein Standard einer Normungsorganisation, sie sperrt oder erlaubt nichts, und sie ist keine Voraussetzung für Zitate. Google schreibt in seinem Leitfaden für generative KI-Funktionen, dass maschinenlesbare Zusatzdateien wie llms.txt für AI Overviews und AI Mode nicht nötig sind. In der Crawler-Dokumentation von OpenAI taucht die Datei als Voraussetzung für die ChatGPT-Suche ebenfalls nicht auf.

Wie wird llms.txt 2026 tatsächlich genutzt?

Die belastbarste Untersuchung stammt von Ahrefs. Für die llms.txt-Studie vom 28. Juli 2026 wurden die Server-Logs aller 137.210 Domains ausgewertet, die im Mai 2026 Ahrefs Web Analytics nutzten.

Kennzahl Wert
Domains mit gültiger llms.txt 28 % (rund 38.000), laut Ahrefs eher Obergrenze, weil die Stichprobe SEO-affin ist
Dateien ohne einen einzigen Abruf im Mai 2026 97 %
Anteil Bots an den Abrufen der übrigen 3 % 96 %
Anteil bekannter KI-Bots an diesen Abrufen 19,5 %, angeführt von GPTBot und Claude-Code
Anteil KI-Retrieval-Bots (OAI-SearchBot, PerplexityBot u. a.) 1,1 %
Abrufe fehlender llms.txt durch KI-Bots null

Quelle aller Werte: Ahrefs.

Das Bild ist eindeutig: Die Bots, die über Zitate in ChatGPT oder Perplexity entscheiden, interessieren sich kaum für die Datei. Laut Ahrefs rief sogar der Link-Vorschau-Bot von Slack llms.txt-Dateien häufiger ab als PerplexityBot. Am ehesten lesen Coding-Agenten die Datei. Das passt zur Einordnung von Google-Mitarbeiter John Mueller, der llms.txt laut Ahrefs als Hilfe für KI-Coding-Tools beim Lesen von Entwicklerdokumentation beschrieb, „not done for search“.

Gleichzeitig wächst die Infrastruktur: Laut llmstxt.org prüft Chrome Lighthouse die Datei in seinen experimentellen Agentic-Browsing-Audits, Wix erzeugt sie für jede Website, Yoast SEO und AIOSEO bieten Generatoren für WordPress, und OpenAI, Anthropic und Google veröffentlichen llms.txt-Dateien für ihre eigene Entwicklerdokumentation. Ahrefs weist zudem auf ein Risiko hin: Agenten vertrauen der Datei, und Forscher testen bereits, ob sich darüber Prompt Injection einschleusen lässt. Wer eine llms.txt veröffentlicht, sollte sie deshalb wie Code behandeln: versioniert, mit eingeschränkten Schreibrechten und ohne Formulierungen, die wie Anweisungen klingen.

Wann lohnt sich eine llms.txt? Der Entscheidungsbaum

Gehen Sie die Fragen der Reihe nach durch. Die erste Antwort mit „Ja“ entscheidet.

  1. Haben Sie Entwicklerdokumentation, eine API oder ein SaaS-Produkt, das andere integrieren? → Ja: llms.txt anlegen, idealerweise unter /docs/llms.txt, plus Markdown-Versionen der Doku-Seiten. Hier ist der Nutzen belegt, weil Coding-Agenten genau danach suchen.
  2. Erzeugt Ihr CMS oder Ihre Doku-Plattform die Datei automatisch (Wix, Mintlify, GitBook, Yoast)? → Ja: aktiv lassen, aber einmal prüfen, ob die verlinkten Seiten stimmen und nichts Internes auftaucht.
  3. Ist Ihre Website groß und strukturiert (Hunderte Produkte, Fachdatenbank, Wissensportal) und verweisen Sie Kunden selbst auf KI-Agenten? → Ja: eine kuratierte llms.txt kann Agenten den Weg zu den richtigen Bereichen zeigen. Verlinken Sie sie im HTML, sonst findet sie niemand.
  4. Typische Firmenwebsite mit 10 bis 100 Seiten? → Keine Priorität. Wenn Sie eine anlegen, dann in 30 Minuten und ohne Budget dafür. Die Zeit ist in Leistungsseiten mit klaren Fakten besser investiert.

Für alle vier Fälle gilt: Die llms.txt ersetzt keine erreichbaren, indexierbaren Seiten. Was KI-Antworten wirklich beeinflusst, beschreibt unser GEO-Leitfaden.

Praxisbeispiel: Contentoren selbst

Wir veröffentlichen unter contentoren.de/llms.txt eine llms.txt und unter /llms-full.txt eine ausführliche Fassung. Beide werden beim Build automatisch aus denselben Daten erzeugt wie die Website, damit sie nicht veralten; die Kurzfassung listet Leistungsbereiche, Produkte und Ratgeber. In unserer robots.txt sind Such- und KI-Crawler ausdrücklich erlaubt, darunter GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended und Applebot-Extended. Das ist eine bewusste Entscheidung: Als Agentur wollen wir in KI-Antworten genannt werden, und unsere Inhalte sind ohnehin öffentlich. Ein Verlag mit Bezahlinhalten würde anders entscheiden. Die llms.txt behandeln wir dabei als günstige Ergänzung, nicht als Hebel.

Welche KI-Crawler gibt es – und was bewirkt eine Sperre?

Die wichtigste Unterscheidung: Training (Inhalte fließen in künftige Modelle), Suchindex (Inhalte können in KI-Antworten zitiert und verlinkt werden) und Abruf auf Nutzerwunsch (ein Nutzer bittet den Assistenten, eine bestimmte Seite zu lesen). Wer Training sperrt, verliert keine Zitate. Wer den Suchindex sperrt, schon.

Bot / Token Betreiber Zweck Folge einer Sperre in der robots.txt
Googlebot Google Suchindex inkl. AI Overviews und AI Mode Website verschwindet aus der Google-Suche, auch aus den KI-Funktionen
Google-Extended Google kein eigener Crawler; Steuer-Token für Gemini-Training und Grounding in Gemini Apps/Vertex AI kein Training, kein Grounding in Gemini Apps; Google-Suche und Ranking unberührt
bingbot Microsoft Bing-Index, Grundlage für Copilot-Antworten Website verschwindet aus Bing und damit aus Copilot-Antworten
GPTBot OpenAI Training Inhalte nicht für das Training von OpenAI-Basismodellen; ChatGPT-Suche unberührt
OAI-SearchBot OpenAI Suchindex der ChatGPT-Suche keine Zitate in ChatGPT-Suchantworten, nur noch Navigationslinks möglich
ChatGPT-User OpenAI Abruf auf Nutzerwunsch laut OpenAI gelten robots.txt-Regeln hier unter Umständen nicht
ClaudeBot Anthropic Training künftige Inhalte nicht im Trainingsdatensatz
Claude-SearchBot Anthropic Suchindex geringere Sichtbarkeit in Claude-Suchergebnissen
Claude-User Anthropic Abruf auf Nutzerwunsch Claude ruft Ihre Seiten auf Nutzerfragen nicht ab
PerplexityBot Perplexity Suchindex, laut Perplexity kein Training keine Treffer in der Perplexity-Suche
Perplexity-User Perplexity Abruf auf Nutzerwunsch ignoriert robots.txt laut Perplexity in der Regel
Applebot Apple Suche in Spotlight, Siri, Safari; Daten können auch ins Training fließen Website verschwindet aus der Apple-Suche
Applebot-Extended Apple kein eigener Crawler; Steuer-Token für Training der Apple-Modelle kein Training; Apple-Suche und Ranking unberührt
meta-externalagent Meta Training von KI-Modellen und Indexierung Inhalte nicht für diese Zwecke genutzt
Amazonbot Amazon Produktverbesserung, kann auch für Training genutzt werden kein Crawling durch Amazonbot; Amzn-SearchBot (Alexa-Suche) ist separat
CCBot Common Crawl offenes Webarchiv, für jeden frei nutzbar Inhalte landen nicht in künftigen Common-Crawl-Archiven

Quellen: Google, Microsoft Bing, OpenAI, Anthropic, Perplexity, Apple, Meta, Amazon, Common Crawl. Alle abgerufen am 6. November 2026.

Vier Details, die oft übersehen werden:

  • Google-Suche und KI-Funktionen der Suche hängen am Googlebot. Wer nicht in AI Overviews und AI Mode erscheinen will, nutzt die Search-Console-Einstellung für generative KI oder nosnippet, nicht Google-Extended. Das erklären wir im Ratgeber zu Google AI Mode und AI Overviews.
  • Apple: Wenn eine robots.txt Applebot nicht nennt, aber Googlebot, folgt Applebot laut Apple den Googlebot-Regeln. Für KI-Antworten in Siri und Suche greift nosnippet.
  • Nutzergesteuerte Abrufe: OpenAI, Perplexity und Meta (meta-externalfetcher) schreiben, dass Abrufe auf Nutzerwunsch robots.txt unter Umständen nicht befolgen. Wer das verhindern will, braucht Zugriffsschutz auf Serverebene, nicht die robots.txt.
  • Wartezeit: OpenAI, Perplexity, Amazon und Meta nennen bis zu 24 Stunden, bis Änderungen greifen. Amazon nutzt laut Doku eine zwischengespeicherte robots.txt bis zu 30 Tage.

Was ist AIPREF und das neue Trainingssignal __usage_ai-training?

AIPREF (AI Preferences) ist eine Arbeitsgruppe der IETF, die ein gemeinsames Vokabular für KI-Nutzungspräferenzen erarbeitet. Am 30. Oktober 2026 hat Kevin Kelley (Anthropic) dazu den Internet-Draft „Machine-Readable Training Preference Signal“ veröffentlicht. Es ist ein Einzelentwurf ohne formalen IETF-Status, der am 3. Mai 2027 ausläuft, wenn keine neue Fassung erscheint.

Die Idee: Statt jeden Trainings-Bot einzeln zu sperren, schreiben Sie eine Gruppe mit dem Policy-Token __usage_ai-training. KI-Training ist dort definiert als die Nutzung von Inhalten, um die gelernten Parameter eines generativen KI-Modells zu verändern. Reine Klassifikations- oder Rankingmodelle fallen nicht darunter.

User-Agent: __usage_ai-training
Disallow: /
Allow: /presse/

Drei Regeln aus dem Draft sind wichtig:

  1. User-agent: * gilt nicht für das Token. Wer heute alle Bots aussperrt, hat damit keine Trainingspräferenz ausgedrückt.
  2. Das Token steuert kein Crawling. Googlebot, Bingbot und andere lesen weiter ihre eigenen Gruppen.
  3. Spezifische Regeln gehen vor. Anbieter dürfen eigene Tokens wie Google-Extended oder ClaudeBot als vorrangig behandeln.

Wer was unterstützt (Stand 6. November 2026):

Anbieter Umsetzung Besonderheit
Google „in 2027“ laut Ankündigung, „early 2027“ laut Crawler-Doku Opt-out wirkt wie ein Disallow für Google-Extended, außer Google-Extended ist ausdrücklich geregelt
Microsoft ab 1. Februar 2027 beim Crawlen (Bing Blog) zusätzlich eigene Grounding-Präferenz auf Seitenebene; NoArchive/NoCache gelten ab 1. März 2027 nicht mehr als Trainings- oder Grounding-Signal
Anthropic seit 30. Oktober 2026 schrittweise (Anthropic) eine Regel für ClaudeBot hat Vorrang vor dem allgemeinen Signal
OpenAI „in den kommenden Monaten“ laut Search Engine Journal GPTBot-Regeln bleiben gültig; Vorrang bei Widerspruch nicht beschrieben

Eine Einschränkung bei Google: Google-Extended bündelt Training und Grounding in Gemini Apps. Wer das Training per Token ablehnt, verliert damit auch das Grounding in Gemini Apps. Laut Google können nur Websites, die Google-Extended ausdrücklich erlauben, dort über Grounding erscheinen und Klicks erhalten. Bei Microsoft lassen sich Training und Grounding getrennt steuern, etwa per <meta name="Bingbot" content="ai-training:disallow">.

Unsere Empfehlung: Bestehende Regeln für GPTBot, ClaudeBot oder Google-Extended nicht löschen. Das Token zusätzlich setzen, wenn Sie Training generell ablehnen. Wer bisher NoArchive oder NoCache gegen Copilot einsetzt, muss laut Microsoft vor dem 1. März 2027 handeln.

Drei robots.txt-Vorlagen zum Anpassen

Die Vorlagen sind Ausgangspunkte. Pfade wie /intern/ oder /checkout/ ersetzen Sie durch Ihre eigenen. Testen Sie jede Änderung vor dem Livegang, etwa mit dem robots.txt-Bericht der Search Console.

Vorlage 1: B2B-Dienstleister, der in KI-Antworten genannt werden will

Ziel: maximale Sichtbarkeit in Google, Bing, ChatGPT, Claude, Perplexity und Apple. Training wird erlaubt, weil Modelle die Marke dann eher kennen; das ist eine Abwägung, keine Pflicht.

#Suche und KI-Suche ausdrücklich erlauben
User-agent: Googlebot
User-agent: bingbot
User-agent: Applebot
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Allow: /
Disallow: /intern/

#Abrufe auf Nutzerwunsch erlauben
User-agent: ChatGPT-User
User-agent: Claude-User
User-agent: Perplexity-User
Allow: /
Disallow: /intern/

#Training erlauben (bewusste Entscheidung)
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
Allow: /
Disallow: /intern/

User-agent: *
Allow: /
Disallow: /intern/

Sitemap: https://www.example.de/sitemap.xml

Mehrere User-agent-Zeilen über einer Regelgruppe sind nach RFC 9309 zulässig. Wichtig: Ein Bot, der eine eigene Gruppe findet, ignoriert die *-Gruppe. Deshalb steht Disallow: /intern/ in jeder Gruppe.

Vorlage 2: Verlag oder Fachportal, das Inhalte vor Training schützt

Ziel: in KI-Suchen zitiert werden, aber kein Training. Diese Variante kostet Sichtbarkeit in Gemini Apps, weil Google-Extended dort auch das Grounding steuert.

#Gemeinsames Trainingssignal (AIPREF-Entwurf, Unterstützung ab 2027)
User-Agent: __usage_ai-training
Disallow: /

#Trainings-Bots und -Tokens einzeln sperren
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

#Suche und KI-Suche erlauben, Bezahlbereich ausnehmen
User-agent: Googlebot
User-agent: bingbot
User-agent: Applebot
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Allow: /
Disallow: /plus/

User-agent: *
Allow: /
Disallow: /plus/

Sitemap: https://www.example.de/sitemap.xml

Ergänzend: nosnippet oder data-nosnippet für Texte, die nicht in KI-Antworten von Google und Apple erscheinen sollen, und für Bezahlinhalte die Auszeichnung isAccessibleForFree: false, die Apple laut Doku als Signal gegen die Nutzung in KI-Antworten wertet. Für Bing ab Februar 2027 zusätzlich die Meta-Angabe ai-training:disallow.

Vorlage 3: Onlineshop

Ziel: Produkte in allen Such- und Shopping-Oberflächen, keine Crawler in Warenkorb, Konto und Filter-URLs. Training ist für Produktdaten meist unkritisch.

User-agent: *
Allow: /
Disallow: /warenkorb/
Disallow: /checkout/
Disallow: /konto/
Disallow: /suche?
Disallow: /*?sort=
Disallow: /*?filter=

#Bots mit eigener Gruppe brauchen die Sperren erneut
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: Amazonbot
Allow: /
Disallow: /warenkorb/
Disallow: /checkout/
Disallow: /konto/

Sitemap: https://www.example.de/sitemap.xml

Wer Shop-Inhalte nicht für Training freigeben will, ergänzt die Trainingsgruppe aus Vorlage 2. Die Wildcard * in Pfaden wird von Google, Bing und den meisten großen Crawlern unterstützt, ist aber erst seit RFC 9309 Teil des Standards; kleinere Bots ignorieren sie unter Umständen.

Wie prüfen Sie in den Server-Logs, welche KI-Bots kommen?

Bevor Sie Regeln ändern, lohnt ein Blick in die Access-Logs. Die folgenden Befehle funktionieren für die üblichen Log-Formate von Nginx und Apache (Combined Log Format). Pfade wie /var/log/nginx/access.log passen Sie an; bei Managed Hosting finden Sie die Logs meist im Kundenportal.

1. Zugriffe pro Bot zählen:

grep -oiE "Googlebot|bingbot|GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|Claude-User|PerplexityBot|Perplexity-User|Applebot|meta-externalagent|Amazonbot|CCBot" /var/log/nginx/access.log \
  | sort | uniq -c | sort -rn

2. Welche Seiten ein bestimmter Bot abruft:

grep "OAI-SearchBot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head -20

3. Wer Ihre llms.txt liest:

grep '"GET /llms' /var/log/nginx/access.log | awk -F'"' '{print $6}' | sort | uniq -c | sort -rn

4. Blockiert Ihre Firewall versehentlich Such-Bots? Statuscodes 403 oder 429 bei KI-Suchbots deuten auf eine WAF- oder CDN-Regel hin:

grep -E "OAI-SearchBot|PerplexityBot|Claude-SearchBot" /var/log/nginx/access.log | awk '{print $9}' | sort | uniq -c

5. Echtheit prüfen. User-Agent-Strings lassen sich fälschen. Google empfiehlt eine Reverse-DNS-Prüfung: Die IP muss auf googlebot.com oder google.com auflösen und der Name zurück auf dieselbe IP.

host 66.249.66.1
host crawl-66-249-66-1.googlebot.com

OpenAI (gptbot.json, searchbot.json), Perplexity, Anthropic, Amazon und Common Crawl veröffentlichen ihre IP-Bereiche als JSON-Dateien; Apple und Common Crawl unterstützen zusätzlich Reverse DNS. Perplexity beschreibt in seiner Doku, wie man Bots in Cloudflare oder AWS WAF nur bei passender IP durchlässt.

Logs, Firewall und CDN-Regeln gehören zusammen betrachtet: Viele Websites sperren KI-Suchbots nicht in der robots.txt, sondern unbemerkt über einen Bot-Schutz des Hosters. Wenn Sie das prüfen lassen wollen, hilft unser Bereich Hosting & Sicherheit.

Was gilt rechtlich in der EU? TDM-Vorbehalt und AI Act

Dieser Abschnitt ist eine Einordnung, keine Rechtsberatung.

  • § 44b UrhG (Text und Data Mining): Vervielfältigungen rechtmäßig zugänglicher Werke für Text und Data Mining sind erlaubt, außer der Rechteinhaber hat sich das vorbehalten. Bei online zugänglichen Werken ist ein Vorbehalt laut § 44b Abs. 3 UrhG „nur dann wirksam, wenn er in maschinenlesbarer Form erfolgt“. Ein Hinweis nur im Impressum oder in den AGB reicht danach möglicherweise nicht.
  • Art. 4 Abs. 3 DSM-Richtlinie (EU) 2019/790: Die europäische Grundlage verlangt einen ausdrücklichen Vorbehalt „in angemessener Weise, etwa mit maschinenlesbaren Mitteln“ bei online veröffentlichten Inhalten (EUR-Lex).
  • AI Act, Art. 53 Abs. 1 lit. c: Anbieter von KI-Modellen mit allgemeinem Verwendungszweck (GPAI) müssen eine Strategie zur Einhaltung des EU-Urheberrechts haben und Vorbehalte nach Art. 4 Abs. 3 DSM-Richtlinie erkennen und einhalten, auch mit modernsten Technologien (Verordnung (EU) 2024/1689). Diese Pflichten gelten seit dem 2. August 2025; Modelle, die vorher auf den Markt kamen, haben bis 2. August 2027 Zeit.
  • Verhaltenskodex: Laut Google erkennt der EU-Verhaltenskodex für GPAI-Anbieter die robots.txt als wichtigstes Mittel an, mit dem Publisher maschinenlesbare Präferenzen ausdrücken.

Für die Praxis heißt das: Wer Training widersprechen will, sollte das in der robots.txt tun – mit den einzelnen Tokens und ab 2027 zusätzlich mit __usage_ai-training – und den Stand dokumentieren, etwa durch Versionierung der Datei. Ob ein bestimmter Vorbehalt im Streitfall ausreicht, klärt eine Anwältin oder ein Anwalt für Urheberrecht. Welche weiteren Pflichten der AI Act für Ihr Unternehmen mit sich bringt, zeigt unser Überblick zu den Fristen des EU AI Act.

Checkliste: KI-Crawler in 60 Minuten aufräumen

  • Aktuelle robots.txt unter ihre-domain.de/robots.txt öffnen und speichern.
  • Prüfen, ob Googlebot, bingbot, OAI-SearchBot, Claude-SearchBot und PerplexityBot erlaubt sind, falls Sie in KI-Antworten erscheinen wollen.
  • Entscheidung zum Training treffen und dokumentieren: erlauben, einzeln sperren oder per __usage_ai-training widersprechen.
  • Für jede Gruppe mit eigenem User-Agent die nötigen Disallow-Pfade wiederholen.
  • Search-Console-Einstellung für generative KI prüfen, damit die Website nicht versehentlich ausgeschlossen ist.
  • Bei NoArchive/NoCache: Bing-Übergang bis 1. März 2027 planen.
  • Server-Logs und WAF/CDN auf 403/429 für Such-Bots prüfen.
  • llms.txt nur anlegen, wenn der Entscheidungsbaum oben „Ja“ ergibt; dann im HTML verlinken und versionieren.
  • Wirkung messen: KI-Impressionen in Search Console und Bing, Referrer aus chatgpt.com und perplexity.ai. Wie das geht, steht im Ratgeber KI-Sichtbarkeit messen.

Fazit

Die llms.txt ist 2026 vor allem ein Werkzeug für Entwicklerdokumentation und KI-Coding-Agenten, kein Sichtbarkeitshebel für typische Firmenwebsites. Die Datenlage dazu ist klar. Entscheidend ist die robots.txt: Wer zwischen Training, Suchindex und Abruf auf Nutzerwunsch unterscheidet, kann Inhalte vor dem Training schützen und trotzdem in ChatGPT, Claude, Perplexity und Google zitiert werden. Mit dem AIPREF-Token kommt 2027 erstmals ein gemeinsames Trainingssignal, das die Pflege vereinfacht, aber bestehende Regeln nicht ersetzt. Wie wir die Entwicklung für 2027 insgesamt einschätzen, steht in den SEO-Trends 2027.

Möchten Sie robots.txt, Logs und KI-Sichtbarkeit prüfen lassen? Die KI-Suchmaschinenoptimierung (GEO) von Contentoren ab 4.500 € Setup (inkl. USt.) umfasst Technik, Inhalte und Messung. Eine Garantie für Zitate gibt es nicht. Ihre Ausgangslage besprechen wir in einem unverbindlichen Gespräch: Kontakt aufnehmen.

Quellen

Stand: 6. November 2026

Häufige Fragen

Was ist eine llms.txt-Datei?

Eine llms.txt ist eine Markdown-Datei, meist unter /llms.txt, die eine Website kurz beschreibt und auf ihre wichtigsten Inhalte verlinkt, damit KI-Agenten sich schneller zurechtfinden. Vorgeschlagen hat sie Jeremy Howard 2024, im August 2026 erschien Version 2 der Spezifikation. Sie ist kein offizieller Standard und steuert oder blockiert nichts.

Bringt eine llms.txt mehr Sichtbarkeit in ChatGPT oder Google?

Nach heutiger Datenlage nicht. In einer Ahrefs-Studie mit rund 137.000 Domains erhielten 97 % der llms.txt-Dateien im Mai 2026 keinen einzigen Abruf, und Google schreibt, dass die Suche solche Dateien für AI Overviews und AI Mode nicht braucht. Sinnvoll ist die Datei vor allem für Entwicklerdokumentation, die von Coding-Agenten gelesen wird.

Verliere ich Google-Rankings, wenn ich Google-Extended sperre?

Nein. Google-Extended ist kein eigener Crawler, sondern ein Steuer-Token für das Training von Gemini-Modellen und das Grounding in Gemini Apps und Vertex AI. Laut Google hat ein Disallow keinen Einfluss auf die Aufnahme in die Google-Suche und ist kein Rankingsignal. AI Overviews und AI Mode steuern Sie separat in der Search Console.

Was bedeutet __usage_ai-training in der robots.txt?

Das ist ein gemeinsames Policy-Token aus einem IETF-Entwurf vom 30. Oktober 2026. Mit einer Gruppe User-Agent: __usage_ai-training und Disallow widersprechen Sie dem KI-Training bei allen Anbietern, die das Signal unterstützen. Google plant die Unterstützung für Anfang 2027, Microsoft ab dem 1. Februar 2027, Anthropic hat mit der Umsetzung begonnen.

Reicht die robots.txt als Nutzungsvorbehalt nach § 44b UrhG?

Das Gesetz verlangt für online zugängliche Werke einen Vorbehalt in maschinenlesbarer Form, nennt aber kein bestimmtes Format. Die robots.txt ist der verbreitetste Weg und wird laut Google auch im EU-Verhaltenskodex für KI-Modelle mit allgemeinem Verwendungszweck anerkannt. Ob sie im Einzelfall genügt, ist eine Rechtsfrage; dieser Artikel ist keine Rechtsberatung.