Gute Inhalte, saubere Technik, trotzdem taucht die eigene Marke in ChatGPT, Perplexity oder Google AI Overviews nicht auf: Dieses Muster begegnet uns aktuell auffällig oft. Die Ursache liegt selten im Content – sondern eine Ebene tiefer, in der Infrastruktur.
Was ist passiert?
Cloudflare blockiert KI-Crawler inzwischen standardmäßig und hat mit Pay-per-Crawl ein Bezahlmodell für den Zugriff eingeführt. Über eine Million Cloudflare-Kund:innen haben die Blockade aktiv, mehr als 2,5 Millionen Websites untersagen die Nutzung ihrer Inhalte für KI-Training. Die 403-Blockrate gegenüber AI-Bots lag Ende Juli 2026 bei rund 13 Prozent.
Entscheidend: Diese Sperre greift auf Infrastruktur-Ebene, also noch bevor deine robots.txt überhaupt gelesen wird. Viele Betreiber:innen haben sie nie bewusst aktiviert – sie kam mit einer Voreinstellung oder einem Hoster-Setup.
Warum ist das ein Problem?
Für Sichtbarkeit in generativen Suchsystemen (GEO) gilt eine simple Grundregel: Was nicht gecrawlt werden darf, kann nicht zitiert werden. Blockierte Infrastruktur ist damit eine der häufigsten und am seltensten geprüften Ursachen für null Präsenz in AI-Antworten – selbst bei Websites mit starkem Content und tadelloser robots.txt.
Blocken oder nicht blocken?
Beides ist legitim, es ist eine Geschäftsentscheidung – keine technische:
- Öffnen ergibt Sinn, wenn Sichtbarkeit und Anfragen zählen: Tourismus, Dienstleistung, lokaler Handel, B2B-Leadgenerierung.
- Blocken ergibt Sinn, wenn Inhalte selbst das Produkt sind: Verlage, Datenbanken, kostenpflichtige Fachinhalte.
- Differenzieren ist meist die beste Antwort: Training-Crawler aussperren, Retrieval-Bots für Live-Antworten zulassen.
Was solltest du jetzt tun?
- Prüfen, ob dein CDN oder Hoster AI-Bots blockt – die Einstellung findet sich nicht in der robots.txt.
- Serverlogs auf GPTBot, ClaudeBot, PerplexityBot und Google-Extended durchsehen: kommen sie durch?
- Bewusst entscheiden, welche Bot-Kategorien Zugriff bekommen – und das dokumentieren.
- Erst danach an Content und Strukturdaten für GEO arbeiten. Alles andere ist Arbeit ins Leere.
Wir analysieren, welche Crawler deine Website tatsächlich erreichen, setzen die Regeln sauber auf und bauen die technische Basis für Sichtbarkeit in generativen Suchsystemen – egal ob in TYPO3, WordPress, Magento, einer individuellen Laravel-Applikation oder in einem Headless-Setup mit Payload oder Directus, wo sich Inhalte besonders gezielt für KI-Systeme ausspielen lassen. Nimm jetzt Kontakt auf!
Quellen:
