Viele Websites sperren KI-Crawler aus, ohne es zu wissen — oft steht ein pauschales Disallow aus einer alten robots.txt-Vorlage drin. Wer GPTBot blockiert, verschwindet aus dem Wissen von ChatGPT. Prüf es in 5 Sekunden.
Voller Zugriff: Keywords, Content, KI-Sichtbarkeit, Backlinks, Leads — komplett automatisiert.
Kostenlos startenBrands und Agenturen weltweit vertrauen RankWay




















ChatGPT, Claude, Perplexity und Google AI beantworten heute Millionen von Kauffragen. Ihre Crawler — GPTBot, ClaudeBot, PerplexityBot, Google-Extended und über 40 weitere — entscheiden dabei, welche Websites in den Antworten auftauchen. Wer sie in der robots.txt aussperrt, wird weder ins Modellwissen aufgenommen noch live zitiert, wenn ein Nutzer im entscheidenden Moment fragt.
Die drei Crawler-Typen wirken unterschiedlich: Training-Crawler füttern das dauerhafte Wissen der Modelle, Such-Crawler bauen den KI-Suchindex, und Live-Crawler holen deine Seite genau dann, wenn ein Nutzer gerade fragt. Schon ein einziges pauschales „Disallow: /“ aus einer alten Vorlage macht dich für alle drei unsichtbar. Eine llms.txt hilft KI-Systemen zusätzlich, deine wichtigsten Inhalte zu verstehen.
Wir rufen die robots.txt deiner Website ab und werten aus, welche der bekannten KI-Crawler (ChatGPT, Claude, Perplexity, Google AI, Meta, Apple u. a.) deine Startseite lesen dürfen, welche nur teilweise und welche komplett gesperrt sind. Zusätzlich prüfen wir, ob eine llms.txt existiert.
Das ist ein Tausch: Schutz gegen Sichtbarkeit. Wer KI-Crawler aussperrt, taucht in KI-Antworten nicht auf — und genau dort informieren sich immer mehr Kunden vor dem Kauf. Für die meisten Unternehmen überwiegt der Sichtbarkeits-Verlust deutlich.
In der robots.txt die entsprechenden User-Agent-Einträge erlauben (oder das pauschale Disallow entfernen) und eine llms.txt anlegen. RankWay erledigt beides automatisch und misst danach, wie oft KIs dich tatsächlich empfehlen.