Veel websites blokkeren AI-crawlers zonder het te weten — vaak door een generieke disallow uit een oud robots.txt-sjabloon. Blokkeer je GPTBot, dan verdwijn je uit de kennis van ChatGPT. Check het in 5 seconden.
Volledige toegang: zoekwoorden, content, AI-zichtbaarheid, backlinks, leads — volledig geautomatiseerd.
Gratis startenMerken en bureaus wereldwijd vertrouwen op RankWay




















ChatGPT, Claude, Perplexity en Google AI beantwoorden dagelijks miljoenen koopvragen. Hun crawlers — GPTBot, ClaudeBot, PerplexityBot, Google-Extended en 40+ andere — bepalen welke websites in die antwoorden verschijnen. Blokkeer je ze in robots.txt, dan word je niet in de modelkennis opgenomen én niet live geciteerd op het beslissende moment.
De drie crawler-typen werken verschillend: trainings-crawlers voeden de permanente kennis van de modellen, zoek-crawlers bouwen de AI-zoekindex, en live-crawlers halen je pagina precies op wanneer een gebruiker iets vraagt. Eén generieke "Disallow: /" uit een oud sjabloon maakt je voor alle drie onzichtbaar. Een llms.txt helpt AI-systemen bovendien je belangrijkste content te begrijpen.
We halen de robots.txt van je website op en beoordelen welke bekende AI-crawlers (ChatGPT, Claude, Perplexity, Google AI, Meta, Apple e.a.) je homepage mogen lezen, welke deels beperkt zijn en welke volledig geblokkeerd. We checken ook of er een llms.txt bestaat.
Het is een ruil: bescherming tegen zichtbaarheid. Blokkeer je AI-crawlers, dan verschijn je niet in AI-antwoorden — precies waar steeds meer klanten zich oriënteren vóór de aankoop. Voor de meeste bedrijven weegt het zichtbaarheidsverlies veel zwaarder.
Sta de betreffende user-agents toe in je robots.txt (of verwijder de generieke disallow) en voeg een llms.txt toe. RankWay doet beide automatisch en meet daarna hoe vaak AI's je daadwerkelijk aanbevelen.