Många webbplatser blockerar AI-crawlers utan att veta om det — ofta ett generellt disallow från en gammal robots.txt-mall. Blockerar du GPTBot försvinner du ur ChatGPT:s kunskap. Kolla på 5 sekunder.
Full tillgång: sökord, innehåll, AI-synlighet, backlinks, leads — helt automatiserat.
Kom igång gratisVarumärken och byråer världen över litar på RankWay




















ChatGPT, Claude, Perplexity och Google AI besvarar varje dag miljontals köpfrågor. Deras crawlers — GPTBot, ClaudeBot, PerplexityBot, Google-Extended och 40+ till — avgör vilka webbplatser som dyker upp i svaren. Blockerar du dem i robots.txt tas du varken upp i modellernas kunskap eller citeras live i det avgörande ögonblicket.
De tre crawler-typerna verkar olika: träningscrawlers matar modellernas permanenta kunskap, sökcrawlers bygger AI-sökindexet, och livecrawlers hämtar din sida exakt när en användare frågar. Ett enda generellt "Disallow: /" från en gammal mall gör dig osynlig för alla tre. En llms.txt hjälper dessutom AI-system att förstå ditt viktigaste innehåll.
Vi hämtar din webbplats robots.txt och bedömer vilka kända AI-crawlers (ChatGPT, Claude, Perplexity, Google AI, Meta, Apple m.fl.) som får läsa din startsida, vilka som är delvis begränsade och vilka som är helt blockerade. Vi kollar också om en llms.txt finns.
Det är ett byte: skydd mot synlighet. Blockerar du AI-crawlers syns du inte i AI-svaren — precis där allt fler kunder gör sin research före köpet. För de flesta företag väger synlighetsförlusten klart tyngre.
Tillåt de aktuella user-agents i robots.txt (eller ta bort det generella disallow) och lägg till en llms.txt. RankWay gör båda automatiskt och mäter sedan hur ofta AI:er faktiskt rekommenderar dig.