Birçok site farkında olmadan AI crawler'larını engelliyor — çoğu zaman eski bir robots.txt şablonundan kalma genel bir disallow yüzünden. GPTBot'u engellersen ChatGPT'nin bilgisinden silinirsin. 5 saniyede kontrol et.
Tam erişim: anahtar kelimeler, içerik, yapay zekâ görünürlüğü, backlinkler, lead'ler — tamamen otomatik.
Ücretsiz başlaDünya çapında markalar ve ajanslar RankWay'e güveniyor




















ChatGPT, Claude, Perplexity ve Google AI her gün milyonlarca satın alma sorusunu yanıtlıyor. Crawler'ları — GPTBot, ClaudeBot, PerplexityBot, Google-Extended ve 40'tan fazlası — hangi sitelerin bu yanıtlarda görüneceğine karar veriyor. Onları robots.txt'de engellersen ne modellerin bilgisine girersin ne de karar anında canlı olarak alıntılanırsın.
Üç crawler türü farklı çalışır: eğitim crawler'ları modellerin kalıcı bilgisini besler, arama crawler'ları AI arama dizinini kurar, canlı crawler'lar ise sayfanı tam kullanıcı sorduğu anda çeker. Eski bir şablondan kalma tek bir genel "Disallow: /" seni üçü için de görünmez yapar. llms.txt ayrıca yapay zekaların en önemli içeriğini anlamasına yardımcı olur.
Sitenin robots.txt dosyasını çekiyor ve bilinen AI crawler'larından (ChatGPT, Claude, Perplexity, Google AI, Meta, Apple ve diğerleri) hangilerinin ana sayfanı okuyabildiğini, hangilerinin kısmen kısıtlı, hangilerinin tamamen engelli olduğunu değerlendiriyoruz. Ayrıca llms.txt olup olmadığını kontrol ediyoruz.
Bu bir takas: koruma karşılığında görünürlük. AI crawler'larını engellersen AI yanıtlarında yer almazsın — oysa gitgide daha fazla müşteri satın almadan önce tam orada araştırma yapıyor. Çoğu işletme için görünürlük kaybı açık ara daha ağır basar.
robots.txt'de ilgili user-agent'lara izin ver (veya genel disallow'u kaldır) ve bir llms.txt ekle. RankWay ikisini de otomatik yapar, ardından yapay zekaların seni ne sıklıkla önerdiğini ölçer.