AI botları neden robots.txt okur?
ChatGPT (GPTBot), Anthropic (ClaudeBot), Google (Google-Extended), ByteDance (Bytespider), Common Crawl (CCBot) ve Perplexity gibi servisler sitenizi taramadan önce robots.txt kurallarınızı kontrol eder. Yanlış bir Disallow kuralı tüm siteyi AI indeksinden çıkarabilir — SEO sıralamanız etkilenmeden GEO görünürlüğünüz sıfırlanır.
İzlenen AI crawler'lar
GEO analiz aracımız şu user-agent'ları test eder:
- GPTBot — OpenAI / ChatGPT
- ClaudeBot — Anthropic Claude
- Google-Extended — Gemini ve AI Overviews
- Bytespider — TikTok / ByteDance
- CCBot — Common Crawl
- anthropic-ai — Anthropic alternatif UA
- PerplexityBot — Perplexity AI
Örnek izin yapılandırması
AI botlarına genel erişim vermek için (içerik stratejinize göre özelleştirin):
User-agent: GPTBot Allow: / User-agent: ClaudeBot Allow: / User-agent: Google-Extended Allow: / User-agent: PerplexityBot Allow: /
Engelleme örneği
Belirli bir botu tamamen engellemek istiyorsanız:
User-agent: GPTBot Disallow: /
Bu kural yalnızca GPTBot'u etkiler; Googlebot SEO taraması ayrı user-agent ile devam eder.
Pro düzeltme rehberi
Analiz sonucunda robots.txt eksik veya hatalıysa Pro plan kullanıcıları sayfa bazlı patch önerileri görür — mevcut dosyanıza eklenecek Allow/Disallow blokları hazır gelir. Ücretsiz planda hangi botların engellendiğini görürsünüz; düzeltme metnini manuel uygularsınız.
Bot izinleri düzgün olsa bile llms.txt olmadan AI motorları sitenizi verimli keşfedemeyebilir. Her iki katmanı birlikte optimize edin.