AI Bot Trafiği: İnterneti Hangi Yapay Zeka Botları Tarıyor?
GPTBot, ClaudeBot, PerplexityBot, Google-Extended ve diğer AI tarayıcıları web sitelerini hangi amaçlarla ziyaret ediyor? Yapay zeka bot trafiğini, şirketlerin tarama yaklaşımlarını ve yayıncıların kontrol seçeneklerini inceliyoruz.
AI bot trafiğinde temel göstergeler
DataDome araştırmasının seçilmiş trafik istatistikleri.
AI bot trafiğinde şirketlerin payları
DataDome · Temmuz 2025–Haziran 2026. İzlenen AI ajanı ve LLM tarayıcısı isteklerinin operatörlere göre dağılımı.
Cloudflare verilerinde AI tarayıcıları
Cloudflare'ın 9–10 Temmuz 2026 örneklemindeki AI bot ve tarayıcı isteklerinin dağılımı. Bu sınıflandırma klasik arama botlarını da içerebilir.
İnterneti tarayan 15 önemli bot ve kontrol kimliği
AI şirketlerinin ve arama platformlarının kullandığı tarayıcılar ile erişim kontrol kimlikleri. Hepsi aynı amaçla çalışmaz.
| Bot / kimlik | Şirket | Temel amaç | Tür |
|---|---|---|---|
| GPTBot | OpenAI | Model geliştirme ve eğitim için web tarama | Eğitim |
| OAI-SearchBot | OpenAI | ChatGPT arama sonuçlarında içerik keşfi | Arama |
| ChatGPT-User | OpenAI | Kullanıcı isteğiyle sayfa erişimi | Kullanıcı isteği |
| ClaudeBot | Anthropic | Model geliştirme amaçlı içerik tarama | Eğitim |
| Claude-SearchBot | Anthropic | Claude arama işlevleri için içerik keşfi | Arama |
| Claude-User | Anthropic | Kullanıcı tarafından başlatılan sayfa erişimi | Kullanıcı isteği |
| PerplexityBot | Perplexity | Perplexity arama sonuçları için tarama | Arama |
| Perplexity-User | Perplexity | Kullanıcı sorgusuna bağlı sayfa erişimi | Kullanıcı isteği |
| Googlebot | Google arama indeksleme | Arama | |
| Google-Extended | Belirli Gemini AI kullanımlarına ilişkin robots.txt kontrolü | Kontrol kimliği | |
| Google-CloudVertexBot | Vertex AI Agent Builder bağlamında web erişimi | Uygulama | |
| Meta-ExternalAgent | Meta | AI ile ilişkili otomatik içerik tarama | AI tarama |
| Meta-ExternalFetcher | Meta | Kullanıcı tarafından başlatılan URL getirme | Kullanıcı isteği |
| Amazonbot | Amazon | Amazon hizmetleri için web içeriği keşfi | Tarama |
| Bytespider | ByteDance | Otomatik web içeriği toplama | Tarama |
AI botları web sitelerini neden tarıyor?
Model eğitimi ve geliştirme
Web içeriği, AI modellerinin geliştirilmesi veya iyileştirilmesi amacıyla toplanabilir. Bu amaçla çalışan botların erişim kuralları şirketlere göre farklılaşır.
Yapay zeka araması
AI arama sistemleri güncel sayfaları keşfetmek, arama sonuçlarında göstermek veya cevaplarda kaynak sunmak için içerik tarayabilir.
Kullanıcı isteğiyle erişim
Kullanıcı belirli bir bağlantının incelenmesini istediğinde AI uygulaması ilgili sayfayı getirebilir. Bu erişim genel tarama faaliyetinden farklıdır.
Geleneksel arama indeksleme
Googlebot ve Bingbot gibi arama tarayıcıları sayfaları arama dizinleri için keşfeder. Bu faaliyet doğrudan model eğitimi anlamına gelmez.
AI bot trafiği ile gerçek ziyaretçi trafiği arasındaki fark
| Ölçüm | Ne gösterir? | Ne göstermez? |
|---|---|---|
| Bot isteği | Sunucuya gönderilen HTTP isteği | Benzersiz ziyaretçi sayısını |
| Bot taraması | Sayfanın otomatik sistem tarafından alınması | Sayfanın AI cevabında kullanıldığını |
| AI yönlendirme trafiği | AI platformundan web sitesine gelen ziyaret | Platformun toplam tarama hacmini |
| AI kaynak gösterimi | İçeriğin AI yanıtında kaynak olarak sunulması | Mutlaka bir tıklama gerçekleştiğini |
| Sunucu bant genişliği | Aktarılan veri miktarı | Tek başına içerik kullanım amacını |
Yayıncılar için AI bot trafiğinin etkileri
İstek ve bant genişliği maliyeti
Yoğun otomatik tarama sunucu kaynaklarını kullanabilir. Etki, istek sıklığına, önbelleğe ve altyapıya bağlıdır.
AI aramalarında keşfedilebilirlik
Arama amaçlı botlara erişim sağlanması içeriğin keşfedilmesine yardımcı olabilir. Ancak AI cevaplarında görünme garantisi vermez.
İçerik kullanım kontrolü
Yayıncılar, belgelenmiş robots.txt kuralları ve sunucu tarafı güvenlik kontrolleriyle farklı bot türlerine ayrı politikalar uygulayabilir.
Analitik ölçüm
AI bot istekleri gerçek kullanıcı ziyaretlerinden ayrıştırılmalıdır. Aksi halde trafik ve performans raporları yanlış yorumlanabilir.
AI botları robots.txt ile nasıl yönetilir?
Aşağıdaki örnek, model eğitimi amaçlı belirli tarayıcıları engellemeyi, arama amaçlı botlara ise erişim sağlamayı hedefleyen örnek bir politikadır. Her siteye doğrudan uygulanması önerilmez.
# Model geliştirme tarayıcıları User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: / # Google AI kullanım kontrolü User-agent: Google-Extended Disallow: / # ChatGPT arama botu User-agent: OAI-SearchBot Allow: / # Perplexity arama botu User-agent: PerplexityBot Allow: /
AI bot trafiği nasıl analiz edilir?
HTTP istekleri, kullanıcı aracısı bilgileri, IP adresleri, yanıt kodları ve istek sıklıkları analiz edilir.
Yalnızca User-Agent adına güvenmeyin. Mümkün olduğunda şirketin yayımladığı IP doğrulama veya ağ bilgilerini kullanın.
Eğitim, AI araması, kullanıcı isteği ve geleneksel indeksleme trafiği ayrı raporlanmalıdır.
İstek hacmi, bant genişliği, hata oranı, önbellek kullanımı ve yanıt süreleri takip edilmelidir.
ChatGPT, Perplexity ve diğer AI platformlarından gelen kullanıcı ziyaretleri bot isteklerinden ayrı ölçülmelidir.
Araştırmanın temel sonucu: AI bot trafiği, web sitelerinin yalnızca geleneksel arama motorları tarafından değil, model geliştirme, AI araması ve kullanıcı isteğiyle çalışan farklı otomatik sistemler tarafından da ziyaret edildiğini gösteriyor. Tarama hacmi, içerik görünürlüğü ve gerçek ziyaretçi kazanımı ayrı ölçülmelidir.
Sık sorulan sorular
AI bot trafiği nedir?
AI bot trafiği, yapay zeka sistemleriyle ilişkili otomatik tarayıcıların web sitelerine gönderdiği HTTP isteklerini ifade eder.
GPTBot nedir?
GPTBot, OpenAI'ın model geliştirme amaçlı web tarama sistemlerinden biridir.
ChatGPT web sitelerini hangi botlarla tarıyor?
OpenAI, GPTBot, OAI-SearchBot ve ChatGPT-User gibi farklı amaçlara sahip kimlikler kullanır.
ClaudeBot ne işe yarıyor?
ClaudeBot, Anthropic'in model geliştirme faaliyetleriyle ilişkili web tarayıcısıdır. Claude-SearchBot ve Claude-User farklı görevler üstlenebilir.
PerplexityBot nedir?
Perplexity'nin arama hizmeti için web içeriği keşfetmekte kullandığı tarayıcı kimliğidir.
Google-Extended bir AI botu mu?
Google-Extended, bağımsız bir tarayıcı değil, belirli Gemini AI kullanımlarını yönetmek için kullanılan robots.txt kontrol kimliğidir.
AI botları robots.txt dosyasına uyar mı?
Belgelenmiş tarayıcıların çoğu robots.txt kurallarını destekler. Ancak dosya teknik olarak bütün erişimleri engellemez.
GPTBot engellenirse ChatGPT arama trafiği de engellenir mi?
GPTBot ile OAI-SearchBot ayrı kontrol kimlikleridir. GPTBot'u engellemek, OAI-SearchBot'u otomatik olarak engellemek anlamına gelmez.
AI botları web sitesini yavaşlatabilir mi?
Yüksek istek hacmi, özellikle önbellekleme ve sunucu kapasitesi yetersizse performansı etkileyebilir.
AI bot trafiği Google Analytics'te görünür mü?
Birçok otomatik tarayıcı JavaScript çalıştırmadığından GA4 verilerinde görünmeyebilir. Sunucu günlükleri ve CDN analizleri daha uygun kaynaklardır.
AI botunun sayfayı taraması ChatGPT'de kaynak gösterileceği anlamına gelir mi?
Hayır. Bir sayfanın taranması, AI yanıtında kaynak olarak gösterileceği veya kullanıcı tıklaması alacağı anlamına gelmez.
AI bot trafiği ile AI yönlendirme trafiği aynı mı?
Hayır. Bot trafiği otomatik istekleri, yönlendirme trafiği ise AI platformundan web sitesine gelen kullanıcı ziyaretlerini ifade eder.
İçerik tarihi: 7 Kasım 2026. Temel veri dönemi: Temmuz 2025–Haziran 2026.
DataDome: AI ajanları ve LLM tarayıcılarına ait istek hacmi ve operatör dağılımı. Veriler şirketin izlediği ağın örneklemine dayanır.
Cloudflare: Temmuz 2026 AI bot ve tarayıcı istekleri örneklemi. Arama botlarıyla AI odaklı botların sınıflandırma kapsamları farklı olabilir.
Bot kimlikleri: İlgili şirketlerin resmî tarayıcı belgelerindeki görev tanımlarına göre açıklanmıştır.
DataDome — Resmî Site
Cloudflare Radar — Bot Trafiği
Cloudflare — AI Crawl Control
OpenAI — Web Tarayıcıları
Anthropic — Tarayıcı Kontrolleri
Perplexity — Bot Belgeleri
Google — Tarayıcılar ve Kontrol Kimlikleri
Google — robots.txt Rehberi
RFC 9309 — Robots Exclusion Protocol
Editoryal sınırlılık: Bu çalışma tüm internet trafiğini ölçmez. DataDome ve Cloudflare istatistikleri farklı örneklemler içerir. Bot kimlikleri, trafik oranları ve şirket politikaları zaman içinde değişebilir. robots.txt kuralları erişim güvenliğinin tek başına yerine geçmez.
