ChatGPT, Gemini ve Perplexity sitenizi görebiliyor mu?

ChatGPT, Gemini ve Perplexity’nin sitenizi kaynak gösterebilmesi için önce botlarının sitenize girebilmesi gerekir. Bu izin, sitenizin kök dizinindeki robots.txt dosyasında yazar. ChatGPT araması için OAI-SearchBot, Perplexity için PerplexityBot, Google’ın yapay zekâ özellikleri için ise Googlebot’a izin verilmiş olmalı. Erişim açıksa ilk şart tamamdır; yanıtta çıkmanın bir güvencesi yoktur.

Hangi bot hangi işe yarıyor?

Her yapay zekâ şirketinin birden fazla botu var ve her biri ayrı bir iş yapıyor. Bir kısmı arama yanıtları için sayfa toplar. Bir kısmı model eğitimi için veri toplar. Bir kısmı da kullanıcı istediğinde tek bir sayfayı açar. robots.txt’te hangisini engellediğiniz, hangi sonucu alacağınızı belirler.

Bot	Şirket	Ne için	Engellenirse
OAI-SearchBot	OpenAI	ChatGPT araması	Site ChatGPT arama yanıtlarında gösterilmez
GPTBot	OpenAI	Model eğitimi	İçerik eğitimde kullanılmaz
PerplexityBot	Perplexity	Perplexity arama sonuçları	Perplexity, bu bota izin verilmesini öneriyor
Googlebot	Google	Google Arama ve tüm özellikleri	Site Google aramasından da çıkar
Google-Extended	Google	Gemini eğitimi ve yanıtları	Google Arama etkilenmez

Kaynakların söyledikleri:

• OpenAI: OAI-SearchBot’u engelleyen siteler ChatGPT arama yanıtlarında gösterilmez. GPTBot ise modelleri eğitmek için kullanılır. OpenAI’ye göre her ayar birbirinden bağımsızdır.
• Perplexity: PerplexityBot, siteleri Perplexity arama sonuçlarında göstermek ve bağlantı vermek için kullanılır. Perplexity’ye göre bu bot temel modelleri eğitmek için kullanılmaz.
• Google: Google-Extended ayrı bir bot değildir, robots.txt’te kullanılan bir izin adıdır. Google’a göre sitenizin Google Arama’da yer almasını etkilemez.

Google’ın yapay zekâ özelliklerinde görünmek için ne gerekir?

Google’a göre AI Overviews ve AI Mode’da görünmek için ek bir şart yoktur. Sayfanın Google’da dizine eklenmiş olması ve arama sonucunda alıntı (snippet) ile gösterilmeye uygun olması yeter. Bu yüzden Googlebot’a izin vermek burada belirleyicidir. Google-Extended’ı engellemek Google Arama’daki yerinizi değiştirmez.

Google’ın belgesi ayrıca şunu söylüyor: Yapay zekâ özellikleri için yeni bir dosya, özel bir metin dosyası ya da ek işaretleme hazırlamanız gerekmez. Bu konuyu llms.txt yazısında ayrıca anlattık.

Sayfanızın bu özelliklerde ne kadar gösterileceğini sınırlamak isterseniz Google, nosnippet, data-nosnippet, max-snippet ve noindex kurallarını öneriyor.

Kullanıcı istediğinde açılan botlar robots.txt’e uyar mı?

Her zaman değil. Kullanıcı bir sohbette bağlantı verdiğinde ya da bir sayfayı özetletmek istediğinde açılan botlar farklı davranıyor. OpenAI’ye göre ChatGPT-User’da robots.txt kuralları uygulanmayabilir. Perplexity’ye göre Perplexity-User genellikle robots.txt kurallarını dikkate almaz. Bu botlar arama dizini oluşturmaz, kullanıcının istediği tek sayfayı açar.

robots.txt ile arama ve eğitim botlarını yönetirsiniz. Kullanıcının kendi isteğiyle açtığı sayfaları engellemenin yolu robots.txt değildir.

robots.txt dosyanızı nasıl kontrol edersiniz?

Tarayıcıya alan adınızın sonuna /robots.txt yazarak dosyanızı açın ve yukarıdaki bot adlarını arayın. Bir bot adının altında Disallow: / satırı varsa o bot sitenin tamamına giremiyor demektir. User-agent: * altındaki Disallow: / satırı ise kendi adıyla anılmayan bütün botları engeller.

Arama botlarına izin veren, eğitim botlarını engelleyen örnek bir dosya:

User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: *
Allow: /

Bu bir örnektir. Eğitim botlarına izin verip vermemek sizin tercihinizdir; arama görünürlüğü için önemli olan arama botlarının kapalı olmamasıdır.

Kontrol ederken dikkat edin:

• Bazı web sitesi şablonları ya da eklentileri robots.txt dosyasını kendisi üretir. Dosyayı elle değiştirmeden önce nereden üretildiğine bakın.
• Barındırma ya da güvenlik hizmetinizin bot engelleme ayarı, robots.txt izin verse bile botları geri çevirebilir. Google da taramaya hem robots.txt’te hem barındırma altyapısında izin verilmesini öneriyor.
• Geliştirme sırasında eklenen Disallow: / satırı, site yayına girdikten sonra unutulabilir.
• Bir bot için kendi adıyla bölüm açtıysanız o bot User-agent: * altındaki kurallara bakmaz, yalnız kendi bölümüne uyar.
• Sitenizin her alt alan adının (örneğin magaza.ornekfirma.com.tr) kendi robots.txt dosyası vardır. Her birini ayrı kontrol edin. Değişiklikten sonra dosyayı tarayıcıda yeniden açıp yeni hâlinin yayında olduğuna bakın.

Erişim açıksa yanıtlarda çıkar mısınız?

Bunun bir güvencesi yok. Erişim yalnız ilk şarttır, tek başına yetmez. Hangi sayfanın yanıtta kaynak olarak gösterileceğine her hizmet kendisi karar verir ve bu kararın ölçütlerini tam olarak açıklamaz. Erişim kapalıysa ise o hizmetin aramasında görünme ihtimali baştan kapanır.

Google da şartların hepsini karşılayan bir sayfanın taranacağının ya da gösterileceğinin güvencesi olmadığını yazıyor. Google’a göre yapay zekâ özelliklerinde de bilinen SEO temelleri geçerlidir: yararlı, güvenilir ve insanlar için yazılmış içerik.

SpectraSEO, sitenizin robots.txt dosyasında yapay zekâ botlarına hangi kuralların yazıldığını tespit eder ve ne yapmanız gerektiğini yazar. Google ve yapay zekâ yanıtlarındaki görünürlüğünüzle ilgili diğer konuları Google ve yapay zekâ görünürlüğü sayfasında topladık.