Webmaster Rehberi: robots.txt ve Site Haritası Nasıl Kontrol Edilir?

Webmaster rehberi arayanların en sık karşılaştığı sorunlardan biri, yayımlanan sayfaların arama motorlarında görünmemesidir. Bunun nedenini anlamak için önce robots.txt dosyasının hangi yolları taramaya kapattığını, ardından XML site haritasının doğru ve erişilebilir URL'leri bildirip bildirmediğini kontrol edin. Bu iki dosya birlikte değerlendirildiğinde gereksiz tarama engelleri ile eksik URL bildirimleri birbirinden ayrılabilir.

Önce robots.txt ile site haritasının görevini ayırın

robots.txt, arama motoru tarayıcılarına bir sitenin belirli yollarını ziyaret edip etmemeleri gerektiğini bildiren, alan adının kökünde bulunan metin dosyasıdır. Bu dosya erişim kontrolü veya gizli bilgi koruması değildir; engellenen bir URL başka kaynaklarda bağlantı olarak yer alıyorsa arama motoru URL'nin varlığını yine de öğrenebilir. Yönetim paneli, özel üyelik sayfaları veya sınırsız filtre kombinasyonları gibi bölümler için tarama politikasında kullanılabilir.

XML site haritası ise taranmasını istediğiniz uygun URL'leri makine tarafından okunabilir biçimde listeler. Bir URL'nin site haritasında bulunması, sayfanın kesin olarak dizine ekleneceği anlamına gelmez; sayfanın erişilebilir, anlamlı içerik sunan ve kendi kurallarınızla çelişmeyen bir sayfa olması gerekir. Bu nedenle site haritasına yalnızca yayımlanmasını istediğiniz kanonik URL'leri eklemek daha sağlıklıdır.

Webmaster rehberi ile güvenli kontrol sırası

Bu işlem için en azından hosting paneline veya dosya yöneticisine erişim gerekir. Google Search Console gibi bir doğrulama aracına erişiminiz varsa sonuçları daha ayrıntılı inceleyebilirsiniz; ancak ilk kontroller, dosyaların tarayıcıdan erişilebilir olup olmadığını görmek için yeterlidir. Değişiklik yapmadan önce mevcut robots.txt içeriğini ve site haritası adresini ayrı bir metin dosyasına kaydedin.

1. Tarama kapsamını belirleyin. Önce ürün, makale veya hizmet sayfalarından birkaç temsilci URL seçin; yönetim ekranı, giriş sayfası ve arama sonucu gibi taranmasını istemediğiniz yolları da not edin. Sorun yalnız belirli bir içerik türündeyse tüm siteyi engelleyen bir düzenleme yapmayın.
2. robots.txt dosyasını doğrudan inceleyin. Alan adınızın kökündeki robots.txt adresini tarayıcıda açın ve hangi kullanıcı aracına hangi yolların kapatıldığını okuyun. İçerik sayfalarının bulunduğu genel bir dizin engellenmişse, ilgili kuralı kaldırmadan önce bunun kasıtlı olup olmadığını doğrulayın. CSS veya JavaScript dosyalarının geniş bir klasörle birlikte engellenmesi, sayfanın nasıl işlendiğini değerlendirmeyi zorlaştırabilir; bu nedenle yalnız hedeflenen yolu ele alın.
3. Site haritasını ve URL listesini kontrol edin. Site haritası adresini robots.txt içinde bildirilen konumdan veya sitenin yönetim aracındaki ayardan bulun. Dosya açılmıyorsa, sunucu erişim kaydı ya da tarayıcıdaki yanıtı kontrol edin. Bir URL listeleniyor fakat tarayıcıda yetkilendirme, yönlendirme döngüsü veya sunucu hatası veriyorsa önce o URL'nin yayınlama sorununu düzeltin; site haritasına tekrar tekrar eklemek erişim hatasını çözmez.
4. Temsilci sayfaları karşılaştırın. Bir içerik URL'si robots.txt tarafından engellenmiyor, site haritasında yer alıyor ve normal tarayıcıda açılıyorsa temel tarama koşulları sağlanmış demektir. Buna karşılık URL açılıyor ancak site haritasında yoksa, içerik yönetim sisteminin site haritası ayarını veya ilgili içerik türünün yayımlanma durumunu düzeltin. URL hem engellenmiş hem listelenmişse, iki dosyayı aynı amaca hizmet edecek şekilde düzenleyin; genellikle taranmasını istediğiniz sayfayı engelleyen kuralı kaldırmak gerekir.
5. Değişikliği tek faktörle uygulayın ve yeniden doğrulayın. Önce yalnız ilgili robots.txt kuralını veya yalnız site haritası üretim ayarını değiştirin. Aynı temsilci URL'yi yeniden açın, robots.txt dosyasını tekrar yükleyin ve Search Console kullanıyorsanız aynı URL için URL denetimini yeniden çalıştırın. Yeni kontrolün saatini not edin; yeni sonuçta engelleme uyarısı sürüyorsa önbellek, başka bir robots kuralı veya sayfanın kendi dizine ekleme yönergesi incelenmelidir. Sonuç beklenmedik biçimde kötüleşirse kaydettiğiniz özgün içeriğe dönün ve yalnızca tek değişikliği geri alın.

Somut bir bulguyu nasıl yorumlamalısınız?

Diyelim ki yeni yayımlanan makaleler tarama raporlarında görünmüyor. robots.txt içinde makalelerin bulunduğu dizini engelleyen bir kural buldunuz; aynı makaleler site haritasında listeleniyor ve doğrudan açılıyor. Bu bulgu, site haritasının değil tarama kuralının öncelikli sorun olduğunu gösterir. Özgün dosyayı saklayıp yalnız bu engeli kaldırın, aynı makale URL'sini yeniden kontrol edin ve değişiklik saatinden sonra oluşan yeni tarama sonucuna bakın. Eğer yeni kontrolde engel kalkmış fakat URL hâlâ dizinde yoksa, artık içerik kalitesi, kanonik URL veya sayfanın kendi noindex yönergesi gibi ayrı bir aşamayı inceleyin.

Ters durumda makale robots.txt tarafından engellenmiyor, fakat site haritasında bulunmuyor olabilir. Bu kez tarama kuralını değiştirmek yerine içerik yönetim sisteminin site haritasına makale türünü dahil edip etmediğini kontrol edin. Üretim ayarını düzelttikten sonra aynı site haritasını yeniden açın ve URL'nin gerçekten listeye eklendiğini doğrulayın. Dosya güncellenmiyorsa önbellek veya otomatik üretim görevinin çalışma durumu incelenmelidir; rastgele dosya silmek ya da bütün tarama kurallarını açmak güvenli bir düzeltme değildir.

Değerlendirmede sınırlar ve sonraki adım

robots.txt ile site haritası, tarama ve URL bildirimini düzenler; dizine eklenme, sıralama veya arama görünürlüğü için garanti vermez. Site haritasına yalnızca başarılı yanıt veren, doğru kanonik adrese yönlenen ve ziyaretçiye açık olması amaçlanan sayfaları koyun. Gizli verileri robots.txt ile korumaya çalışmayın; bunun için kimlik doğrulama ve sunucu tarafı erişim denetimi gerekir.

Kontrol sonuçlarını ve değişiklik saatlerini kaydetmek, farklı araçların gecikmeli raporlarını yorumlamayı kolaylaştırır. Alan adı, DNS veya barındırma ayarlarını da aynı anda değiştirmek yerine önce bu iki dosyayı doğrulayın; genel hosting ve alan adı işlemleri için İyibirNet üzerindeki ilgili kaynaklara göz atabilirsiniz. İlk pratik adım, özgün robots.txt içeriğini yedekleyip taranmasını istediğiniz tek bir örnek URL üzerinde yukarıdaki karşılaştırmayı yapmaktır.