Bir sayfanın arama sonuçlarında görünmesini istememekle o sayfanın taranmasını engellemek aynı karar değildir. robots.txt ve noindex farklı işler yapar. Yanlış kombinasyon, arama motorunun sayfadaki indeksleme talimatını okuyamamasına neden olabilir.

İki soruyu ayrı sorun

Bu adres taranabilsin mi, arama sonucunda listelensin mi? robots.txt tarama erişimini düzenler. noindex ise desteklenen bağlamda sayfanın indekslenmemesi talimatını verir. noindex bilgisinin okunabilmesi için tarayıcının ilgili yanıtı alabilmesi gerekir.

Test sayfasında çıktı kontrolü yapın

Örneğin sitenin iç arama sonuçları için noindex kullanıldığını düşünün. Sayfa kaynağındaki robots metasıyla HTTP başlığını inceleyin. Bir eklentiyle tema aynı alanı farklı biçimde üretiyor olabilir. Panelde seçeneğin işaretli olması tek başına son çıktıyı kanıtlamaz.

Gizliliği bunlara bağlamayın

robots.txt herkes tarafından okunabilir. Gizli belge adresini burada yazmak erişim koruması oluşturmaz. Hassas içerik için gerçek yetkilendirme gerekir. noindex de kullanıcı girişinin veya güvenli dosya erişiminin yerine geçmez.

Mevcut sonucu doğru yorumlayın

Bir adres daha önce indekslendiyse değişiklik hemen görünmeyebilir. Search Console ve sunucu yanıtını birlikte kontrol edin. Bütün siteyi yanlışlıkla noindex yapmak veya taramayı topluca kapatmak, tek sayfa sorununu daha büyük hale getirebilir.

Canlı değişiklik öncesinde ilgili URL’nin amacını ve mevcut kuralları kaydedin. Sonra sadece gerekli kapsamı değiştirip yeniden test edin. Bir talimatın doğru yerde bulunması kadar, arama motorunun o talimata ulaşabilmesi de önemlidir.

Kaynak

Resmî belge