Site haritası ile robots.txt aynı klasörde bulunabilir, fakat farklı sorulara yanıt verir. Birincisi hangi URL'lerin mevcut olduğunu bildirmeye yardımcı olur. İkincisi belirli tarayıcıların hangi alanlara erişebileceğine ilişkin kurallar taşır. Bu ayrımı bilmek, yanlışlıkla bütün blogu taramaya kapatan bir değişikliği önleyebilir.
Site haritasını düzenli adres listesi gibi düşünün
XML site haritasında arama motorunun keşfetmesini istediğiniz yayımlanmış ana URL'ler bulunmalıdır. Taslakları, erişim hatası veren adresleri ve aynı yazının gereksiz parametreli kopyalarını listelemek dosyayı daha değerli yapmaz. Küçük bir blogda iyi iç bağlantılar zaten güçlü bir keşif yolu sağlar.
Yeni bir kategori eklediğinizde haritanın nasıl güncellendiğini kontrol edin. İçerik yönetim sistemi bunu otomatik yapıyorsa elle ikinci bir liste hazırlamak yerine mevcut işleyişi doğrulayın. Dosya oluşturuluyor diye içindeki adreslerin doğru olduğu varsayılmamalıdır.
Robots.txt dosyasını erişim kasası sanmayın
Robots.txt, kurallara uyan tarayıcılar için tarama talimatıdır. Dosyada bir klasörü engellemek, o klasöre internet üzerinden erişimi güvenli hâle getirmez. Gizli evrak, yedek veya yönetim verisi için kimlik doğrulama ve uygun sunucu erişim kontrolleri gerekir.
Ayrıca taramayı engellemek, bir URL'nin arama sonuçlarında asla görünmeyeceği anlamına gelmez. Başka sayfalardan bulunan bir adres farklı bilgilerle bilinebilir. İndekslemeyi kontrol etme ihtiyacı ile tarama yükünü yönetme ihtiyacını aynı kural altında çözmeye çalışmayın.
Yayın öncesinde üç örnek adres seçin
Dosyaları değiştirmeden önce ana sayfa, yeni kategori ve yeni makale adresini belirleyin. Amaç, her birinin beklenen biçimde erişilebilir olduğunu doğrulamaktır. Bu kısa örneklem, yanlış bir genel engeli erken fark ettirir.
Kontrol listenize şunları ekleyin:
- Site haritası normal biçimde açılıyor mu?
- İçindeki URL'ler doğru alan adını ve protokolü kullanıyor mu?
- Taslak veya silinmiş sayfalar listeleniyor mu?
- Robots.txt içinde beklenmeyen genel engel var mı?
- Üretim sitesinde geliştirme ortamından kalmış kural bulunuyor mu?
Dosyaların yedek kopyasını almadan karmaşık düzenlemeler yapmayın; küçük ve anlaşılır değişiklikleri takip etmek daha kolaydır.
Son değiştirme bilgisini dürüst tutun
Site haritasındaki güncelleme tarihi, gerçekten anlamlı içerik değişikliklerini yansıtmalıdır. Sayfa hiç değişmediği hâlde her istekte bugünün tarihini üretmek güvenilir bir yayın kaydı oluşturmaz. Menüdeki ufak bir görsel düzenleme ile makalenin ana bilgisinin yenilenmesi farklı olaylardır.
Örneğin bir rehberde artık kullanılmayan işlem adımlarını düzeltmişseniz bu anlamlı güncellemedir. Yalnızca sistemin önbelleğini temizlemişseniz içerik aynı kalmıştır. Editör panelindeki tarih alanlarıyla site haritası üretimini bu ayrımı koruyacak biçimde tasarlayın.
Raporları sonuç garantisi gibi okumayın
Search Console'a site haritası göndermek, Google'ın dosyayı tanımasına ve ilgili durumların görülmesine yardımcı olur. Haritanın başarılı işlenmesi bütün URL'lerin indeksleneceği veya üst sıralara çıkacağı anlamına gelmez. İçerik niteliği, sayfa erişimi ve diğer koşullar ayrıca değerlendirilir.
Bir URL görünmüyorsa önce o sayfanın kendi durumunu araştırın. Her sorunda robots.txt dosyasını büyütmek veya aynı haritayı yeniden göndermek yerine somut erişim ve indeks bilgisine bakın. Böylece iki yardımcı dosya, karmaşık bir efsane yerine yönetilebilir araçlar olarak kalır.
Bir siteyi yeni sunucuya taşırken bu iki dosyayı son kontrol listesine ekleyin. Geliştirme için kullanılan genel tarama engeli yanlışlıkla üretime taşınmış olabilir. Tersi durumda, yayımlanmaması gereken deneme adresleri site haritasında görünebilir. Kontrolü alan adı ve ortam bilgisiyle birlikte yapın; başka alt alan adına ait dosyayı doğru sanmak kolaydır. Bir değişiklik gerekiyorsa önce mevcut kopyayı saklayın, yalnızca ilgili satırları düzenleyin ve seçtiğiniz örnek sayfalara erişimi tekrar doğrulayın. Dosyayı büyütmek veya bütün kuralları silmek yerine amacını açıklayabildiğiniz en küçük değişikliği uygulamak bakım sırasında da işinizi kolaylaştırır.
