Robots.txt tarama erişimini, noindex ise indekslenmeme talebini yönetir. Botun noindex’i okuyabilmesi için sayfaya erişebilmesi gerekir; bu nedenle iki kontrol gelişigüzel birlikte kullanılmamalıdır.

Arama sonuçları örneği

Site içi arama URL’lerinin indekslenmesini istemiyorsanız sayfada noindex kullanabilirsiniz. Aynı URL’yi robots ile engellemek botun bu talebi görmesini önleyebilir. Gizli belgeleri ise bu yöntemlerle korumaya çalışmayın.

Özel dosyaların güvenliği

Veritabanı, yedek ve yapılandırma dosyası document root dışında tutulmalı veya web sunucusunda erişime kapatılmalıdır. Robots dosyasındaki bir yol herkes tarafından görülebilir; güvenlik anahtarı veya dosya listesi yayımlamayın.

Yayın kontrolü

Test ortamındaki noindex’in canlıya taşınmadığını kontrol edin. Robots dosyası doğru domaine ait sitemap’i göstermeli. Değişiklikten sonra tarama ve indeksleme raporlarının güncellenmesi zaman alabilir.

Kaynaklar ve ek okuma

Genel bilgilendirme. Paket koşulları ve teknik gereksinimler zamanla değişebilir.