Robots.txt Testi

Arama motoru botlarına verilen robots.txt talimatlarını ve sitemap bildirimlerini hızlıca kontrol edin.

Verilen path yerine alan adının kökündeki /robots.txt kontrol edilir. Sonuç kalıcı olarak saklanmaz.

Robots.txt Nedir?

robots.txt, web tarayıcı botlarına sitenin hangi bölümlerini taramaları veya taramamaları gerektiği hakkında talimat vermek için kullanılan metin dosyasıdır. Alan adının kökünde, örneğin https://example.com/robots.txt adresinde bulunur.

User-agent

Kuralın hangi bot veya bot grubuna uygulanacağını belirtir.

Disallow

Botlara hangi yolların taranmaması istendiğini bildirir; URL’nin index dışı kalacağını garanti etmez.

Allow

Daha geniş bir engelleme altında taranmasına izin verilen yolu belirtebilir.

Sitemap

XML sitemap konumunun botlara bildirilmesinde kullanılabilir.

robots.txt ile taramayı sınırlandırmak, bir URL’nin index dışı kalacağını garanti etmez. Index kontrolü için noindex gibi ayrı mekanizmalar kullanılır. Bu araç tam RFC değerlendiricisi veya Googlebot simülatörü değildir.

Daha geniş kontrol için Site SEO Analizi veya Sayfa SEO Analizi araçlarını kullanabilirsiniz.