Vefasoft'tan Türkiye için hazırlanmış güvenlik ve SEO araçları
robots.txt ve sitemap.xml dosyalarınızı parse eder, crawl kurallarını ve URL sayısını analiz eder. Teknik SEO sağlığınızın ilk kontrolü.
robots.txt ve sitemap.xml otomatik olarak aranır.
robots.txt, sitenizin kök dizininde (/robots.txt) bulunan ve arama motoru crawler'larına hangi sayfaları taramalarına izin verildiğini söyleyen düz bir metin dosyasıdır. Googlebot, Bingbot, Yandexbot gibi botlar site ziyaretine başlamadan önce bu dosyayı okur ve kurallara uyar.
robots.txt'de yapılan bir hata ciddi sonuçlara yol açabilir. En tehlikelisi yanlışlıkla Disallow: / yazmaktır — bu tek satır sitenizin tamamını arama sonuçlarından siler. Diyarbakır'daki bazı KOBİ sitelerinde bu hataya rastlıyoruz; çoğunlukla geliştirme aşamasında eklenip unutulmuş oluyor.
sitemap.xml, sitenizin tüm önemli URL'lerini tek bir XML dosyasında listeleyen ve Google'a "bu sayfaları bilmeni istiyorum" demenin en temiz yoludur. Crawler sayfalar arasındaki linkleri takip ederek tüm siteyi keşfedebilir ama büyük veya kompleks sitelerde bazı sayfaları gözden kaçırabilir. Sitemap bu riski ortadan kaldırır.
Google her sitemap için en fazla 50.000 URL ve 50 MB sınırı koymuştur. Daha büyük siteler için sitemap index kullanmanız gerekir — bir index birden fazla alt sitemap'e işaret eder. E-ticaret siteleri, haber portalları ve büyük bloglar bu yapıyı kullanır.
Hayır, zorunlu değil. robots.txt olmayan bir site varsayılan olarak tüm botlara açık kabul edilir. Ancak SEO best practice olarak eklemeniz önerilir, en azından sitemap'i deklere etmek için.
Disallow crawler'a sayfayı taramamasını söyler, noindex ise taradıktan sonra indekse eklememesini. Disallow edilmiş bir sayfa Google sonuçlarında 'açıklama yok' olarak görünebilir çünkü Google URL'i bilir ama içeriği okuyamaz. Sayfayı tamamen gizlemek için noindex meta tag daha etkilidir.
En kolay yol robots.txt'e 'Sitemap: https://...' satırı eklemek. Ayrıca Google Search Console ve Bing Webmaster Tools'a manuel olarak da eklemenizi öneririz — bu sayede crawl durumunu takip edebilirsiniz.
Evet. Büyük siteler için sitemap index yapısı kullanılır — tek bir 'sitemap_index.xml' birden fazla alt sitemap'e (örn sitemap-urunler.xml, sitemap-bloglar.xml) işaret eder. Her alt sitemap maksimum 50.000 URL içerebilir.