Robots.txt Oluşturucu
Botların hangi yolları tarayabileceğini belirleyen geçerli bir robots.txt dosyası hazırlayın. Sitemap satırını eklemeyi unutmayın.
Genel Politika
Dosyayı sitenizin kök dizinine robots.txt adıyla yükleyin (site.com/robots.txt). robots.txt taramayı yönetir; bir sayfayı dizinden çıkarmak için noindex meta etiketi gerekir.
Tarama ve indeksleme bütçenizi doğru mu kullanıyorsunuz?
Teknik SEO denetimiyle robots, sitemap ve indeksleme sinyallerini birlikte optimize edelim.
Araç Rehberi
Robots.txt oluşturucu neden gerekli?
robots.txt, arama motoru botlarının hangi yolları tarayabileceğini belirler. Bu araç; Disallow/Allow kuralları, crawl-delay ve sitemap satırını geçerli sözdizimiyle bir araya getirerek tarama bütçenizi yönetmenize yardımcı olur.
Dosyayı sizin için yayınlamaz; yalnız geçerli içeriği üretir. Taramayı yönetir, indekslemeyi değil — bir sayfayı sonuçlardan çıkarmak için noindex gerektiğini hatırlatır.
Nasıl kullanılır?
- Genel politikayı seçin (tüm botlara izin ver veya tüm botları engelle).
- Engellenecek ve izin verilecek yolları her satıra bir tane girin; gerekirse crawl-delay ve sitemap URL'si ekleyin.
- Çıktıyı sitenizin kök dizinine robots.txt olarak yükleyin (site.com/robots.txt) ve Search Console'da test edin.
Ne zaman kullanılır?
- Yönetim, sepet veya filtre URL'leri gibi taranması gereksiz yolları engellemek.
- Sitemap satırını ekleyerek botların site haritasını bulmasını kolaylaştırmak.
- Geliştirme ve test yollarının yanlışlıkla taranmasını önlemek.
Bu araç girilen veriyi tarayıcı içinde işler. Metinleriniz ve hesaplama girdileriniz sunucuya gönderilmeden, cihazınızda analiz edilir.
Sık sorulan sorular
robots.txt bir sayfayı Google'dan kaldırır mı?
Hayır. Disallow yalnız taramayı engeller; zaten indekslenmiş URL listede kalabilir. Kaldırmak için noindex etiketi veya kaldırma aracı gerekir.
Engellediğim sayfa neden hâlâ görünüyor?
Başka sitelerden link alıyorsa Google URL'yi içeriksiz biçimde listeleyebilir. Kesin çözüm sayfaya noindex eklemektir.
Crawl-delay'i Google dikkate alır mı?
Google crawl-delay'i resmî olarak yok sayar; tarama hızını Search Console üzerinden yönetir. Bing gibi bazı motorlar dikkate alabilir.