robots.txt Oluşturucu hakkında
Kuralları seçin; robots.txt dosyasını kopyalayın veya indirin.
robots.txt, sitenizin kök dizininde bulunan ve arama motoru tarayıcılarına hangi bölümleri taramamaları gerektiğini söyleyen düz metin dosyasıdır. Yönetim paneli, sepet, ödeme ve iç arama sonuç sayfaları gibi arama sonuçlarında değeri olmayan bölümleri engellemek tarama bütçesini verimli kullanmayı sağlar. Dosyanın sonuna site haritası adresinizi eklemeniz önerilir.
Yapay zekâ şirketlerinin tarayıcıları da robots.txt kurallarına uyduklarını belirtir. GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (Google'ın Gemini eğitimi) ve CCBot (Common Crawl) gibi botları engelleyerek içeriğinizin yapay zekâ modellerinin eğitiminde kullanılmamasını talep edebilirsiniz. Google-Extended engellemek Google arama sıralamanızı etkilemez.
Girdiğiniz bilgiler yalnızca tarayıcınızda işlenir; hiçbir sunucuya gönderilmez.
robots.txt Oluşturucu nasıl kullanılır?
- Bilgileri girinSayfa başlığı, açıklama, adresler veya metni girin.
- Sonucu inceleyinÖnizleme, uyarılar ve kod anında oluşur.
- KopyalayınKodu kopyalayıp sitenize ekleyin veya dosyayı indirin.
Sıkça sorulan sorular
robots.txt sayfayı Google'dan siler mi?
Hayır. robots.txt yalnızca taramayı engeller; başka sitelerden bağlantı alan bir sayfa yine dizinde görünebilir. Sayfayı dizinden çıkarmak için noindex etiketi kullanın ve sayfanın taranmasına izin verin.
Disallow: boş bırakılırsa ne olur?
Boş Disallow satırı, ilgili botun sitenin tamamını tarayabileceği anlamına gelir.
Yapay zekâ botlarını engellemek arama sıralamamı düşürür mü?
GPTBot, ClaudeBot veya Google-Extended gibi eğitim botlarını engellemek Google aramasını etkilemez. Ancak OAI-SearchBot veya Claude-SearchBot gibi arama botlarını engellerseniz siteniz o yapay zekâ arama özelliklerinde görünmeyebilir.
robots.txt Oluşturucu ücretsiz mi?
Evet, tamamen ücretsizdir ve üyelik gerektirmez.
Sitemi taramanız gerekiyor mu?
Hayır. Araçlar yalnızca sizin girdiğiniz bilgilerle çalışır; sitenize istek gönderilmez.