Ücretsiz Araç

Robots.txt Oluşturucu

Anında robots.txt dosyası oluşturun. WordPress, e-ticaret ve AI bot engelleme için hazır şablonlar — ya da özel kurallar oluşturun. Tek tıkla indirin.

Hepsine İzin Ver

Tüm arama motoru botlarının web sitenizin tamamına erişmesine izin verin.

Seçildi

AI Botlarını Engelle

Arama motorlarına izin verin, GPTBot, Claude-Web ve PerplexityBot gibi AI botlarını engelleyin.

WordPress

WordPress yönetim alanlarının indekslenmesini engellerken sitenizin geri kalanına izin verin.

E-Ticaret

Sepet, ödeme, hesap ve arama sayfalarını engelleyin. WooCommerce ve Shopify mağazaları için idealdir.

Admin Alanlarını Engelle

Yönetici, giriş, kontrol paneli ve özel sayfaları arama motoru botlarından engelleyin.

İpucu: Daha iyi indeksleme için sitemap URL'nizi ekleyin.
Oluşturulan robots.txt
User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

Robots.txt Dosyası Nedir?

robots.txt, web sitenizin kök dizininde yer alan ve arama motoru tarayıcılarına hangi sayfalara erişip erişemeyeceklerini söyleyen düz metin dosyasıdır. Örneğin; Disallow: /admin/ satırı, tarayıcıların yönetim paneline girmesini engeller.

Önemli bir not: Robots.txt bir güvenlik aracı değildir. Kötü niyetli botlar bu dosyayı dikkate almayabilir. Gerçek güvenlik için sunucu tarafı korumaları kullanın.

AI Tarayıcılarını Neden Engellemelisiniz?

GPT-4 ve diğer yapay zeka modellerini eğitmek için kullanılan botlar (GPTBot, CCBot, ClaudeBot, CommonCrawl vb.), içeriğinizi izinsiz olarak tarayabilir. Bu durum için iki farklı tutum var:

  • Engellemeyi seçenler: İçeriklerinin AI eğitiminde kullanılmasını istemeyenler ve telif haklarını korumak isteyenler.
  • Engellemeyi seçmeyenler: AI arama motorlarında (ChatGPT, Perplexity, Gemini) keşfedilmek ve kaynak olarak gösterilmek isteyenler.

Araç, her iki seçenek için de hazır şablon sunar.

Doğru Robots.txt Nasıl Yazılır?

  1. 1. Temel yapıyı anlayın

    User-agent: * tüm botlara, User-agent: Googlebotyalnızca Google'a uygulanır. Allow izin verir, Disallow engeller.

  2. 2. Sitemap URL'ini ekleyin

    Sitemap: https://siteniz.com/sitemap.xml satırı Google'ın sitenizdeki tüm sayfaları kolayca bulmasını sağlar.

  3. 3. Özel alanları engelleyin

    /admin/, /wp-admin/, /checkout/, /cart/ gibi dizinleri Disallow listesine ekleyin.

  4. 4. Aşırı engelleme yapmayın

    Ana sayfanızı veya önemli içerik sayfalarınızı yanlışlıkla engellemek trafiği tamamen kaybettiribilir. Her kural için çift kontrol yapın.

  5. 5. Test edin

    Google Search Console'daki "robots.txt Test Aracı" ile kurallarınızı yayınlamadan önce doğrulayın.

Sık Sorulan Sorular

Robots.txt olmasa ne olur?

Google tüm sayfaları tarar. Bu genellikle bir sorun değildir. Ancak yönetim panelleri, geçici sayfalar veya hassas bilgiler içeren URL'ler indekslenebilir. Robots.txt bu riski azaltır.

Bir sayfayı robots.txt ile engelledim ama Google'da görünüyor, neden?

Robots.txt sayfanın taranmasını engeller, ama indekslenmesini değil. Başka sitelerden link alan bir sayfa hâlâ indekslenebilir. İndekslemeyi engellemek için noindex meta etiketi kullanın.

GPTBot gibi AI tarayıcılarını robots.txt ile engellemek yasal mı?

Evet. Web sitenizin hangi tarayıcılara açık olacağına siz karar verirsiniz. Bu yasal bir hak.

Robots.txt'yi ne zaman güncellemelisiniz?

Yeni bir dizin eklediğinizde, e-ticaret kurduğunuzda veya site mimarinizi değiştirdiğinizde güncelleme yapın. Yılda en az bir kez kontrol etmek iyi pratik.

Disallow: / ne anlama gelir?

Tüm sayfaları tüm botlardan engeller. Bu, sitenizi tamamen arama motorlarından gizler. Test ortamları için kullanılır; asla canlı sitenizde kullanmayın.

İlgili Araçlar

Schema Markup Oluşturucu
Yapılandırılmış veri şeması oluşturun
Meta Etiket Oluşturucu
Sayfa meta etiketlerini optimize edin

Bu Araçla Ne Kadar İlerlediğinizi Görün

ModernWebSEO olarak teknik SEO, web tasarımı ve dijital pazarlamayı bir arada sunuyoruz. Ücretsiz danışmanlık için bizimle iletişime geçin.

Ücretsiz Danışmanlık AlPaketleri İnceleŞimdi WhatsApp'tan Yaz