robots.txt dosyası nedir?
robots.txt dosyası, bir web sitesinin kök dizininde bulunan ve arama motoru botlarına hangi sayfaları veya bölümleri tarayıp taramayacaklarını söyleyen bir metin belgesidir. Tarama bütçesini (crawl budget) yönetmek ve sitenin hassas veya gereksiz kısımlarının dizine eklenmesini önlemek için hayati bir araçtır.
robots.txt dosyası aslında web robotları (crawler) için bir talimat setidir. Google gibi bir arama motoru bir siteyi ziyaret ettiğinde ilk baktığı şey bu dosyadır. 'User-agent' (kuralın kimin için geçerli olduğu) ve 'Disallow' (hangi yolların yoksayılması gerektiği) gibi komutlar vermek için 'Robot Engelleme Protokolü'nü kullanır. Botların giriş ekranları, site içi arama sonuçları veya yönetim klasörleri gibi düşük değerli sayfalarda zaman kaybetmesini önlemek için mükemmel olsa da, robots.txt'nin bir sayfayı Google dizininden uzak tutmanın garantili bir yolu olmadığını unutmamak gerekir. Eğer bir sayfa robots.txt ile engellenmişse ancak ona işaret eden dış linkler varsa, Google URL'yi hala dizine ekleyebilir. Bir sayfanın arama sonuçlarında görünmesini tamamen engellemek için 'noindex' etiketi gereklidir. robots.txt dosyasını yanlış yapılandırmak yaygın bir teknik SEO hatasıdır; yanlışlıkla tüm sitenizi engellemek organik görünürlüğün tamamen kaybolmasına neden olabilir, bu yüzden dikkatle yönetilmelidir.
Adım Adım Rehber
Konumu Belirleyin veya Oluşturun
Sitenizin kök dizininde robots.txt adında bir dosya olduğundan emin olun (örneğin, siteadi.com/robots.txt).
User-Agent'ları Tanımlayın
Kuralların hangi botlar için geçerli olduğunu belirtin; tüm botlar için yıldız (*) veya belirli botlar için 'Googlebot' kullanın.
Disallow Kurallarını Ayarlayın
Arama motoru botlarından gizli tutmak istediğiniz dizinleri veya belirli dosya yollarını listeleyin.
Sitemap Bağlantısını Ekleyin
Botların içeriğinizi bulmasına yardımcı olmak için dosyanın en altına XML sitemap linkinizi ekleyin.
Hataları Test Edin
Önemli sayfaları engellemediğinizden emin olmak için Google Search Console robots.txt Test Aracı'nı kullanın.
Profesyonel İpuçları
- /wp-admin/ veya /search/ gibi gizli veya tekrarlayan sayfalar için 'Disallow' kullanın.
- Hassas kullanıcı verilerini gizlemek için asla robots.txt kullanmayın; bunun yerine şifre koruması kullanın.
- Söz dizimini basit tutun; karmaşık kurallar tarama hatalarına yol açabilir.
pSeoMatic Nasıl Yardımcı Olur?
pSeoMatic, robots.txt dosyanızı beklenmedik değişikliklere karşı otomatik olarak izler. Eğer bir yazılımcı yanlışlıkla sitenizin yüksek trafikli bir bölümünü engellerse, sistemimiz anında uyarı göndererek organik görünürlükte yaşanabilecek felaketleri henüz maliyetlerinize yansımadan önler.
pSeoMatic'i ücretsiz deneyinİlgili Sorular
robots.txt bir sayfanın indekslenmesini durdurabilir mi?
Taramayı durdurur, ancak diğer siteler o sayfaya link verirse indeksleme hala gerçekleşebilir. Tam kaldırma için noindex etiketi kullanın.
robots.txt dosyasını nereye koymalıyım?
Web sitenizin ana kök dizinine (root directory) yerleştirilmelidir.
robots.txt büyük/küçük harfe duyarlı mıdır?
Evet, hem dosya adı hem de içindeki dizin yolları büyük/küçük harfe duyarlıdır.
İlgili Rehberler
Bunu hayata geçirmeye hazır mısınız?
pSeoMatic, verilerinizden binlerce SEO uyumlu sayfa oluşturur.