Robots.txt dosyası SEO için önemlidir. Nedeni arama motorlarına web sitenizi nasıl tarayacağını göstermenizdir. Robots.txt dosyası ile dizine ekleme sürenizi azaltabilirsiniz. Bu yazıda Robots.txt dosyası nedir? Robots.txt dosyası nerede? WordPress Robots.txt dosyası nasıl olmalı? WordPress Robots.txt dosyası oluşturma gibi sorularınıza çözüm bulacaksınız.
İçindekiler
Robots.txt dosyası nedir?
Robots.txt, web sitesi sahiplerinin arama motoru botlarına sitenizde nasıl gezeceğini ve dizine ekleneceğini anlatmak için oluşturulmuş bir metin dosyasıdır.
Genellikle web sitenizin ana klasörü olarak da bilinen kök dizinde saklanır (PublicHtml içindedir). Bir robots.txt dosyasının temel formatı şuna benzer:
User-agent: [kullanıcı aracısı adı] Disallow: [URL dizesi taranmayacak] User-agent: [kullanıcı aracısı adı] Allow: [Taranacak URL dizesi] Sitemap: [XML Site Haritanızın URL’si]
Belirli URL’lere izin vermeyi veya vermemeyi bu satırlarla sağlamış olursunuz. Diyelim web sitenizde bir linke izin vermezseniz Google gibi arama motorları o linkteki içeriği taramaz, linki dizine eklemez.
Örnek bir robots.txt dosyasına bakalım:
User-Agent: * Allow: /wp-content/uploads/ Disallow: /wp-content/plugins/ Disallow: /wp-admin/ Sitemap: https://siteadresiniz.com/sitemap_index.xml
Yukarıdaki robots.txt örneğinde, arama motorlarının WordPress yükleme klasöründeki dosyaları taramasına ve dizine eklemesine izin verdik.
Bundan sonra, arama botlarının eklentileri ve WordPress yönetici klasörlerini taramasını ve indeksleme yaptık.
Son olarak, XML site haritasının URL’sini sağladık.
WordPress Siteniz için Robots.txt Dosyasına mı ihtiyacınız var?
Bir robots.txt dosyanız yoksa, arama motorları web sitenizi hala tarar ve dizine ekler. Ancak, arama motorlarına hangi sayfaları veya klasörleri taramaması gerektiğini söyleyemezsiniz.
Bir bloga ilk kez başladığınızda ve çok fazla içeriğiniz olmadığında, bunun pek bir etkisi olmaz.
Ancak, web siteniz büyüdükçe ve çok fazla içeriğiniz olduğunda, web sitenizin nasıl tarandığı ve dizine eklendiği konusunda daha iyi bir kontrol sahibi olmak isteyebilirsiniz.
Tamda burada robots.txt dosyasının önemi ortaya çıkar. Ama sorun şudur ki web sitenizi tarayan botlarında bir tarama kotası vardır.
Bir bot web sitenizi taramak için geldiğinde belirli sayıdaki sayfayı taradıktan sonra tarama yapmaz. Sitenizdeki tüm sayfaları taramayı tamamlamazsa, geri dönecek ve bir sonraki oturumda taramaya devam edecektir.
Bu, web sitenizin indeksleme oranını yavaşlatabilir. Yani yayınladığınız bir yazı ancak bir iki güne Google‘a düşmüş olur.
Bunu, arama botlarının WordPress yönetici sayfalarınız, eklenti dosyalarınız ve tema klasörünüz gibi gereksiz sayfaları taramaya çalışmasını engelleyerek düzeltebilirsiniz.
Sonuç olarak daha az sayfa ve daha hızlı bir indeksleme hızına sahip olursunuz.
Diyelim şöyle bir şey istiyorsunuz; ben bu linkteki şeylerin yada bütün web sitenizin Google’da yada her hangi bir tarayıcıda bulunmasını istemiyorsanız eğer Robots.txt dosyası ile bu sorununuzu çözebilirsiniz.
İdeal bir Robots.txt Nasıl Olmalı?
Birçok popüler blog çok basit bir robots.txt dosyası kullanır. Robots.txt dosyasının kodları belirli sitenin gereksinimlerine bağlı olarak değişebilir:
User-agent: * Disallow: Sitemap: http://www.orneksite.com/post-sitemap.xml Sitemap: http://www.orneksite.com/page-sitemap.xml
Yukarıda görmüş olduğunuz site haritası web sitenizin bütünüyle indekslenmesini sağlar.
Peki wordpress sitenizdeki robots.txt nasıl olmalı? Aşağıdaki kurallarda bir robots.txt işinizi görecektir.
User-Agent: * Allow: /wp-content/uploads/ Disallow: /wp-content/plugins/ Disallow: /wp-admin/ Disallow: /readme.html Disallow: /refer/ Sitemap: http://www.orneksite.com/post-sitemap.xml Sitemap: http://www.orneksite.com/page-sitemap.xml
Bu, arama botlarına tüm WordPress resimlerini ve dosyalarını endekslemesini söylüyor. Arama botlarının WordPress eklenti dosyalarını, WordPress yönetici panelini, WordPress beni oku dosyasını ve ona bağlı bağlantılarını indekslemesini engeller.
Artık ideal bir robots.txt dosyasının neye benzediğini bildiğinize göre, WordPress’te nasıl bir robots.txt dosyası oluşturabileceğimize bir göz atalım.
WordPress’te Robots.txt Dosyası Nasıl Oluşturulur?
WordPress’te bir robots.txt dosyası oluşturmanın iki yolu vardır. Sizin için en uygun yolu seçebilirsiniz.
1.Yöntem: Yoast SEO kullanarak Robots.txt dosyasını düzenleme
Yoast SEO eklentisini kullanıyorsanız, bir robots.txt dosyası oluşturmak biraz daha kolaydır, kendi içerisinde bir oluşturucu ile gelir.
Yoast SEO’yu wordpress sitenizin robots.txt dosyası oluşturmak ve düzenlemek için kullanabilirsiniz.
WordPress yönetim panelinden SEO »Araçlar sayfasına gitmeniz ve Dosya Düzenleyici linkini tıklamanız yeterlidir.
Bir sonraki sayfada, Yoast SEO sayfası mevcut robots.txt dosyanızı gösterecektir.
Bir robots.txt dosyanız yoksa, Yoast SEO sizin için bir robots.txt dosyası oluşturur.
Varsayılan olarak, Yoast SEO’nun robots.txt dosya üreticisi, robots.txt dosyanıza aşağıdaki kuralları ekleyecektir:
User-agent: * Disallow: /
Bu otomatik oluşturulan metni silmeli ve yeniden size verdiğimiz metni o kısıma yapıştırmalısınız.
Önemli! Metni silmediğiniz takdirde disallow dan sonraki kısım, bütün web sitenizi engelleyecektir.
Varsayılan metni sildikten sonra devam edip kendi robots.txt kurallarınızı eklemelisiniz. Yukarıda paylaştığımız ideal robots.txt biçimini kullanmanızı öneririz.
İşiniz bittiğinde, değişikliklerinizi kaydetmek için ‘robots.txt dosyasını kaydet’ düğmesini tıklamayı unutmayın.
2.Yöntem: Robots.txt dosyasını FTP’yi kullanarak el ile düzenleme
Bu yöntem biraz daha teknik bilgi isteyen bir yöntem olduğunu belirteyim. Bu yöntemi yapmadan önce FTP nedir? Nasıl FTP sayesinde dosyalarınızı atabilirsiniz gibi soruları bilmeniz gerekir eğer bilmiyorsanız buradan öğrenebilirsiniz.
File Zilla programınızı kurlumunu yaptıktan ve giriş yaptıktan sonra aşağıdaki gibi bir ekran sizi karşılayacaktır. Publichtml klasörünün içerisine girdikten sonra sağ tıklayıp düzenle demelisiniz.
Böyle bir dosya bulamıyorsanız eğer muhtemelen yoktur. Bir Robots.txt dosyası oluşturmalısınız.
Robots.txt, düz bir metin dosyasıdır, yani bilgisayarınıza indirebilir ve Not Defteri veya Notepat gibi herhangi bir düzenleyiciyi kullanarak düzenleyebilirsiniz. Oluşturduğunuz dosyanın içerisine yukarıda verdiğimiz ideal Robots.txt kodlarını yapıştırıp kaydedebilirsiniz.
Robots.txt Dosyanızı Nasıl Test Edersiniz?
Robots.txt dosyanızı oluşturduktan sonra, bir robots.txt test aracı kullanarak test etmek her zaman iyi bir fikirdir.
Piyasada bir çok Robots.txt test aracı vardır. Ama bizim size önerimiz Google’ın search consulun‘daki araçtır.
Robotsi.txt dosyanızı test etmek için Google Arama Konsolu hesabınıza giriş yapın ve daha sonra eski Google arama konsolu web sitesine geçin.
Bu sizi eski Google Arama Konsolu arayüzüne götürür. Buradan, ‘Tara’ menüsü altındaki robots.txt test aracını başlatmanız gerekir.
Araç, web sitenizin robots.txt dosyasını otomatik olarak getirecek ve eğer varsa hataları ve uyarıları vurgulayacaktır.
FİNAL
Robots.txt dosyanızı optimize etmenin amacı, arama motorlarının herkese açık olmayan sayfaları taramasını engellemektir. Örneğin, wp-plugins klasörünüzdeki veya WordPress yönetici klasörünüzdeki sayfalar.
SEO uzmanları arasında yaygın olarak kullanılan bir efsane, WordPress kategorisini, etiketleri ve arşiv sayfalarını engellemenin tarama hızını artıracağı ve daha hızlı indeksleme ve daha yüksek sıralamaya neden olacağı yönündedir.
Bu doğru değildir. Aynı zamanda Google’ın web yöneticisi kurallarına aykırıdır.
Web siteniz için bir robots.txt dosyası oluşturmak için yukarıdaki robots.txt biçimini izlemenizi öneririz.
Yorum Yap