SEO çalışmalarında birçok işletme tarama bütçesini göz ardı eder veya yeterli önemi vermez. Oysa ki tarama bütçesi, arama motorlarının sitenizi ne sıklıkla tarayacağına dair kritik bir faktördür. Çünkü SEO dünyasında başarı elde etmek, sadece kaliteli içerik üretmek veya doğru anahtar kelimeleri seçmekle sınırlı değildir.
Tarama Bütçesi (Crawl Budget) Nedir?
Tarama bütçesi, arama motorlarının belirli bir zaman diliminde bir web sitesinde tarayacağı sayfa sayısıdır. Arama motorları tarama bütçesini, tarama sınırına ve tarama talebine göre hesaplar. Tarama bütçesini boşa harcarsanız arama motorları web sitenizi verimli bir şekilde tarayamaz ve bu da SEO performansınıza zarar verir.
Bütçe, günden güne değişebilir ancak nispeten sabittir. Google’ın taradığı sayfa sayısı (bütçeniz); genellikle sitenizin boyutuna, sitenizin sağlığına ve sitenize verilen bağlantıların sayısına göre belirlenir.
Bu tarama işlemi şu şekilde işler: Googlebot gibi bir tarayıcı, bir sitede taranacak URL’lerin listesini alır. Bu listeyi sistematik olarak gözden geçirir. Her bir URL’i taramasına izin verildiğinden emin olmak için robots.txt dosyanızı alır ve ardından URL’leri birer birer tarar. Bir tarayıcı bir URL’yi taradıktan ve içeriği ayrıştırdıktan sonra o sayfada bulduğu yeni URL’leri taramak üzere not eder. Ancak bu tarayıcı, yalnızca önemli olduğunu düşündüğü URL’leri tarayabilir.
Bu aşamada “Google neden internetteki her sayfayı ziyaret etmiyor?” diye sorabilirsiniz. Google’ın sınırlı kaynakları vardır ve internette çok fazla spam içeren sayfa bulunur. Bu nedenle Google’ın düşük kaliteli sayfaları ziyaret etmesini önleyecek mekanizmalar geliştirmesi gerekmektedir. Bundan dolayı Google, en önemli sayfaları taramaya öncelik verir.
Üstelik Googlebot, iyi bir şekilde tasarlanmıştır. Sunucunuzun çökmesini önlemek için taramayı sınırlar. Google için web sitenizin sunucusunu çökertmektense bazı URL’lerinizi ziyaret etmeyi atlamak veya geciktirmek daha iyidir.
Web Siteleri Nasıl Taranır?
Tarama bütçesini daha iyi anlamak için Google’ın bir web sitesini nasıl taradığını bilmeniz gerekir. Bu süreç üç faktör tarafından belirlenir:
- Tarama hızı: Google’ın tarayabileceği URL sayısı.
- Zamanlama: Hangi URL’lerin ne zaman taranması gerektiği.
- Tarama talebi: Google’ın taramak istediği URL sayısı.
Tarama hızı, Googlebot’un siteyi taramak için kullanabileceği URL’lerin yanı sıra getirme işlemleri arasında beklemesi gereken süredir. Google, tarama hızını sunucunuzun yanıtına göre ayarlar. Sunucunuz ne kadar yavaş olursa tarama hızı o kadar düşük olur.
Tarama işleminin karmaşıklığı, Googlebot’un ziyaret etmeyi planladığı URL’lerin bir listesini oluşturmasını gerektirir. Ardından listelenen URL’lere yapılan istekler sıraya alınır. Bu liste rastgele oluşturulmaz, tüm süreç zamanlanır ve değerli URL’lere öncelik vermek için Google, tarama talebi adı verilen bir mekanizma kullanır.
Tarama talebi, yeniden taranan URL’lerin değerini belirlemekle ilgilidir. Tarama talebini etkileyen birçok faktör vardır:
- Popülarite: Bir URL’in kaç tane iç ve dış linke sahip olduğu ve sıralandığı sorgu miktarı.
- Güncellik: URL’in ne sıklıkta güncellendiği.
- Sayfa türü: Değişmesi muhtemel sayfa türüdür. Örneğin; “Çerez Politikası” ve “SEO Hizmeti” sayfalarını ele alalım. Sizce hangisi en sık değişir ve daha sık taranmayı hak eder?
Tarama Bütçesi Nasıl Optimize Edilir?
Tarama bütçesini optimize etmek, bu bütçenin boşa harcanmamasını sağlar. Boşa harcanan tarama bütçesinin nedenleri genel olarak şunlardır:
- Parametreli URL’ler: Örneğin; https://trendyol.com/kadin/elbise?renk=beyaz URL’i parametreli bir URL’dir. Bu durumda parametre, bir ziyaretçinin seçimini bir ürün filtresinde saklamak için kullanılır.
- Duplicate İçerik: Kopyalanan sayfalar ve arama sonucu sayfaları gibi sayfalar duplicate içerik oluşturur.
- Düşük Kaliteli İçerik: Çok az içeriğe sahip sayfalar veya herhangi bir değer katmayan sayfalar.
- Kırık ve Yönlendirilmiş Linkler: Kırık linkler, artık var olmayan sayfaların URL’leridir. Yönlendirilmiş URL’ler ise başka bir URL’e taşınmıştır.
- Site Haritalarına Yanlış URL Dahil Etme: 3xx, 4xx ve 5xx durum kodu veren URL’ler site haritasına dahil edilmemelidir.
- Yükleme Süresi Uzun Süren Sayfalar: Yüklenmesi uzun süren veya hiç yüklenmeyen sayfalar, tarama bütçeniz üzerinde olumsuz bir etkiye sahiptir.
- Redirect Chain: Örneğin; non-www sayfalarınızı www’ye ve ardından HTTP’yi HTTPS’e yönlendirirseniz neredeyse tüm sayfalarınız redirect chaine girer, bu da sayfalarınızın taranma süresini uzatır.
Yukarıda sıraladığımız nedenler tarama bütçenizi boşa harcamanıza neden olur. Bu durumda tarama bütçenizi optimize etmek için iki yol bulunur:
1. Robots.txt Dosyası
Tarama bütçenizi optimize etmenin en kolay yolu, robots.txt dosyasını kullanarak web sitenizin belirli sayfalarını taranmaktan hariç tutmaktır. Örneğin; arama sonucu sayfalarını ya da ödeme sayfaları gibi dizinde olmaması gereken sayfaların taranmasını engelleyebilirsiniz.
2. Site Haritası
Düzgün oluşturulmuş bir site haritası, Googlebot için yapabileceğiniz en iyi uygulamalardan biridir. Çünkü site haritanız sayesinde Googlebot, web sitenizin önemli sayfalarını bulabilir ve son değişiklikleri fark edebilir. Bu nedenle site haritalarınızı güncel ve hatasız tutmanız çok önemlidir.