Sitenizden veri alıp başka kullanıcılar için veriler sunan, içerikleriniz hakkında bilgileri edinip SEO araçları ile rakip sitelerinize ve ya kişilere içeriğiniz hakkında bilgiler vererek rakibinizin içeriğinizde toplam kelime, anahtar kelime, dosya boyutu, html yazı oranı gibi bilgileri veren Ahrefs, Semrush, Majestic gibi sitelerin botları bulunmaktadır. Bu botları engelleyerek içeriklerinizi korumaya ek olarak hemen çıkma oranlarında düzeltmeler sağlayarak SEO düzenlemenize bir nebzede olsa katkınız bulunabilir. Bu botları engellemenin çeşitli yolları bulunmaktadır. Bunlar htaccess dosyası, robots.txt dosyası, Cpanel’iniz ya da Cloudflare kullanıyorsanız Firewall ile sağlanabilir. Bu makalede kısaca değineceğim ise Cloudflare ile nasıl spam botları engelleyebileceğiniz.
Yukarıdaki örnek resimderde AhrefsBot, SemrushBot, Majestic’e ait olan MJ12Bot, Open Site Explorer’e yani MOZ'a ait Dotbot ve BLEXBot filtrelenmiştir. Eğer sitenize daha fazla bot filtresi eklemek isterseniz Bot’un ismine tam eşit karakteri yazarak Or ile ekleyebilirsiniz.
Cloudflare zaten domaine erişime izin vermediği için robots.txt ile bot engellemeye ihtiyaç duymazsınız.
Cloudflare İle Spam Bot Filtreleme
- Cloudflare panelinize giriş yapın.
- Firewall sekmesine girin.
- Firewall Rules butonuna tıklayarak aşağıdaki resimdeki gibi User agent tanıtımını yapın.
- Then bölümünde isterseniz direk Block koyabilirsiniz. Önerim Cloudflare’nin yeni hCaptcha’sını seçmeniz zaten botlar Captcha doğrulamasını geçemediği için sitenize giriş yapamayacaktır.
- Daha sonra Save deyip kaydederek güvenlik duvarını aktif etmeniz yeterli olacaktır.
Not: User agent botların ismi üzerinden filtreleme yapar. Botların ismi aynı olduğu için bota ait tüm IP'leri engeller. Tek tek IP Girmeye ihtiyaç duymazsınız.
Not 2: And değil Or olarak seçmelisiniz. And hepsi beraber girerse engelle anlamına gelirken Or sadece birinden giriş olursa anlamı taşır. And seçmeniz durumunda tüm botlar aynı anda giriş yapmadığı için filtreleme yapmayabilir. Or tanımı ile farketmeksizin birinden giriş yapınca engel atacaktır.
Yukarıdaki örnek resimderde AhrefsBot, SemrushBot, Majestic’e ait olan MJ12Bot, Open Site Explorer’e yani MOZ'a ait Dotbot ve BLEXBot filtrelenmiştir. Eğer sitenize daha fazla bot filtresi eklemek isterseniz Bot’un ismine tam eşit karakteri yazarak Or ile ekleyebilirsiniz.Cloudflare zaten domaine erişime izin vermediği için robots.txt ile bot engellemeye ihtiyaç duymazsınız.