Na některé e-shopy mi neustále lezl spybot AhrefsBot, podle tvůrců má prý analyzovat SEO stránek, což se mi moc nezdá, navíc jsem jej nezval a o jeho služby nestojím. Podle jiných analýz zatíží stránky současným otevřením velkého množství stránek a pak podle chování http serveru analyzuje jeho odezvy a testuje zabezpečení pro případné napadnutí stránek, tedy jejich zavirování. (Např. pro vytvoření spamserveru, tedy stroje pro odesílání velkého množství spamu.)
Zatrhnout se mu to dá na úrovni .htaccess, kdy jej samotný http server (Apač) dál nepustí. Také je třeba jej zarazit v souboru robots.txt, to ale je jenom kosmetická a nevynutitelná ochrana. Slušní roboti obsah robots.txt respektují, ti neslušní na něj kašlou.
A pak jsem ještě měl na stránkách masivní návštěvnost z jedné IP adresy, ale tvářící se jako mnoho domén s názvy typy buyviagraonline.com. To sice nevím co to má znamenat, pokus o podrvhnutí zpětných odkazů? Nicméně jsem jim to zatrhnul také.
Do .htaccess si přidejte někam z kraje
Kód:
## Zablokujeme přístup z spybota Ahrefsbot, zmetci Ukrajinský
deny from 5.10.83.0/25
deny from 31.184.238.95
A robots.txt by měl vypadat takto:
Kód:
User-agent: Baiduspider
Disallow: /
User-agent: AhrefsBot
Disallow: /
User-agent: *
Disallow: /administrator/
Disallow: /bbclone/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Allow: /components/com_virtuemart/shop_image/product/
#Sitemap: http://www.domain.tld/index.php?option=com_xmap&sitemap=1&view=xml
Mapa stránek je zakomntovaná, pokud používáte pro mapu stránek Xmap, tak ten příkaz odkomentujte a opravte si tam jméno domény (napište svou doménu). Joa blokuji tam také Baiduspider, k ničemu mi není a jenom otravuje.
Přihlásit se
Registrovat
FAQ
Hledat
