Internete nuolatos veikia milijonai automatizuotų robotų (angl. bots), kurie naršo svetaines įvairiais tikslais - vieni indeksuoja turinį paieškos sistemoms, kiti renka informaciją dirbtinio intelekto modeliams, o treti bando apkrauti serverius ar kopijuoti svetainių turinį.
Botas -tai automatizuota programa, siunčianti HTTP užklausas į interneto svetaines be žmogaus įsikišimo.
Ne visi botai yra kenksmingi, tačiau jų sukuriamas srautas gali ženkliai sulėtinti svetainės veikimą, padidinti serverio apkrovą ar net tapti paslaugų trikdžių priežastimi. Šioje pamokoje sužinosite, kaip naudojant "Cloudflare" nustatyti, stebėti, valdyti ir prireikus blokuoti įvairius interneto botus.
1. Kaip peržiūrėti botų aktyvumą Cloudflare
Prisijunkite prie Cloudflare Dashboard ir pasirinkite savo svetainę.
Toliau meniu pasirinkite: Security → Events
Čia galėsite matyti:
kokie IP adresai jungiasi;
kokie User-Agent naudojami;
kokios taisyklės buvo pritaikytos;
ar užklausa buvo leista;
ar pritaikytas Challenge;
ar užklausa buvo užblokuota.
Jeigu matote tūkstančius užklausų iš to paties User-Agent arba IP adreso, tai gali būti požymis, kad svetainę aktyviai naršo botas.
2. Kaip stebėti bendrą botų srautą
Papildomai rekomenduojama peržiūrėti skiltį: Analytics
Čia galima stebėti:
bendrą HTTP užklausų skaičių;
staigius srauto šuolius;
šalis, iš kurių ateina užklausos;
populiariausius URL;
saugumo įvykių statistiką.
Jeigu lankytojų nėra daug, tačiau HTTP užklausų skaičius labai didelis, tikėtina, kad nemažą dalį jų sudaro automatizuoti botai.
3. Bot Fight Mode
Cloudflare Free plane galima naudoti Bot Fight Mode.
Norėdami jį įjungti, pasirinkite: Security → Bots
Įjunkite: Bot Fight Mode
Ši funkcija automatiškai aptinka dalį kenkėjiškų botų ir apsunkina jų veikimą.
Ji ypač naudinga apsisaugant nuo:
scraperių;
automatizuotų skenerių;
paprastų botų.
Svarbu žinoti, kad ši funkcija nėra pilnavertė Bot Management sistema ir nesustabdo visų robotų.
4. Kada verta naudoti WAF taisykles?
Jeigu norite kontroliuoti konkrečius botus, rekomenduojama naudoti Custom WAF Rules.
Pasirinkite: Security → WAF → Custom Rules
Čia galite kurti taisykles pagal įvairias sąlygas, pavyzdžiui:
User-Agent;
IP adresą;
šalį;
URL;
užklausų metodą;
kitus HTTP parametrus.
5. AI botų blokavimo pavyzdys
Jeigu nenorite, kad jūsų turinį rinktų dirbtinio intelekto modeliai, galite sukurti taisyklę, pavyzdžiui:
(http.user_agent contains "GPTBot")
Veiksmas: Block
Analogiškai galima blokuoti:
ClaudeBot
Bytespider
PerplexityBot
Amazonbot
Kiekvienam galima kurti atskirą taisyklę arba naudoti vieną bendrą išraišką.
6. SEO botų ribojimas
Jeigu jūsų svetainę itin aktyviai analizuoja SEO įrankiai, galima riboti:
AhrefsBot
SemrushBot
MJ12bot
DotBot
Jeigu šie botai sukelia didelę serverio apkrovą, rekomenduojama naudoti Managed Challenge, o ne iš karto juos blokuoti.
7. Scraperių blokavimas
Dalis automatizuotų programų naudoja standartinius User-Agent.
Pavyzdžiui:
curl
wget
python-requests
Go-http-client
Tokiems User-Agent galima taikyti:
Managed Challenge;
Interactive Challenge;
Block.
8. Kada rinktis Challenge, o kada Block?
Cloudflare leidžia pasirinkti skirtingus veiksmus.
Block - naudokite, kai esate tikri, kad botas neturi jokios naudos. Pavyzdžiui:
scraperiai;
brute force botai;
akivaizdžiai kenkėjiškas srautas.
Managed Challenge - rekomenduojama daugeliu atvejų. Cloudflare sistema pati nusprendžia, kokį patikrinimą daryti. Tai dažniausiai geriausias pasirinkimas nežinomiems botams.
Interactive Challenge - naudojamas tada, kai norite, jog lankytojas atliktų papildomą patvirtinimą.
9. Kaip neužblokuoti paieškos sistemų?
Nerekomenduojama blokuoti:
Googlebot;
Bingbot;
Applebot.
Šie robotai padeda paieškos sistemoms indeksuoti jūsų svetainę. Jeigu jie bus užblokuoti, gali suprastėti svetainės matomumas paieškos rezultatuose. Turint įtarimų, kad kažkas tik apsimeta Googlebot, verta patikrinti, ar užklausa tikrai ateina iš oficialių „Google“ IP adresų. Vien "User-Agent" pavadinimu pasitikėti nereikėtų. IP adresą galite patikrinti įvairiuose, nemokamuose įrankiuose, pvz.:
Kaip įsitikinti, kad taisyklės veikia?
Po naujų taisyklių sukūrimo rekomenduojama Cloudflare stebėti:
Security → Events – ar taisyklės pradėjo veikti;
Analytics – ar sumažėjo botų srautas;
serverio CPU apkrovą;
HTTP užklausų skaičių;
svetainės veikimo spartą.
Jeigu matote, kad užklausų skaičius sumažėjo, o svetainė veikia greičiau ir nėra nepageidaujamų blokavimų, vadinasi taisyklės veikia sėkmingai.
Reguliariai analizuodami saugumo įvykius, įjungę Bot Fight Mode ir sukūrę tikslines WAF Custom Rules, galite gerokai sumažinti nepageidaujamą botų aktyvumą, apsaugoti serverio resursus bei sumažinti svetainės apkrovą.