Een mysterieuze golf van geautomatiseerd webverkeer, voornamelijk afkomstig uit Lanzhou, China, overspoelt websites over de hele wereld, waardoor operators verbijsterd achterblijven en op zoek gaan naar oplossingen. Vanaf september hebben site-eigenaren in diverse sectoren – van paranormale blogs tot Amerikaanse overheidsdomeinen – een golf van botactiviteit gemeld, waardoor de analyses vertekend zijn, de bandbreedtekosten stijgen en mogelijk de advertentie-inkomsten worden geschaad.
De spookachtige bezoekers uit Lanzhou
Alejandro Quintero, een data-analist die een website met een paranormaal thema beheert, merkte de anomalie voor het eerst op in oktober. Zijn site zag een plotselinge piek in het verkeer uit China en Singapore, dat nu goed is voor meer dan de helft van zijn totale bezoeken. De bezoekers, allemaal schijnbaar gelokaliseerd in Lanzhou, vertoonden onnatuurlijk gedrag: geen verblijftijd, geen scrollen, geen klikken. Dit bevestigde zijn vermoeden: het verkeer was niet menselijk.
Anderen herhaalden al snel de ervaring van Quintero. Een lifestylemagazine in India, een blog op een Canadees eiland, persoonlijke portfoliosites, een weerplatform met miljoenen pagina’s en zelfs Amerikaanse overheidsdomeinen werden door hetzelfde patroon getroffen. Uit analyses van Analytics.usa.gov blijkt dat Lanzhou en Singapore de afgelopen 90 dagen de twee grootste steden zijn geworden die zogenaamd Amerikaanse overheidsinformatie consumeren, goed voor respectievelijk 14,7% en 6,6% van de bezoeken.
Wie zit er achter de zondvloed?
Hoewel het verkeer afkomstig is van Chinese en Singaporese IP-adressen, blijft het identificeren van de actoren ongrijpbaar. De bots zijn niet gekoppeld aan cyberaanvallen of kwetsbaarheidsscans, maar hun enorme omvang veroorzaakt verstoring. De meest plausibele verklaring is het verzamelen van AI-gegevens: bedrijven die het internet afstruinen om grote taalmodellen te trainen.
Deze bots verschillen echter van typische AI-crawlers. Ze zijn veel talrijker (goed voor 22% van het verkeer op sommige sites, vergeleken met minder dan 10% voor alle andere AI-bots samen) en ze vermommen zich actief, waarbij ze de gebruikelijke botdetectiemechanismen omzeilen. In tegenstelling tot gevestigde AI-laboratoria die vaak hun bots identificeren, lijken deze actoren vastbesloten om blokkering te omzeilen.
Gavin King, oprichter van Known Agents, traceerde het verkeer via servers van grote Chinese cloudproviders, waaronder Tencent (ASN 132203), Alibaba en Huawei. Of de bots afkomstig zijn van interne activiteiten of van klanten die deze servers gebruiken, blijft onduidelijk.
De kosten zijn reëel
De bots lijken niet kwaadaardig, maar hun impact is aanzienlijk. Website-eigenaren maken zich zorgen over schendingen van het auteursrecht, hogere bandbreedtekosten en scheve analyses. Voor degenen die afhankelijk zijn van advertentie-inkomsten kan het botverkeer hun inkomsten benadelen, omdat platforms als Google AdSense sites die worden overspoeld met kunstmatige betrokkenheid kunnen devalueren.
“Dit vernietigt mijn AdSense-strategieën”, zegt Quintero. “Ze zeggen dat [uw website] alleen door bots wordt bezocht, dus uw inhoud is niet iets dat waardevol is voor de kijker.”
Geïmproviseerde oplossingen en een onzekere toekomst
Omdat er geen onmiddellijke oplossing in zicht is, nemen website-exploitanten hun toevlucht tot ad-hocmaatregelen. Het blokkeren van Chinese en Singaporese IP’s, het filteren van oude Windows-versies en het identificeren van ongebruikelijke schermresoluties behoren tot de geïmproviseerde strategieën die online worden gedeeld. Sommigen hebben volledige ASN’s geblokkeerd die verband houden met grote cloudproviders.
Hoewel ze tot op zekere hoogte effectief zijn, zijn deze oplossingen tijdelijk. Naarmate autonome AI-tools steeds vaker voorkomen, zullen website-eigenaren waarschijnlijk te maken krijgen met escalerende uitdagingen bij het onderscheiden van legitiem verkeer van geautomatiseerd scrapen. Met andere woorden: de kosten voor het in stand houden van een online aanwezigheid stijgen en het onderscheid tussen menselijke en machinale activiteiten vervaagt.
De proliferatie van AI-gestuurd scrapen onderstreept een fundamentele waarheid van het moderne internet: openheid heeft een prijs. Het internet is openbaar, en zoals Brent Maynard van Akamai het zegt: “Je bent open en je bent zichtbaar voor het publiek.”
