Таинственная волна автоматизированного веб-трафика, в основном исходящая из Ланьчжоу, Китай, захлестывает веб-сайты по всему миру, оставляя операторов в замешательстве и вынуждая их искать решения. Начавшись в сентябре, всплеск бот-активности был зарегистрирован владельцами сайтов в различных секторах – от блогов о паранормальных явлениях до государственных доменов США, – искажая аналитику, увеличивая расходы на пропускную способность и потенциально нанося ущерб доходам от рекламы.
Призрачные посетители из Ланьчжоу
Алехандро Кинтеро, аналитик данных, ведущий веб-сайт на паранормальную тематику, впервые заметил аномалию в октябре. Его сайт увидел внезапный скачок трафика из Китая и Сингапура, который теперь составляет более половины всех его посещений. Посетители, по-видимому, локализованные в Ланьчжоу, проявляли неестественное поведение: нулевое время пребывания, отсутствие прокрутки, отсутствие кликов. Это подтвердило его подозрения – трафик не был человеческим.
Другие быстро подтвердили опыт Кинтеро. Журнал об образе жизни в Индии, канадский островной блог, личные портфолио-сайты, платформа погоды с миллионами страниц и даже государственные домены США столкнулись с той же закономерностью. Аналитика с Analytics.usa.gov показывает, что за последние 90 дней Ланьчжоу и Сингапур стали двумя ведущими городами, якобы потребляющими информацию от американского правительства, составляя 14,7% и 6,6% посещений соответственно.
Кто стоит за потопом?
Хотя трафик исходит из китайских и сингапурских IP-адресов, выявление злоумышленников остаётся неуловимым. Боты не связаны с кибератаками или сканированием уязвимостей, но их огромный объём вызывает разрушения. Наиболее правдоподобное объяснение – сбор данных с помощью ИИ: компании, собирающие данные из Интернета для обучения больших языковых моделей.
Однако эти боты отличаются от типичных AI-краулеров. Они гораздо более многочисленны – составляя 22% трафика на некоторых сайтах по сравнению с менее чем 10% для всех остальных AI-ботов вместе взятых – и они активно маскируются, обходя распространенные механизмы обнаружения ботов. В отличие от известных AI-лабораторий, которые часто идентифицируют своих ботов, эти злоумышленники, похоже, полны решимости избежать блокировки.
Гавин Кинг, основатель Known Agents, проследил трафик через серверы, принадлежащие крупным китайским облачным провайдерам, включая Tencent (ASN 132203), Alibaba и Huawei. Неясно, исходит ли трафик от внутренних операций или клиентов, использующих эти серверы.
Цена реальна
Боты не кажутся злонамеренными, но их влияние значительно. Владельцы веб-сайтов обеспокоены нарушением авторских прав, увеличением затрат на пропускную способность и искажением аналитики. Для тех, кто зависит от доходов от рекламы, бот-трафик может негативно повлиять на их заработок, поскольку платформы, такие как Google AdSense, могут обесценивать сайты, переполненные искусственным вовлечением.
«Это уничтожает мои стратегии AdSense», – говорит Кинтеро. «Они говорят, что [ваш сайт] посещают только боты, поэтому ваш контент не представляет ценности для зрителя».
Импровизированные решения и неопределённое будущее
Учитывая отсутствие немедленного решения, операторы веб-сайтов прибегают к временным мерам. Блокировка китайских и сингапурских IP-адресов, фильтрация устаревших версий Windows и выявление необычных разрешений экрана – вот некоторые из импровизированных стратегий, которыми делятся в Интернете. Некоторые заблокировали целые ASN, связанные с крупными облачными провайдерами.
Хотя эти решения эффективны в определённой степени, они временные. Поскольку автономные инструменты ИИ становятся всё более распространёнными, владельцам веб-сайтов, вероятно, предстоят растущие проблемы с разграничением легитимного трафика и автоматизированного сбора данных. Другими словами, стоимость поддержания онлайн-присутствия растёт, и грань между человеческой и машинной активностью размывается.
Распространение AI-управляемого сбора данных подчеркивает фундаментальную истину современного Интернета: открытость имеет свою цену. Веб открыт, и, как говорит Брент Мейнард из Akamai, «Вы открыты и находитесь на виду у всех».
