Ваш надежный источник

Команда Kaspersky Digital Footprint Intelligence представила отчёт «Инновации в тени: как злоумышленники экспериментируют с ИИ», в котором специалисты проанализировали сообщения в даркнете на тему использования злоумышленниками ChatGPT и других аналогичных решений на основе больших языковых моделей.

«Лабортория Касперского» сообщает, что всего в 2023 году на теневых форумах и в специализированных Telegram-каналах было обнаружено 2890 постов с обсуждением чат-ботов на основе нейросетей. Пик пришёлся на апрель — в этом месяце эксперты зафиксировали 509 сообщений. Эксперты разделили многочисленные обсуждения на несколько направлений.

Джейлбрейки. Чтобы языковая модель могла давать ответы, связанные с неправомерной деятельностью, злоумышленники используют наборы особых команд. Они могут открывать дополнительный функционал у ChatGPT и похожих сервисов. Такие наборы называются джейлбрейками. За 2023 год эксперты «Лаборатории Касперского» обнаружили 249 предложений по распространению и продаже подобных команд. При этом стоит отметить, что джейлбрейки могут использоваться в том числе для легитимного улучшения работы сервисов на основе языковых моделей.

Вредоносное ПО. Участники теневых форумов активно обменивались вариантами использования языковых моделей для усовершенствования зловредов и повышения эффективности кибератак в целом. Например, эксперты обнаружили сообщение, где рассказывалось о ПО для операторов вредоносных программ, которое использовало нейросети для обеспечения безопасности оператора и автоматического переключения используемых доменов прикрытия. В рамках другого обсуждения авторы постов предлагали ChatGPT для генерации полиморфного вредоносного кода, обнаруживать и анализировать который крайне сложно.

Open Source и программы для пентеста (тест на проникновение). Решения на базе больших языковых моделей создаются разработчиками ПО с открытым исходным кодом, в том числе речь может идти о программах для специалистов по информационной безопасности. Однако злоумышленники тоже обращают внимание на такие проекты. Например, в интернете в свободном доступе есть определённая утилита с открытым исходным кодом на базе генеративной модели, которая предназначена для обфускации кода. Обфускация позволяет избегать обнаружения системами мониторинга и защитными решениями. Такие утилиты могут использовать как пентестеры, так и злоумышленники. В даркнете специалисты «Лаборатории Касперского» обнаружили пост, в котором авторы делятся этой утилитой и рассказывают, как её можно использовать для вредоносных целей.

«Злые» аналоги ChatGPT. На фоне популярности умных чат-ботов большой интерес вызвали и другие проекты: WormGPT, XXXGPT, FraudGPT. Это языковые модели, позиционирующиеся как альтернатива ChatGPT с дополнительным функционалом и снятыми ограничениями. Несмотря на то, что большая часть решений может быть использована правомерно, злоумышленники также могут обращаться к ним, например для написания вредоносного ПО. Однако повышенное внимание к подобным предложениям не всегда играет на руку их создателям. Так, WormGPT был закрыт в августе 2023 года из-за массовых опасений, что он может представлять угрозу. К тому же многие обнаруженные специалистами «Лаборатории Касперского» сайты и объявления, где предлагалось купить доступ к WormGPT, по сути представляли собой скам. Интересно, что большое количество подобных предложений вынудили авторов проекта ещё до закрытия начать предупреждать о возможности обмана.

«Существуют опасения, что развитие больших языковых моделей позволяет злоумышленникам упрощать их деятельность и одновременно снижает для них порог входа в индустрию. Однако на данный момент мы не видим реальных инцидентов, в рамках которых использовались такие решения. Тем не менее технологии развиваются стремительными темпами, и вполне вероятно, что вскоре возможности языковых моделей позволят осуществлять сложные атаки, поэтому важно внимательно следить за этой сферой», — комментирует Алиса Кулишенко, аналитик Kaspersky Digital Footprint Intelligence.