Компания OpenZeppelin, специализирующаяся на аудите безопасности блокчейна, выявила методологические недостатки и проблему загрязнения данных в новом бенчмарке EVMbench от OpenAI. Этот инструмент, созданный для оценки способностей искусственного интеллекта находить и эксплуатировать уязвимости в смарт-контрактах, содержит серьёзные изъяны, ставящие под вопрос объективность тестирования.
Аудиторы обнаружили, что набор данных EVMbench включает утечки тренировочной информации. Это означает, что модели ИИ, показавшие наилучшие результаты, могли быть заранее обучены на отчётах об уязвимостях, использованных в бенчмарке. Таким образом, проверялась не способность находить новые угрозы, а лишь запоминание известных данных.
Второй критической проблемой стала некорректная классификация уязвимостей. OpenZeppelin идентифицировал как минимум четыре случая, отмеченные как критические, которые на практике не являются эксплуатируемыми. Подобные ошибки искажают реальную картину возможностей систем кибербезопасности, основанных на искусственном интеллекте.
Этот инцидент подчёркивает сложности в создании надёжных стандартов для оценки ИИ в сфере крипто. Безопасность блокчейна требует безупречной методологии, так как даже малейшая неточность может создать ложное чувство защищённости. Вопросы вызывают и условия тестирования, где у моделей был отключён доступ в интернет, но оставался риск использования предварительно изученных данных.
Проблема загрязнения тренировочных данных актуальна для всей отрасли. Злоумышленники постоянно совершенствуют вредоносное ПО, используют фишинг и ищут неизвестные уязвимости типа 0-day. В таком контексте объективная проверка способностей ИИ противостоять новым угрозам, включая ransomware и утечку данных, становится критически важной.
Обнародование этих выводов служит важным напоминанием для всего криптосообщества. Разработка инструментов оценки должна проходить столь же тщательный аудит, как и сами протоколы. Доверие к технологиям будущего можно построить только на принципах максимальной прозрачности и независимой верификации.
