Криптобиржа Coinbase использовала ChatGPT для проверки смарт-контрактов

В своём новом отчёте представители биржи рассказали, что попробовали использовать разработку OpenAI наравне с со своей обычной проверкой токенов и затем сравнили результаты.

Команда Coinbase всегда находится в поиске эффективных и действенных способов проверки смарт-контрактов. На данный момент криптобиржа пользуется услугами Blockchain Security и предлагает собственные инструменты для автоматизации процессов проверки. Ажиотаж вокруг ChatGPT побудил разработчиков провести эксперимент и посмотреть, как чат-бот с искусственным интеллектом будет работать в масштабе широко используемого инструмента.

Целью эксперимента было желание узнать точность проверки по сравнению с результатами привычных инструментов. Обычные инженеры проверяют каждый смарт-контракт и делают выводы о его функциях – насколько он надёжен и каковы риски. Если попросить ChatGPT проверить каждый смарт-контракт отдельно, он использует всю имеющуюся информацию и контекст и, вероятнее всего, даст правильный ответ. Однако это возможно только при условии, что разработчик даст боту больше информации, чем потребуется инженеру. То есть, бота надо учить определять риски.

В результате этого эксперимента ChatGPT оказался способен оценить риск смарт-контракта не хуже, чем инженер, однако он ошибался 5 раз на пометках высокорисковых активов, давая им оценку низкорисковых. Coinbase считает это фатальной ошибкой, поскольку переоценка риска в этом случае намного лучше, чем недооценённый актив. Кроме того, эффективность инструмента на данном этапе нивелируется пробелами в точности: без достаточного контекста ChatGPT осуществляет ненадёжный анализ безопасности. Ещё одно замечание: довольно часто чат-бот использует для анализа не логику своих функций, а комментарии в коде. Регулярные изменения, которые вносит OpenAI в свой инструмент, могут создать дополнительную нестабильность и выходные данные при повторном анализе, вероятно, будут отличаться от прошлых выходных данных.

Вывод: ChatGPT не имеет необходимой точности и на данном этапе не демонстрирует безусловную готовность к интеграции в процесс проверки активов.