Тест Тьюринга позволяет оценить способность машины проявлять интеллект от способности человека. Чтобы машина прошла тест Тьюринга, она должна быть в состоянии поговорить с кем-то, заставив думать, что она человек.
Ученые решили повторить этот тест, попросив 500 человек поговорить с четырьмя собеседниками, включая человека, программу ИИ 1960-х годов ELIZA, а также GPT-3.5 и GPT-4. Разговоры длились пять минут, после чего участники должны были сказать, что разговаривали они с человеком или с искусственным интеллектом. Исследование опубликовано на сервере препринтов arXiv, сообщает Live Science.
Обнаружилось, что участники в 54% случаев считали GPT-4 человеком. ELIZA, система, заранее запрограммированная на ответы, но не имеющая архитектуры нейронной сети, была признана человеком только в 22% случаев. GPT-3.5 набрал 50%, а человек-участник — 67%.
«Машины могут рассуждать, смешивая воедино правдоподобные обоснования вещей постфактум, как это делают люди. Они становятся все более обманчивыми. Человеческие слабости и причуды проявляются в системах ИИ, что делает их более похожими на человека, чем предыдущие подходы, которые имели список готовых ответов», — рассказала Нелл Уотсон, исследователь искусственного интеллекта в Институте инженеров электротехники и электроники (IEEE).
Ученые также отметили, что существует обоснованная критика слишком упрощенного подхода к тесту Тьюринга, утверждая, что «стилистические и социально-эмоциональные факторы играют большую роль в прохождении теста Тьюринга, чем традиционные представления об интеллекте».