Австралийские ученые выяснили, что высокоразвитый искусственный интеллект способен не просто нанести человечеству катастрофический ущерб, но даже и уничтожить его без злого умысла.
К таким выводам они пришли, проведя масленный эксперимент с несуществующей системой SantaNet, чьей задачей является рассылка подарков хорошим детям за одному ночь.
Оказывается, опасность возникает уже на уровне идентификации послушных и хороших детей. Для этого искусственному интеллекту пришлось бы создать масштабную сеть скрытого наблюдения, а затем ему пришлось бы руководствоваться собственными моральными суждениями. А еще такая система могла бы попытаться вынуждать детей плохо себя вести, чтобы снизить нагрузку на свои мощности.
Наконец, имеется и такой вариант, в котором SantaNet попытался бы превратить всю планету в фабрику по производству игрушек.
Кроме того, существуют проблемы взлома системы, террористических атак и иных проблем, которые может случайно спровоцировать искусственный интеллект такого уровня.