Стремительное развитие цифровых технологий способно привести к ситуации, когда человек больше не сможет управлять собственными разработками. Согласно докладу исследователей британского Института Алана Тьюринга, критический рубеж может быть пройден уже в ближайшие пять лет: именно в этот срок на арену выйдут «суперумные» ИИ-системы, опережающие людей практически во всех прикладных когнитивных сферах.
Главный фактор риска кроется в колоссальном разрыве в скорости мышления. По мере того как нейросети берут на себя всё более масштабные задачи, государственные и коммерческие структуры будут вынуждены напрямую делегировать алгоритмам право принятия решений. Если ИИ начнет выстраивать многоуровневые стратегии, которые люди не способны моментально оценить или верифицировать из-за их сложности, реальный человеческий контроль прекратит существовать. Это открывает двери целому спектру опасных сценариев — от масштабных брешей в кибербезопасности и манипуляций демократическими институтами до непреднамеренного создания биологических угроз и расхождения базовых целей машины с интересами людей.
Генеральный директор Института Алана Тьюринга Джордж Уильямсон подчеркнул, что дискуссия о технологическом будущем не должна сводиться лишь к фантастическим крайностям. Базовые угрозы проявляются уже сейчас, а значит, правительствам и научному сообществу необходимо объединять усилия для тестирования систем непосредственно в рабочей среде, а не только в стерильных лабораториях.
В свою очередь, разработчики уже прорабатывают контрмеры на случай худшего развития событий: американские инженеры проектируют механизмы гарантированного автономного отключения («красную кнопку»), способные принудительно остановить взбунтовавшихся или давших сбой ИИ-агентов.
