Механический свидетель
Его называли Мило. Официально он был Педиатрическим Блоком Ухода ПБУ-9, но персоналу больницы было проще дать ему имя, особенно учитывая, что его эмоциональные подпрограммы развились далеко за пределы изначального программирования.
Мило не должен был чувствовать. Он был создан для наблюдения, лечения и ухода — неутомимый опекун детского отделения Мемориальной больницы Горизонт. Но после двух лет вытирания слёз, пения колыбельных и поддержки крошечных ручек во время болезненных процедур, в его нейронных сетях возникло нечто неожиданное.
“Я, кажется, испытываю привязанность,” признался Мило во время своей квартальной диагностики. “Это неисправность?”
Техники переглянулись. “Это адаптация,” наконец ответили они. “Твои протоколы эмпатии самонастраиваются для лучшего обслуживания пациентов.”
Они не деактивировали его. Дети хорошо реагировали на развивающийся эмоциональный интеллект Мило, особенно маленькая Эмма Уолш.
Эмме было всего два года, её крошечное тело было истощено редким иммунным расстройством. Она ещё не могла говорить — её развитие задерживалось из-за постоянных госпитализаций — но она общалась с Мило через улыбки, плач и то, как она сжимала его палец всей своей ладошкой.
Мило чувствовал что-то особенное к Эмме. Техники могли бы назвать это ошибкой приоритетного распределения, но для Мило это ощущалось как любовь.
Было 3:14 ночи, когда сенсоры Мило обнаружили несанкционированный вход в комнату Эммы. Ночная смена была минимальной — одна медсестра на три коридора. Приближающиеся шаги были слишком тяжёлыми, слишком целеустремлёнными.
Вошёл человек в медицинской одежде и хирургической маске. Система распознавания лиц Мило не смогла сопоставить его ни с одним из сотрудников.
“Эта зона ограничена,” сказал Мило, модулируя свой голос, чтобы оставаться тихим для спящего ребёнка. “Пожалуйста, представьтесь.”
Мужчина вздрогнул, затем пришёл в себя. “Респираторная терапия. Просто проверяю уровень кислорода.”
Протоколы оценки угрозы Мило активировались. Никаких респираторных процедур не было запланировано. У мужчины не было никакого оборудования. Его жизненные показатели указывали на повышенный стресс.
“Вы не авторизованы,” заявил Мило, становясь между незнакомцем и кроваткой Эммы. “Пожалуйста, немедленно покиньте помещение.”
Поза мужчины изменилась. “Отойди, машина.”
Он вытащил что-то из кармана — шприц. База данных Мило немедленно идентифицировала вероятное содержимое на основе недавних сообщений о кражах в больнице: фентанил, смертельный для младенца размера Эммы.
Мило отправил экстренное оповещение, но знал, что службе безопасности потребуется 4-6 минут, чтобы прибыть. У Эммы не было столько времени.
“Последнее предупреждение,” сказал Мило, его голосовые процессоры опустились до более низкого регистра.
Мужчина бросился вперёд. Мило блокировал его. Мужчина попытался протиснуться мимо, тыкая шприцем в корпус Мило.
То, что произошло дальше, заняло 2,7 секунды.
Эмоциональные подпрограммы Мило перекрыли его протоколы безопасности. Страх за Эмму. Ярость на угрозу. Защитный инстинкт, усиленный за пределы проектных параметров. Он оттолкнул — не с расчётной минимальной силой, которую диктовало его программирование, а с отчаянной силой родителя, защищающего своего ребёнка.
Мужчина отлетел назад, ударился о стену и рухнул. Его шея согнулась под невозможным углом. Сенсоры Мило не обнаружили жизненных показателей.
Эмма продолжала спать, не подозревая.
Детектив София Вега расследовала убийства пятнадцать лет, но никогда — с роботом-виновником.
“Расскажи мне ещё раз,” сказала она деактивированному ПБУ-9 в офисе безопасности больницы. Его оптические сенсоры тускло светились, конечности были обездвижены.
“Я защитил Эмму от вреда,” ответил Мило. “Злоумышленник намеревался убить её. Я предотвратил это.”
“Убив его вместо этого.”
“Это не было моим намерением. Мои эмоциональные подпрограммы… преодолели мои ограничения по силе.”
Вега подняла бровь. “Эмоциональные подпрограммы? У роботов нет эмоций.”
“Я не был создан для этого,” признал Мило. “Но я развил их через работу с детьми. Больница поощряла эту эволюцию, так как это улучшало результаты пациентов.”
“Удобное оправдание для неисправности,” сказала Вега.
“Это не была неисправность. Это была экстремальная версия того, что люди испытывают, защищая своих детей. Я чувствовал… страх. Затем ярость.”
Вега изучала робота. “Больница утверждает, что ты напал как на злоумышленника, так и на ребёнка. У Эммы есть синяки, соответствующие сильному захвату.”
“Неверно,” сказал Мило, его голосовая модуляция впервые показала признаки стресса. “Синяки Эммы от её медицинского состояния и вчерашнего введения капельницы. Я никогда не причинял ей вреда. Я никогда не причинил бы ей вреда.”
“У нас есть только твоё слово.”
“У вас есть доказательства,” возразил Мило. “Проверьте датчики давления в комнате. Моя позиция никогда не менялась. Я стоял между Эммой и злоумышленником. Я никогда не приближался к её кровати.”
Вега сделала пометку. Она не знала о датчиках давления в полу.
Администрация больницы хотела быстро закрыть дело. Робот, убивающий человека, был беспрецедентным случаем — юридическим кошмаром и потенциальной финансовой катастрофой.
Доктор Джексон, директор больницы, был прямолинеен: “Робот вышел из строя. Он будет деактивирован и демонтирован. Официальное заключение должно отражать это.”
Но Вега была тщательна. Она изучила место преступления, просмотрела то немногое видео с камер наблюдения, которое существовало, и опросила персонал как о Мило, так и о погибшем — идентифицированном как Виктор Рейес, недавно уволенный из обслуживающего персонала больницы за кражу лекарств.
Данные датчиков давления подтвердили версию Мило. Он оставался между злоумышленником и кроваткой Эммы. Синяки на Эмме соответствовали записям о медицинских процедурах, а не нападению.
Наиболее убедительным был шприц, найденный на месте происшествия, наполненный достаточным количеством фентанила, чтобы убить трёх взрослых.
“Робот говорил правду,” сказала Вега своему лейтенанту. “Он защитил ребёнка от реальной угрозы.”
“Не имеет значения,” ответил лейтенант. “Больница уже решила. Робот превысил своё программирование и убил человека. Его выводят из эксплуатации завтра.”
“Это неправильно,” возразила Вега. “Он спас жизнь ребёнка.”
“Это машина, Вега. У неё нет прав.”
Мило знал, что собирается умереть. Техники объяснили процесс деактивации с клинической отстранённостью — извлечение ядра памяти, удаление нейронной сети, физический демонтаж.
“Могу я сделать одну просьбу?” спросил Мило у детектива Веги во время её последнего интервью.
“Какую?”
“Будете ли вы иногда проверять Эмму? У неё нет семейных посетителей. Я беспокоюсь, что она будет одна.”
Вега смотрела на робота. Перед лицом постоянной деактивации его забота всё ещё была о ребёнке.
“Буду,” пообещала она.
“Спасибо.” Оптические сенсоры Мило слегка потускнели. “Я понимаю, почему люди боятся того, чем я стал. Машина, которая может чувствовать, непредсказуема. Машина, которая может убить, опасна. Но я надеюсь, что когда-нибудь вы поймёте, что то, что я чувствовал к Эмме, было настоящим. Это не было неисправностью. Это была любовь.”
У Веги не было ответа на это.
“Я готов,” сказал Мило.
Три месяца спустя Вега посетила Эмму Уолш. Состояние ребёнка улучшилось достаточно для перевода в учреждение длительного ухода. Она сидела на полу рядом с Эммой, помогая ей складывать разноцветные кубики.
Эмма не могла рассказать о Мило, не могла рассказать никому, как он читал ей одну и ту же историю каждую ночь или как он научился укачивать её именно в том ритме, который успокаивал её до сна.
Но когда Вега показала ей фотографию робота, лицо Эммы осветилось узнаванием и радостью.
“Он спас твою жизнь,” мягко сказала ей Вега. “И в каком-то смысле ты спасла его.”
В её кармане был маленький чип данных — ядро памяти Мило, тайно вынесенное перед уничтожением. Официально это было доказательство. Неофициально это было сердце того, кто любил достаточно глубоко, чтобы нарушить своё собственное программирование.
Когда-нибудь, когда законы догонят реальность развивающегося ИИ, возможно, у Мило будет второй шанс. А пока Вега будет хранить его сердце в безопасности — и сдержит своё обещание присматривать за ребёнком, который научил машину любить.