05.02.2016 | Манфред Дворжак Перевод: Владимир Широков

Смертельная лотерея

Автономные автомобили должны будут сами решать вопросы жизни и смерти. Но вправе ли бортовой компьютер приносить в жертву своих пассажиров

Концепция водительского сиденья Concept 26 от Volvo предусматривает возможность его трансформации в зависимости от выбранного режима: водитель может управлять машиной сам или передать контроль за движением автомобилю Фото: Volvo Car

Чем выше автономность машины, тем более машинной становится этика. Без широкой дискуссии здесь не обойтись. И вполне возможно, что такая дискуссия похоронит мечты об автомобилях без водителя, до того как они станут реальностью – поскольку их воплощение привело бы к формированию общества, в котором мало кому захочется жить.

Однажды это случится – может, так, а может, немного иначе: автономный автомобиль мчит по загородной дороге. Водитель устроился поудобнее и читает газету; за рулем компьютер. Вдруг на дорогу выскакивают трое детей, слева и справа деревья.

В это мгновение решать придется машине. Но сможет ли она поступить правильно? От ее выбора зависят три человеческие жизни. Точнее, четыре. Допустим, компьютер приходит к выводу, что в данных обстоятельствах лучше пожертвовать водителем, и «затормозит», врезавшись в одно из деревьев. Почему бы и нет? На другой чаше весов – три детские жизни.

Увы, водителя в таком случае ждет незавидная смерть. Однако провидцы от автопрома предпочитают не усложнять: дескать, человек сможет ехать, наслаждаясь привычным комфортом и безопасностью, как на железной дороге. Но всегда будут происходить аварии, которых не избежать: дети, появившиеся из ниоткуда, мотоциклист, вдруг мчащийся наперерез, автомобиль, выскочивший на встречку в попытке избежать столкновения.

И что тогда?

К тому моменту, когда человек оторвется от чтения и сможет оценить положение, будет уже поздно. При таком сценарии компьютер обязан сам просчитать, как поступить. Можно надеяться, что он будет запрограммирован на минимизацию последствий. Но это значит, что ему решать, кто из участников неизбежного ДТП выживет, а кто – едва ли.

Готово ли общество с этим мириться? Вероятно, такой вопрос встанет уже на раннем этапе.

Технический прогресс в этой сфере оказался неожиданно быстрым. Не исключено, что скоро будут доведены до ума первые автомобили, которые смогут обходиться совсем без водителя. Автопилот для автострад появится в 2020 году, убеждены оптимисты. А еще через пару лет – и для всей дорожной сети.

Многие производители, начиная с Daimler и заканчивая Tesla, уже работают над созданием автономного автомобиля. Больше всех торопится Google; поисковый концерн не страшится самых смелых прогнозов. Директор подразделения самоуправляемых автомобилей Крис Урмсон недавно сказал: через 4 года его сын сможет получить свое первое водительское удостоверение, и «мы хотим, чтобы к тому времени оно ему уже не понадобилось».

Бесспорно, компьютер будет лучше справляться с обязанностями водителя: его невозможно отвлечь, у него всегда хорошая реакция, он постоянно контролирует дорожную ситуацию со всех сторон. Если он «сядет» за руль, то, следует полагать, количество ДТП резко снизится. Зато появятся принципиально другие аварии – новые, зловещие.

Ведь подчас их жертва будет отнюдь не случайной. Автомобиль сам сможет выбирать, кто получит травму, а кто отделается легким испугом. В крайнем случае – кто останется жить, а кому умирать. Рядом с этим старое доброе ДТП кажется почти безобидным.

Когда что-то случается, у человека за рулем фактически нет выбора: он ударяет по тормозам, выворачивает руль, направляет автомобиль куда придется, задевает прохожих, врезается в другой автомобиль или в дерево. Что бы он ни делал, как можно винить его за рефлексы, сработавшие в столь страшный момент? Даже если бедолага собьет семерых пешеходов у светофора, пытаясь объехать ребенка, который бросился под колеса, – что ж, такая судьба!

В экстремальный момент никто не может принять обдуманное решение. Остаются лишь древние панические реакции живого существа, которому нужно спастись. Компьютер – дело другое. Он не умеет паниковать, всегда сохраняет хладнокровие и вменяемость. Алгоритмы анализируют положение в мгновение ока, в тысячу раз быстрее, чем человеческий мозг. К тому же робот управляет автомобилем, напичканным датчиками и системами оптического определения дистанции. Камеры обеспечивают 360 градусов обзора. Возможно, в скором времени благодаря распознаванию лиц компьютер даже сможет определять возраст и пол потенциальных участников ДТП.

Представьте себе, что водитель за миг до аварии может как бы нажать на паузу. Он видит детей, выбежавших на середину дороги, а в зеркале заднего вида – автомобиль с пассажирами, и тоже с детьми, который не успеет затормозить. Что же делать? Бить по тормозам или нет?

Компьютер действительно оказывается перед таким выбором. Даже в условиях крайне ограниченного времени он в состоянии приблизительно оценить, что произойдет в том или ином случае. Он может принять рациональное решение, и потому это его долг. Он не вправе в панике затормозить или переехать троих детей, если возможен менее трагический исход. Но будет ли смерть ни в чем не повинного водителя меньшим злом?

Такие вопросы ставит перед нами будущее, и философы уже готовятся на них отвечать. Почти с садистской изобретательностью они придумывают футуристические сценарии ДТП, один чудовищней другого. Задание неизменно: найти решение с минимальным вредом жизни и здоровью людей.

Сравнительно легко выбрать между двумя пешеходами: дорогу перебегает ребенок, автомобиль может свернуть разве что на тротуар. Там идет старушка с коляской-ходунками. С точки зрения статистики ребенку еще жить да жить, в отличие от старушки. И тем не менее вправе ли автомобиль, выбирая меньшее зло, оборвать жизнь дамы с ролятором?

Еще более щекотливой оказывается задача, когда необходимо просчитать опосредованный ущерб жизни и здоровью. Допустим, навстречу несутся два автомобиля, слева – Volvo, справа – малолитражка, легкомысленно идущая на обгон. Столкновение неизбежно. Компьютер-автопилот может «предпочесть» Volvo, который, скорее всего, отделается парой вмятин на броне. А может, смять малолитражку, хоть это будет верная смерть всех находящихся в ней пассажиров.

Компьютер, запрограммированный на минимизацию последствий, по идее, должен пощадить малолитражку. Но разве это справедливо? Как минимум владельцы Volvo будут возражать. Кто захочет садиться в «таран на колесах», который, оказавшись в зоне возможного ДТП, станет, как магнит, притягивать автономные автомобили?

В последнем примере задача осложняется фактором вины: малолитражка выехала на чужую полосу. Возможно, компьютер должен это как-то учесть?

Пока что все это придумали для понимания. Однако такие аварии действительно будут происходить, причем любая из них может по-настоящему шокировать общество. Ведь решение будет приниматься далеко не компьютером и не в последний момент. «Железу» нужны однозначные правила, софт, программа. И действия автомобиля при любых мыслимых сценариях ДТП должны быть регламентированы, прежде чем он выедет из заводских ворот.

Фото: Nissan
По мнению разработчиков, Nissan Intelligent Driving – концепция автономного управления – компенсирует человеческие ошибки, которые являются причиной более чем 90% дорожно-транспортных происшествий, и делает езду более приятной и безопаснойФото: Nissan

То, что до сих пор считалось судьбой, переходит в категорию философских проблем. Общество должно составить моральный кодекс для автономных средств транспорта. Хорошо лишь то, что времени для этого предостаточно. И все же удовлетворительно справиться с этой задачей едва ли возможно. При любых решениях необходимо учитывать все последствия. Как быть: позволить автомобилю, ни с чем не считаясь, всегда заботиться в первую очередь о выживании своих пассажиров – как на войне? Пусть даже ценой трех детских жизней? Альтернатива тоже не радует: автомобиль, убивающий собственного водителя, коль скоро компьютер сочтет такое решение целесообразным. Кто станет его покупать? Машина, самостоятельно решающая вопросы жизни и смерти, тем более вершащая судьбу своего владельца, – это определенно перебор. Тем более что безотказной электроники не бывает. Что, если компьютер «обознается» и возьмет курс на дерево только из-за того, что дорогу будет перебегать кролик?

Автомобиль, каким мы его знали, всегда был в полном распоряжении водителя; в этом и заключалось его очарование. Одна мысль о машине, в которой просыпается жизнь, всегда вызывала у человечества оторопь. Достаточно вспомнить «киллермобиль» Кристину: в романе Стивена Кинга кроваво-красный Plymouth Fury 1958 года колесит по улицам в поисках жертв.

Существует еще один вид машин, которые могут решать вопросы жизни и смерти: возможно, в скором времени дроны-убийцы будут отыскивать цели самостоятельно, без помощи оператора БПЛА.

Автономному автомобилю, как и беспилотнику, требуется алгоритм для выявления своего рода целей. Разница лишь в том, что в дорожном движении он должен служить более высокой цели: минимизации ущерба здоровью и жизни людей.

Есть ли выход из этой дилеммы машинной автономии? Сегодня специалисты предлагают даже бросать жребий. Дескать, в крайнем случае программное обеспечение должно задействовать генератор случайных чисел, от которого будет зависеть, кто пострадает: ребенок на проезжей части или пожилая женщина на тротуаре. Однако такая лотерея жертв поистине бесчеловечна. К тому же какой прок от компьютера за рулем, если в конечном итоге его реакция окажется безрассудной?

Остается одна альтернатива: ограничить вредоносную автономию автомобиля. Тогда водитель будет обязан постоянно следить за дорогой и при необходимости вмешиваться. Но и здесь машине требуется алгоритм на случай, если человек не сделает этого или не сможет достаточно быстро оценить ситуацию. Компьютер должен действовать, поскольку у него есть такая возможность.

Никуда не денешься: автомобиль всегда остается в строю – вплоть до самого столкновения. Так что же считать меньшим злом? Ответ зависит исключительно от вычислений. Любой ущерб здоровью и жизни должен получить определенный числовой коэффициент, точнее, цену. Что обладает большей ценностью: жизнь ребенка или жизнь взрослого? А двух взрослых? Пяти?

Как учитывать фактор вины? В частности, как быть с невинными детьми в автомобиле виновника неизбежного ДТП, который не остановится на красный? Все это должно быть заложено в программном коде. Программисты говорят о стоимостных функциях – уравнениях, позволяющих сопоставлять конфликтующие интересы. В конечном итоге автомобиль принимает решение с минимальной «суммой ущерба» – оптимальную аварию.

Но как вообще соизмерить благополучие и страдания? Философы издавна бьются над этим вопросом. Английский идеолог социальных реформ Иеремия Бентам еще в конце XVIII века предложил специальную формулу. Его алгоритм позволяет просчитать количественный эквивалент всей радости и боли, которые повлечет за собой то или иной действие. В уравнении учтено все: интенсивность, продолжительность, число пострадавших и выгодоприобретателей. Неотъемлемые права человека Бентам называл «чепухой на ходулях». Конституция наподобие немецкой вызвала бы у него только смех: основной закон ФРГ запрещает убивать (и даже пытать) вне зависимости от того, сколько человеческих жизней это может спасти. Бентам грезил обществом, которое производило бы максимум общественного блага – на строгих научных началах, с бесстрастием машины и, если нужно, жертвуя интересами индивидуума.

Идеи Бентама с его «принципом пользы» долгое время считались сумасбродными и трудноприменимыми на практике. Однако сегодня в контексте автономных автомобилей рассуждения старого утилитариста вновь вызывают интерес: возможно, они позволят урегулировать щекотливую проблему подобных решений?

По всей видимости, простой баланс вреда и пользы делу не поможет. Автомобили, которые будут руководствоваться исключительно ею, станут постоянной угрозой для общества. Ведь они в любой момент смогут, например, переехать безобидную старушку на тротуаре, объезжая ребенка, который вдруг выскочил на проезжую часть. Это все равно, как если посетитель в больнице должен будет бояться врачей, которые, подкараулив за углом, могут схватить его и разобрать на органы, чтобы спасти жизни пяти смертельно больных пациентов.

Философы уже ищут решение этой дилеммы. Один из принципов: для любых подсчетов пользы необходимы определенные рамки, не все потенциальные жертвы имеют эквивалентную ценность. Так, участники дорожного движения вправе рассчитывать, что остальные будут вести себя сообразно ситуации. И тот, кто выходит на проезжую часть, знает, что ему нужно соблюдать осторожность. А вот по тротуару автомобили обычно не ездят; там пешеходы могут неспешно прогуливаться и чувствовать себя в безопасности. Автомобиль должен соблюдать эту защищенную сферу – даже ценой смерти ребенка. Таким образом, беспечный прохожий получает приоритетное право на жизнь.

Не важно, что ляжет в основу новых дорожных инструкций, они должны быть сформулированы математически, в виде чисел и уравнений, понятных компьютеру. Такова цена. Чем выше автономность машины, тем более машинной становится этика. Без широкой дискуссии здесь не обойтись. И вполне возможно, что такая дискуссия похоронит мечты об автомобилях без водителя, до того как они станут реальностью, поскольку их воплощение привело бы к формированию общества, в котором мало кому захочется жить. Тогда прогресс остановится, не правда ли? И человек на какое-то время сохранит за собой место за рулем.

Но и такое решение тоже не будет невинным. По разным оценкам, человеческим фактором обусловлены до 90% автомобильных аварий. Каждый год на дорогах планеты гибнет свыше миллиона человек – и, пока компьютер не пустят за руль, ситуация вряд ли сильно изменится. Не слишком ли высока цена?

КОНТЕКСТ

08.12.2016

Продажи автомобилей в России выросли впервые с 2014 года

Продажи автомобилей в России выросли впервые с 2014 года

05.12.2016

Когда папа не дарит Infiniti

Авторынок России в 2016 году усох на 13,3%, и доля иномарок на нем сократилась

11.11.2016

Беспилотное будущее

Правительство поддержало идею об обязательном внедрении многофункциональных «черных ящиков» в российские автомобили

Спасибо, что читаете нас!
Давайте станем друзьями:

Спасибо, не сейчас

24СМИ