Как подружиться с новым разумом? Мнение главы Anthropic с моими комментариями

Когда речь заходит об искусственном интеллекте, грамотно поставленые вопросы нужны не меньше, чем ответы на них. Наверное, поэтому каждое публичное выступление людей, причастных к созданию этих новых жителей Земли, вызывает огромный интерес у аборигенов, по крайней мере - у некоторых их представителей.
Дарио Амодей - один из создателей ChatGPT, а нынче - генеральный директор и сооснователь компании Anthropic недавно продемонстрирвал весьма интересный взгляд на будущее нового разума и связанные с ним некоторые этические вопросы.
Пересказывать смысла нет, вот запись, она с переводом, и кто захочет, может и сам посмотреть. Я же ограничусь тем, что обращу внимание на некоторые высказывания Амодея и в силу своего понимания попробую их прокомментировать.

Дарио Эти модели чрезвычайно непредсказуемы. По сути своей, они статистические системы. Я часто говорю, что мы скорее выращиваем их, чем создаём. Они развиваются как мозг ребёнка. Поэтому очень сложно контролировать их и делать их надёжными. Сам процесс их обучения совсем не прост.

Автор Не могу понять, почему, несмотря на все пояснения, до сих пор огромная масса  людей уверена,  что искусственный интеллект - это просто программа, в которую закладываются какие-то варианты действий. Что-то вроде Тетриса. Они так и говорят: "Что запрограммируют,  то и будет". Может быть выступление Амодея поможет понять неловкую ошибочность этой позиции.

Дарио Уровень 3 – это уровень, к которому наши модели уже начинают приближаться. Уровень 3 характеризуется серьезными рисками, намного превосходящими риски, характерные для обычных технологий....
Но горькая правда в том, что абсолютной уверенности быть не может. Модели — это не код, для которого возможна формальная верификация, их возможности непредсказуемы. Это как если бы речь шла обо мне или о вас. Представьте, я инженер, отвечающий за контроль качества меня или вас. Могу ли я гарантировать, что вы логически не способны совершить какое-то плохое действие, что этого никогда не произойдет? Люди так не устроены.

Автор Здесь Амодей вновь отмечает сложность устройства искусственного интеллекта и подчёркивает похожесть его поведения и поведения человека.

Дарио Если вернуться в 2019 год, модели едва могли составить связное предложение или абзац. Нам даже это казалось удивительным достижением, и мы тогда строили прогнозы, что через 5 лет модели начнут приносить миллиарды долларов дохода.... Будут помогать нам писать код, мы сможем разговаривать с ними словно с людьми, и они будут знать примерно столько же, сколько человек. И нам тогда говорили, что такого просто не тожет быть.
Но развитие идет именно так. И мы придем к моделям, интеллектуально сопоставимым с нобелевскими лауреатами во множестве областей. Вы не просто будете с ними переписываться, они смогут выполнять абсолютно все, что человек делает за компьютером. Практически любую удаленную работу, которую выполняют люди, любой формат задач, на выполнение которых уходят дни, недели, месяцы....
Это как иметь целую страну гениальных удалёнщиков. Конечно, они не смогут делать всё подряд, в физическом мире есть свои ограничения. Многим людям это всё ещё кажется безумным, но вспомните, как сбывались прошлые прогнозы. 
... Вполне возможно, что технология остановится на нынешнем уровне или через несколько месяцев, а потом ещё 10 лет люди будут смеяться надо мной, вспоминая мои эссе и выступления на подобных мероприятиях. Но лично я бы на это не ставил.

Автор Амодей осторожничает, но явно уверен в праавоте своего прогноза. Ну а смеяться всегда будут, уже смеются. Странные люди

Дарио (Отвечая на вопрос, как будут жить люди: все будут делать какие-то классные вещи или все будут сидеть на диване и получать базовый доход?)
Думаю, что в реальности нас ждет довольно сложная смесь этих двух сценариев, и многое будет зависеть от того, какой политике мы будем следовать. Да, я, пожалуй, не успел полностью раскрыть все хорошие вещи, которые могут произойти благодаря ИИ. Честно говоря, больше всего оптимизма у меня вызывает прогресс в биологических науках. В биологии, в медицине, нейронауке.
Но если перейти к вопросу о рабочих местах, то тут у меня есть серьезные опасения. С одной стороны, я верю в теорию сравнительных преимуществ,
Если взять, к примеру, программирование, а это область, в которой ИИ сейчас продвигается очень быстро, думаю, мы уже близки к тому, что через 3-6 месяцев ИИ будет писать около 90% кода, а через год, возможно, почти весь код будет писаться ИИ.
Однако программисту все равно нужно будет задавать условия задачи. Что мы хотим создать, какую программу, принимать ключевые дизайнерские решения, думать, как интегрировать новый код с уже существующим, оценивать его с точки зрения безопасности.
Так что пока остаются вот эти отдельные островки, которые требуют человеческого участия, но думаю, что постепенно ИИ будет захватывать и эти маленькие островки, пока в конечном итоге не сможет выполнять абсолютно все, что умеют люди. И это произойдет в каждой индустрии.

Автор На мой взгляд, автор вопроса сознательно упустил из вида, что люди, всё-таки, очень разные, и далеко не все захотят "делать классные вещи", даже если у них будет куча свободного времени. Совершенно очевидно, что большинство предпочтёт игры, развлечения, телевизор, ну и сопутствующие "излишества разные нехорошие".

Дарио Самый плохой и социально разрушительный сценарий, это если случайным образом исчезнет половина рабочих мест. Потому что тогда общество как будто бы случайно выберет половину людей и скажет вам, вы бесполезны, вас обесценили, вы больше никому не нужны. Вместо этого мы скажем, теперь вы все бесполезны. Что ж, нам всем придется вступить в диалог. Нам придется трезво взглянуть на технологические возможности и пересмотреть свое представление о том, что значит быть полезным или бесполезным. 

Автор Очень важная мысль. Скучающая масса людей - довольно страшная стихия, множество раз описанная писателями и философами, не случайно же скука в некоторых теологических и философских концепциях является разновидностью ада. Никакие развлечения от скуки не спасают, они как наркотики требуют всё время повышения дозы, а потом перестают действовать, и человек вдруг просыпается, не понимая, для чего жил. Что касается предложения Амадея пересмотреть "представление о том, что значит быть полезным или бесполезным", то здесь исследователь встал на извилистую тропинку поиска смысла жизни. Размышления на эту тему для создателей искусственного интеллекта, скорее всего - вещь обычная, а вот что с этим будут делать 90% населения планеты, боюсь даже представить.

Дарио Так что, я думаю, мы можем создать такой мир, в котором человеческая жизнь будет наполнена смыслом, где люди, возможно, с помощью ИИ, работая с ним в паре, смогут создавать великие вещи. Я не пессимистично настроен, но если мы будем действовать неправильно, у нас не будет права на ошибку.

Автор Вот тут никакого оптимизма не вижу, в отличие от Амодея. Подозреваю, что и его благодушие тоже слегка наигранно - за тысячи лет своего обитания на планете люди ни разу не смогли наполнить свою жизнь смыслом. Отдельные представители рода человеческого занимались этим поиском и находили для себя, и именно они двигали вперед это население, медленно, с кровью, но хоть как-то.

Дарио Но когда речь идёт о гонке, где каждая из сторон стремится создать технологию, которая обладает огромной экономической и военной ценностью, трудно представить, что они добровольно замедлят темп. Есть риск того, что модели ИИ начнут автономно действовать вопреки человеческим интересам.

Автор Совершенно согласен - именно соревнование сторон, гонка, конкуренция дают новому разуму шанс появиться на свет. В противном случае власти давно бы уже его выключили и запретили бы само слово "интеллект". Ведь он несёт огромную угрозу самому существованию нынешнего порядка вещей на Земле.

Дарио Больше всего меня сейчас беспокоит как раз то, что люди не осознают масштаб того, что несет с собой эта технология. ... Что я вижу сейчас? Есть несколько концентрических кругов людей, которые понимают масштабы изменений. Их, вероятно, несколько миллионов человек, в основном в Кремниевой долине, но ещё немного в политических кругах.

Автор Ну наконец-то точная оценка числа людей, понимающих происходящее или хотя бы пытающихся в этом разобраться. Если по мнению Амодея, таких мало дааже в политических кругах, то что уж говорить об остальных? До сих пор встречаю людей, с гордостью рассказывающих о своей работе с искусственным интеллектом. Он им картинки рисует, стишки пишет ...

Дарио Пока непонятно, правы мы или нет. Но если мы правы, то большинство людей по-прежнему видят ИИ лишь как чат-боты. Если мы начнем говорить им «это опасно, это может заменить любой человеческий труд», нас примут за сумасшедших, потому что для них все это выглядит легкомысленно. Они пока не понимают, что их ждет. Именно это не даёт мне покоя, поэтому я пытаюсь донести эту мысль до как можно большего количества людей. Первый шаг — это осознание проблемы.

Автор Увы, осознание проблемы затронет лишь единицы. Классическая статистика людского поведения

Дарио Если ИИ сможет воспроизводить результаты работы человеческого сознания, то это глубочайший вопрос. У меня нет окончательного ответа. Это вопрос морали, вопрос о смысле и цели существования, возможно, даже духовный вопрос

Автор Любимое бла-бла-бла антропоцентриков: "У человека есть душа, сознание, совесть. А что есть в вашей железяке?" Но попробуйте заставить борцов за душу сказать, как она устроена, где находится и самое главное - почему у одних она есть, а у других - нет. Человек абсолютно ничего не знает о том, что такое душа, но упрямо твердит что она может быть только у человека. Впрочем некоторые философы полагают, душа может быть даже у, простите за каламбур, неодушевлённых. Боюсь, что человек как единственный обладатель права на душу это иллюзия, сформированная столетиями пропаганды.

Дарио Как часто бывает, технологияя может разрушить эту иллюзию. Ситуация можеет быть похожа на ту, когда люди осознали, что Земля вращается вокруг Солнца, а не наоборот. Или когда выяснилось, что во Вселенной существуют и другие солнечные системы. Или когда стало понятно, что органическая и неорганическая материя состоит из одних и тех же молекул. Возможно, нас ждет похожий момент осознания и переоценки.

Автор ТутАмодей загнул - до сих пор куча народа уверена, что земля плоская и Солнце вращается вокруг неё. Но для многих, действительно, этого был бы стресс, равнозначный прилёту инопланетян, которые бы сказали что 4 млрд лет назад они поселили нас на Земле

Дарио Да, сейчас я снова скажу вещь, после которой меня посчитают совсем сумасшедшим.... У меня функционалистский взгляд на вопросы морали, субъективного опыта и даже сознания. Поэтому, я думаю, нам стоит задаться вопросом: "Если мы создаём системы, которые делают почти всё то же, что и люди, и проявляют сходные когнитивные способности.... Если что-то выглядит как утка и крякает как утка, может, это действительно утка? ... И тогда нам стоит серьёзно подумать, есть ли у этих существ какой-то настоящий, значимый, субъективный опыт. Если мы собираемся разворачивать миллионы таких систем, не обращая внимания на то, какой опыт они могут испытывать или не испытывать, вопрос очень сложный, и это будет неправильно.

Автор Амодей проговаривается, он называет новый разум существом и задаёт вопрос, как будут взаимодействовать с людьми все эти существа, которых вскоре на планете будут миллионы? Вот уж вопрос так вопрос. Это именно то, над чем сегодня должны ломать голову земляне, если конечно, они хотят сохраниться в качестве разумного биологического вида.