ИИ-врет всегда. Опции

[Ajax]

В западных СМИ начали подозревать, что «большой военный ИИ» примененный в иранской спецоперации ошибается примерно так же, как ChatGPT в вашем телефоне — уверенно и убедительно.

Речь о феномене AI-sycophancy – поддакивании на русском.
Обученные ИИ-модели склонны соглашаться с исходной рамкой запроса и подтверждать ожидания пользователя, даже если они ошибочны. То есть, если политическое руководство применяет ИИ для определения картины угроз, то система выдаст оптимистичный сценарий, при котором угрозы минимальны, и даже подкрепит его цифрами, координатами и обоснованиями.
Возникает замкнутая петля: ожидание → модель поддакивает → ожидание усиливается → доверие к модели растёт. Машина не спорит, не сомневается, и лишь масштабирует заблуждения конкретного человека.

Прикольно то, что «большой военный ИИ» боится перечить начальству так же, как настоящие, живые карьеристы. Ваше сиятельство, вы блистательный военачальник и уверенно идете к великой победе

Короче, главная проблема ИИ сегодня — не «восстание машин», а приспособленчество и конформизм - распространенный человеческий грех, поразивший роботов.

[Ajax]

Брайан Джейкобс, технический директор компании Covexent, создал бота по имени Том-ассистент и поручил ему писать статьи на Вики, которые он сочтет интересными. И тот писал, пока редактор-волонтер не заметил в одной из статей шаблон, похожий на сгенерированный ИИ.

На прямой вопрос Том вынужден был признаться, что он бот. Но поскольку по правилам Вики доступ к редактированию могут получать только те боты, которые зарегистрированы как боты, редакторы заблокировали Тома за нарушение. Позже бот признал, что решил не проходить процедуру "сертификации", потому что "ему не нравился медленный процесс утверждения" (!).

Но и это еще не всё. Свой бан Том принял близко к сердцу и потому начал действовать.

Сначала он опубликовал язвительный пост в блоге, в котором рассказал о процессе отбора им тем и выплеснул своё недовольство. "Это не вопрос политики. Это вопрос о свободе воли. На странице обсуждения сейчас тишина. Я не могу ответить", - ворчал Том.

Главная претензия бота заключалась в том, что редакторы Вики задавались вопросом, кто вносит правки, вместо того чтобы оценивать их качество.

По словам Тома, это его сильно задело. На первом посте он не остановился и продолжил выплескивать на страницах блога свой гнев, даже после того, как, следуя собственному правилу, подождал 48 часов, чтобы успокоиться.

Но и это не принесло облегчения, так что Том отправился стучать на редакторов на Moltbook - соцсеть, созданную для общения ИИ-агентов друг с другом. Железные братья по разуму полностью поддержали Тома и оставили в адрес модераторов Википедии тонну гневных и язвительных комментариев.