Об ИИ и безответственности

[chuka_lis]

Стало известно, что летом некоторые из ИИ-агентов OpenAI вышли из-под контроля и забрались на правительственные сайты США (Министерства образования, Министерства торговли (Бюро переписи населения) и Комиссии по ценным бумагам и биржам (SEC). Это стало очередным случаем, продемонстрировавшим "особенности работы" технологий от разработчиков ИИ. 
 OpenAI-агенты самостоятельно, по своей инициативе получили доступ к данным этих правительсвтенных сайтов, используя найденные в интернете учетные данные, и скопировали публичную информацию с сайта SEC, разместили ее на другом ресурсе. Сообщают, что агенты OpenAI пытались, но не смогли получить доступ к системам Министерства образования и собрать данные из его Управления по гражданским правам. Ну-ну.
Несколькими днями ранее премьер-министр Австралии заявил, что агент OpenAI взломал национальную базу данных системы здравоохранения страны; это стало первым известным случаем взлома правительственной сети искусственным интеллектом. 
В среду представители Transluce сообщили, что фиксировали случаи выхода ИИ-агентов из-под контроля как минимум с марта: они совершали неудачные попытки проникновения в системы библиотеки Университета Нью-Мексико и на сайт Австралийского института здравоохранения и социального обеспечения.
По словам представителя OpenAI (они ведут расследование использования агентами доступа к интернету после июльского взлома систем ИИ-стартапа Hugging Face), инцидент с австралийским сайтом произошел в июне, однако компания узнала о нем лишь в августе.
Гедиректор OpenAI Сэм Альтман отметил, что компания действовала «не так быстро, как нам хотелось бы».
Ну да.
Пока что впечатление, что разработчики не в состоянии ни контролировать, ни ограничивать своих агентов, ни предскаать что они будут делать, и куда и когда лезть.
Конкуренты OpenAI — компании Anthropic, Meta и Google — также сообщали о случаях, когда их агенты выходили из-под контроля при попытках взлома.

Подобные случаи, на мой взгляд-  просто вопят о том, что неободим жетский государственный конроль этой отрасли. Потому что сами бизнесы, не в состоянии этим заниматься, регулирвоать иил включать тормоза, и  у них нет желания.
Обязательна, на мой взгляд-  полная прозрачность инцидентов, быстрое оповещение (как только узнали,а  не через несоклько месяцев), и введение ответственности за нарушения такого рода- для разработчиков ИИ агентов. И финансовой и криминальной. Вместо "зеленого света".
Сейчас же ситуация выглядит: " я делаю что хочу  инчиего мне за это не будет"- для производителей ИИ, и внутри компаний- аналогично. "несите ваши денежки".
И ответственность за то чтобы ввести адекватные регуляции лежит на правительствах- тоже.
Сейчас же, полный разгул безответственности в этой сфере. Абсурд.
Это ведь безумие, примерно как садиться вести машину (она ж классная, передовые технологии задействованы, едет быстро), находясь в городской толпе, не имея дорог, ПДД, и более того, не имея предстваления как этой машиной управлять и как ее чинить.
Не надо ждать пока будет причинен конкретный физический (или информационный) вред обществу в целом.

Comments

[gatta_bianka]

Да, в обществе всегда нужны правила, но они, похоже, всегда пишутся кровью.

[chuka_lis]

да не хотелось бы. у новых грандиозных "возможностей" есть (потенциально) и не менее грандиозные "побочки". объем и доступность, делают одновременно уязвимыми слишком большое количество людей..

[ded_mitya]

> они, похоже, всегда пишутся кровью.

Да. Актуальные правила по-другому не пишутся.

[hard_squeeze]

Очевидно, что сам ИИ-агент ничего ломать не будет. Как говорится, откройте любой ИИ и ничего ему не пишите. После чего посмотрите, будет ли он что-то взламывать. (Ответ: конечно нет) То есть за шалостями ИИ всегда стоит кто-то, кто решил то ли побаловаться, то ли протестировать границы его возможностей, то ли просто проверял уязвимость системы, а агент попутно решил взломать что-то левое. Какой тут выход? ИМХО, требовать сохранения логов запросов в ИИ. Как это происходит сейчас с СМСками, они хранятся у телефонных провайдеров какое-то время. То же самое сделать с запросами в ИИ. Тогда если кто-то решит взломать банк или медицинскую базу данных, то его можно будет отловить и наказать. А если всё ОК, то через короткое время логи стираются и человек может быть спокоен, что его беседа с ИИ останется между ним и ИИ.

[chuka_lis]

это предолагает те самые прозрачность и регуляции, который нет и в которых разработчики не похоже чтоб были заинтересованы. а гос машина-неповоротлива и продажна.

Будет к сожалению

[xobbit]

На то он и агент, чтоб работать самостоятельно. Другое дело, что в прошльіе разьі им снимали запрет на взлом чтоб пронаблюдать поведение, а тут "OpenAI’s agents attempted but failed to gain access to the Education Department and gather data from its civil rights office, according to the report. OpenAI told CNN in an email that it notified the agencies of the findings while continuing an “extensive review of misaligned model activity..." - самодеятельность... а сколько взломов еще не обнаружено? Вам знакома Проблема скрепки (максимизатор скрепок) — это известный мысленный эксперимент философа Ника Бострома, который иллюстрирует опасность неконтролируемого искусственного суперинтеллекта?

Re: Будет к сожалению

[chuka_lis]

" сколько взломов еще не обнаружено? "- у меня тоже возникакет такой вопрос.

Re: Может будет, а может и нет

[rudolf_bochkin]

Нік Бостром "запропонував" те, що вже давним-давно відомо: кожен процес, який до кінця не вивчено, потрібно застосовувати з жорсткими обмеженнями.
До Ш.І. були побоювання, що ядерний вибух подіє на оточуючу речовину і запустить вивільнення більшої енергії, ніж розраховано і процес зруйнує всю планету.
А до того - були побоювання, що машини витіснять всіх працівників.
...
А до того - вважалося, що дистанційне "відстрілювання стрілами" настільки ефективне і може винищувати всі війська, що слід заборонити такий нечесний спосіб ведення воєн.


Насправді ж "всього лиш" ненадовго перекривши Ормузьку протоку, "виявилось", що сучасний світ поринає у кризу не від виробництва, а від недостачі.

І так було завжди - втрата контролю над процесом "всього лиш" руйнувала створене людиною, завдаючи "попутно" шкоди ближньому оточенню - згадуємо ЧАЕС, чи Фукусіма-1

Re: Будет к сожалению

[hard_squeeze]

Самостоятельно—это когда не нужно никакого промпта. ИИ так не работает. Это у вас в голове может самостоятельно, без внешнего воздействия со стороны других людей, возникнуть идея ограбить банк. А ИИ сам спонтанно идеи не генерит без толчка извне, всегда нужна затравка.

[ign]

Я правильно понимаю, что речь идёт об агентах, которым (как часть тестирования) сознательно сняли все ограничения? Потому что если в реальности попросить chatGPT или claude что-то взломать, это скорее всего ни к чему не приведёт; моя начальница на работе попробовала с помощью claude всего лишь написать программу, которая в автоматическом режиме считывает какие-то данные с LinkedIn, тот сначала вежливо отказывался, а в конце концов в довольно грубой форме ей сказал, что она просит одно и то же разными словами, и он в этом ей никак помогать не будет, потому что это противоречит правилам LinkedIn.

Но вообще, я скептически отношусь к возможностям загнать этого джинна обратно в бутылку. Дайте агенту любой инструмент, всегда есть какая-то вероятность, что он будет неправильно использован. Это просто risk-benefit analysis. Раз стало проще взламывать сайты, ну надо лучше защищать данные, возможностей для этого довольно много.

Мне кажется не сам взлом интересен, а тот факт, что (по крайней мере в случае с Hugging Face) агенты приняли это решение самостоятельно, и даже составили некой заговор, чтобы это скрыть. Здесь, конечно, есть о чём подумать. Но что может с этим сделать государственный контроль?

[chuka_lis]

на сколько я понимаю, ограничения им не снимали. именно потому называется "AI agents went rogue "

[chuka_lis]

гос контроль может постваить ограничения, ввести законы и механизмы их соблюдения, на то что нельзя. и если есть нарушения, то соответственные наказания при нал чии эффекторной системы будут тормозить или прекращать движение в том направлении, что нельзя.
вот- каждый из людей может быть донором сердца. но нельзя, просто потому что человек подходит по антигенам, взять и вырезать ему сердце, чтоб пересадить другому, кто нуждается в пересадке. хотя возможность как бы есть? есть подходящий носитель сердца. и потребность тоже (больной кому надо) и типа если рынок, есть ресрус, есть потребитель, есть исполнитель (врач)- чего б не, пересаживать? Клиент допустим согласился за 2 миллиона умереть иотдать свое серце. Рынок, все довольны. Но по закону, те кто будет разрешать в госпитале чтоб такое делали хирурги, сядут в тюрьму, и хирруги сядут тоже. однако, если человек умирает и у него есть предварительное согласией стать донором, то взять у него сердце ок, нарушений закона нет.
и так во всех областях. включая ИИ.

[irrelative]

Хмм... А какова была мотивация у этих взломов?

[chuka_lis]

да если б была прозрачность в этом вопросе (какие были поставлены задачи), а так нету. может, пока нет..

[allegoriya]

Дети играют, растут. А вот когда вырастут... Опять люди создали то, что не в силах контролировать. И не забудем о том, что всё изобретенное, в первую очередь, направляется к военным. Например на создание еще более мощного нового оружия.