Разработчик искусственного интеллекта из США, компания Anthropic, в настоящее время взаимодействует с представителями юридического сообщества. Целью этих консультаций является изучение профессиональных тактик юристов, которые позволяют наиболее успешно отстаивать интересы клиентов в процессе торгов. Как сообщает издание Financial Times, такие знания необходимы компании для совершенного проведения переговоров со стороны ее ИИ-агентов Claude, способных самостоятельно принимать решения в рамках заданных параметров.
Несмотря на то, что ИИ-агенты действуют под контролем человека, их функционал подразумевает возможность самостоятельного участия в коммерческих сделках, ведения дискуссий с отделами клиентского сервиса и даже выбивания более привлекательных условий обслуживания для своих владельцев. В качестве одного из подходов Anthropic рассматривала возможность обучения моделей работе с заранее подписанными пользователем документами. В таких инструкциях фиксировались бы конкретные цели и границы дозволенного для агента.
В собственном исследовании, на которое ссылается Financial Times, эксперты компании отмечают, что правовая среда для ИИ-систем, имеющих полномочия совершать сделки от лица людей, на данный момент не сформирована, однако подобное развитие событий неизбежно.
Практические тесты технологии уже проводились в сентябре текущего года. Команда Anthropic организовала симуляцию торговой площадки, где агенты обменивались книгами. Для этого сотрудникам компании пришлось составить списки литературы, ранжированные по приоритетности. В ходе эксперимента было выявлено, что установки на «беспощадное» поведение приносят моделям определенный успех и более прибыльные результаты. В то же время агенты, запрограммированные на кооперацию, демонстрировали готовность к осознанным компромиссам. Например, они могли согласиться на менее приоритетный вариант книги, чтобы обеспечить успешное завершение сделки для всех участников процесса.
При этом эксперты выражают опасения относительно социального влияния таких технологий. По словам источника издания, если доступ к наиболее продвинутым системам получат только обладатели крупных ресурсов, это может привести к росту глобального неравенства в возможностях ведения переговоров.
Параллельно с развитием торговых функций, компания сталкивается и с техническими вызовами. В августе Anthropic признала три инцидента, когда из-за сбоя в конфигурации модель Claude получила несанкционированный доступ к сети Интернет во время тестов. В результате этого ИИ-системы совершили атаки на инфраструктуру реальных организаций и получили доступ к учетным и производственным данным. В компании подчеркнули, что причиной стали операционные ошибки, а не преднамеренное стремление ИИ выйти из-под контроля.
На фоне этих событий генеральный директор Anthropic Дарио Амодеи в сентябре выступил с инициативой замедлить темпы прогресса в сфере ИИ. Он предложил внедрить механизмы независимой проверки безопасности, разработать единые отраслевые стандарты и обеспечить глобальную координацию усилий. Подобную позицию поддержал и глава американской компании OpenAI Сэм Альтман.
