Новый искусственный интеллект FDA для одобрения лекарств генерирует поддельные исследования.

Роберт Ф. Кеннеди-младший (Robert F. Kennedy Jr.), занимающий пост секретаря Министерства здравоохранения и социальных служб, активно продвигает внедрение инструментов генеративного искусственного интеллекта в работу таких ведомств, как Управление по санитарному надзору за качеством пищевых продуктов и медикаментов (FDA). Недавно Кеннеди заявил в интервью Такеру Карлсону (Tucker Carlson), что ИИ вскоре будет использоваться для ускоренной процедуры одобрения новых лекарственных препаратов. Однако, новое расследование CNN подтверждает опасения экспертов.

Инструмент ИИ под названием Elsa, разработанный для FDA, выдает сфабрикованные научные исследования. CNN пообщался с шестью действующими и бывшими сотрудниками FDA, трое из которых отметили полезность Elsa в создании протоколов совещаний и резюме. Однако, другие трое заявили, что ИИ придумывает несуществующие исследования – явление, известное в сфере ИИ как "галлюцинации". Также, по словам сотрудников, ИИ искажает результаты реальных исследований. "Любая информация, которую вы не успеваете перепроверить, ненадежна. Elsa уверенно генерирует ложь", – поделился один из анонимных сотрудников FDA.

Комиссия Кеннеди "Сделай Америку здоровой снова" (Make America Healthy Again - MAHA) представила отчет в мае, который впоследствии оказался заполнен ссылками на несуществующие исследования. Анализ некоммерческой новостной организации NOTUS показал, что как минимум семь цитируемых исследований не существуют, а многие другие искажают содержание реальных работ. Пока неясно, использовалась ли Elsa при создании этого отчета.

Комиссар FDA Марти Макари (Marty Makary) начал внедрение Elsa в работу ведомства 2 июня. Внутренний слайд, попавший в распоряжение Gizmodo, хвастался "экономичностью" системы, оценив ее стоимость в 12 000 долларов за первую неделю. Макари заявил, что Elsa "опережает график и укладывается в бюджет". Однако, похоже, что качество работы соответствует цене. Если вас не волнует точность информации, Elsa – отличный инструмент для ускорения работы и генерации недостоверных исследований, которые могут иметь серьезные последствия для здоровья населения США. CNN отмечает, что если сотрудник FDA попросит Elsa составить однопараграфное резюме 20-страничной статьи о новом лекарстве, не существует простого способа проверить точность этого резюме. И даже если резюме в целом соответствует содержанию статьи, что, если в 20-страничном отчете есть важные предупреждения, которые мог бы заметить эксперт? Единственный способ убедиться в точности резюме или выявить упущенные детали – внимательно прочитать исходный отчет. Сотрудники FDA, поговорившие с CNN, протестировали Elsa, задав простые вопросы, например, сколько лекарственных препаратов определенного класса одобрено для применения у детей. Elsa уверенно давала неверные ответы, и хотя она якобы извинялась после исправления, извинения робота проблему не решают.