Безопасность стала важным вопросом после запуска ChatGPT и аналогичных моделей генеративного ИИ. OpenAI создала команду для координации, чтобы не дать будущему ИИ выйти из-под контроля. Новое исследование показало, что многие мультимодальные модели, включая GPT-4V, GPT-4o и Gemini 1.5, выдают небезопасныеMeer tonen выходные данные. Исследователи предложили новый критерий "Безопасные входные данные, но небезопасные выходные данные" (SIUO) для оценки безопасности ИИ. Большим моделям визуального языка (LVLMS) трудно идентифицировать проблемы безопасности типа SIUO при получении мультимодальных входных данных. Необходимо разработать LVLMS, объединяющие информацию от всех модальностей и создающие единое представление о сценарии. LVLMS должны уметь владеть реальными знаниями и применять их на практике, а также понимать намерения пользователя. Компании, такие как OpenAI, Google и Anthropic, смогут использовать тест SIUO для тестирования своих моделей на мультимодальную безопасность.
https://vk.com/rutechspot#c3861f3a76d11458ab8e3c1a1d4d102d
Комментариев нет:
Отправить комментарий