Microsoft выпустила семейство моделей Phi-3.5: Phi-3.5-vision, Phi-3.5-MoE и Phi-3.5-mini. Модели основаны на синтетических данных и общедоступных веб-сайтах, поддерживают длину контекста токена 128 КБ. Phi-3.5-MoE - первая модель в семействе с технологией Mixed of Experts (MoE), превосходит Llama-3.1-8B, Gemma-2-9B иMeer tonen Gemini-1.5-Flash. Phi-3.5-mini - модель с 3,8B параметрами, превосходит Llama3.1 8B, Mistral 7B и Mistral NeMo 12B, поддерживает контекст 128 КБ. Phi-3.5-vision - модель с 4,2B параметрами, обученная на 500B токенах с использованием 256 графических процессоров A100, поддерживает многокадровое изображение и логические рассуждения. Ожидается, что Microsoft поделится подробной информацией о моделях Phi-3.5 позже. Выпуск Phi-3.5 демонстрирует достижения в эффективности и возможностях моделей искусственного интеллекта. Семейство моделей Phi-3.5 имеет легкий дизайн и мультимодальное управление, что позволяет им получить более широкое применение в различных приложениях ИИ.
https://vk.com/rutechspot#2ec24c468a6aa7cad3f45dfbe58e3ac0
Комментариев нет:
Отправить комментарий