Cerebras Systems анонсировала Cerebras Inference - самое быстрое в мире решение для вывода данных с помощью ИИ. Решение обеспечивает производительность 1800 токенов/с для Llama 3.1 8B и 450 токенов/с для Llama 3.1 70B. Цены на решение значительно ниже, чем на графические облака, например, миллион токенов за 10 центов.Meer tonen 16-битная точность и в 20 раз более быстрое выполнение логических выводов позволяют создавать ИИ-приложения без ущерба для скорости или стоимости. Cerebras Inference доступен на трех уровнях: бесплатный, для разработчиков и корпоративный. Решение устанавливает новый стандарт открытой разработки и внедрения LLM благодаря рекордной производительности, лучшим в отрасли ценам и открытому доступу к API. Появление Cerebras и Groq может изменить динамику отрасли в области ИИ.
https://vk.com/rutechspot#13344f286a41a7e072ad16ff757268d0
Комментариев нет:
Отправить комментарий