Задержка является серьезной проблемой для использования LLM. Современные API-интерфейсы LLM требуют повторного создания документа, что приводит к задержкам. OpenAI разрабатывает новую функцию "Прогнозируемые результаты" для ускорения работы с LLM. Прогнозируемые результаты используют спекулятивноеMeer tonen декодирование для ускорения итераций. Разработчики могут сократить задержку, передавая существующий контент в качестве прогноза. OpenAI протестировал функцию с внешними партнерами, и результаты были положительными. Прогнозируемые результаты ускоряют рабочие нагрузки с LLM в 5,8 раза, согласно внутренним тестам Microsoft. Ограничения для использования прогнозируемых результатов включают поддержку только моделей GPT-4o и GPT-4o-mini, а также отсутствие некоторых параметров API. Несмотря на ограничения, новая функция прогнозирования результатов открывает путь для более гибких и эффективных инструментов на базе LLM.
https://vk.com/rutechspot#e9bb026431ded9b37c12aaa0288411de
Комментариев нет:
Отправить комментарий