Интеллект на ватт: новое исследование вводит метрику для оценки производительности LLM на локальных ускорителях

С ростом популярности больших языковых моделей (LLM) нагрузка на облачные вычислительные системы значительно увеличилась, что требует поиска новых подходов к обработке запросов. Исследование, проведён

ное группой учёных, предлагает метрику «интеллект на ватт» (IPW), которая оценивает эффективность локальных систем, объединяя точность выполнения задач и энергопотребление. Это позвол ...