論文の概要: Measured Joules, Learned Routes: Learning to Route for Energy-Efficient LLM Serving

• arxiv url: http://arxiv.org/abs/2609.23085v1
• Date: Sat, 19 Sep 2026 15:44:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:00.673368
• Title: Measured Joules, Learned Routes: Learning to Route for Energy-Efficient LLM Serving
• Title（参考訳）: 計測ジュール, 学習経路:エネルギー効率の良いLLM学習路
• Abstract要約: 大規模言語モデル(LLM)とエージェントAIシステムは、急速に増加する推論エネルギー需要を生み出している。 言語モデルに基づくルータを設計し、各問合せで読み出し、固定候補プールから解答モデルを選択する。 その結果、学習したルーティングは、クエリコンテキストに基づいて、高価なモデルのキャパシティを選択的に割り当てることができることを示した。
• 参考スコア（独自算出の注目度）: 9.24091850794159
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) and agentic AI systems are creating rapidly growing inference energy demands as model sizes grow and reasoning trajectories extend. While in practice, many queries do not require the capabilities of the largest available model, and routinely directing such queries to a high-capability model can introduce unnecessary, considerable computation and energy consumption. In this paper, we investigate whether adaptive routing across a heterogeneous pool of LLMs can reduce this energy burden without substantially compromising task performance. We design a language-model-based router that reads in each query and selects an answer model from a fixed candidate pool. The candidate models are first profiled through an offline tournament that records their correctness, latency, power, and GPU energy for each query. Using these measurements, the router is trained through supervised fine-tuning followed by group relative policy optimization (GRPO) with the tailored paradigms. Results demonstrate that learned routing can selectively allocate expensive model capacity based on query context and improve the accuracy-energy tradeoff in multi-LLM serving. Across seven benchmark tasks, we also observe a sharp accuracy-energy phase transition among routers, providing practical insights into improving energy efficiency while maintaining LLM performance.
• Abstract（参考訳）: 大規模言語モデル(LLM)とエージェントAIシステムは、モデルのサイズが増加し、推論軌道が延長するにつれて、急速に増加する推論エネルギー需要を生み出している。 実際には、多くのクエリは最大の利用可能なモデルの能力を必要としておらず、そのようなクエリを高機能モデルに日常的に誘導することは、不要で相当な計算とエネルギー消費をもたらす可能性がある。 本稿では,LLMの不均一プールへの適応ルーティングが,タスク性能を著しく損なうことなく,このエネルギー負担を軽減することができるかどうかを検討する。 言語モデルに基づくルータを設計し、各問合せで読み出し、固定候補プールから解答モデルを選択する。 候補モデルは、クエリ毎にその正しさ、レイテンシ、パワー、GPUエネルギを記録するオフライントーナメントを通じて最初にプロファイルされる。 これらの測定値を用いて、ルータは教師付き微調整と、調整されたパラダイムによるグループ相対ポリシー最適化(GRPO)によって訓練される。 その結果、学習したルーティングは、クエリコンテキストに基づいて高価なモデルキャパシティを選択的に割り当て、マルチLLMサービスにおける精度とエネルギーのトレードオフを改善することができることを示した。 また,7つのベンチマークタスクにわたって,ルータ間の急激な精度・エネルギー相転移を観測し,LLM性能を維持しながらエネルギー効率の向上に関する実践的な洞察を提供する。

関連論文リスト

• Before Thinking, Learn to Decide: Proactive Routing for Efficient Visual Reasoning [87.18590662029432]
  本稿では,プロアクティブルーティングパラダイムであるPRPを提案する。このパラダイムは,ドラフトモデルとターゲットモデルの両方の能力を評価することで,早期意思決定を可能にする。 筆者らの試案であるレーティング学習 (DRL) は内部信頼度推定器を内蔵し, 共同レーティング学習 (JRL) は対象モデルが与えられたクエリをどの程度処理できるかを予測する。 これらの評価により、詳細なインスタンスレベルの textbfProactive Routing が可能になり、全体的なパフォーマンスを損なうことなく、推論を大幅に高速化できる。
  論文  参考訳（メタデータ） (2026-06-29T12:30:24Z)
• Beyond Test-Time Compute Strategies: Advocating Energy-per-Token in LLM Inference [1.522424334864671]
  大規模言語モデル(LLM)は、様々なタスクにまたがる優れた性能を示すが、かなりのエネルギーと計算コストが伴う。 SLM(Small Language Models)は、単純なテキスト生成タスクに対して正確な応答を提供する。 これらの戦略は追加のエネルギーコストを導入し、エネルギー精度のトレードオフを生み出す。
  論文  参考訳（メタデータ） (2026-03-04T15:20:55Z)
• AceGRPO: Adaptive Curriculum Enhanced Group Relative Policy Optimization for Autonomous Machine Learning Engineering [52.67783579040657]
  AceGRPOは、エージェントの学習フロンティアにおけるタスクを優先順位付けして学習効率を最大化する機械学習システムである。 我々のトレーニングされたAce-30Bモデルは、MLE-Bench-Lite上で100%有効な応募率を実現し、プロプライエタリなフロンティアモデルの性能にアプローチし、より大きなオープンソースベースラインを上回ります。
  論文  参考訳（メタデータ） (2026-02-08T10:55:03Z)
• Understanding Efficiency: Quantization, Batching, and Serving Strategies in LLM Energy Use [4.513690948889834]
  大規模言語モデル(LLM)はますます本番環境に配備され、計算資源やエネルギー需要の負担をトレーニングから推論へとシフトさせるのに寄与している。 我々は,同じモデルにおけるエネルギー消費のオーダー・オブ・マグニチュードの違いを,Emphsystemレベルの設計選択がいかに引き起こすかを示す。 我々の発見は、よりグリーンなAIサービスのための位相認識エネルギープロファイリングとシステムレベルの最適化を動機付けている。
  論文  参考訳（メタデータ） (2026-01-29T22:16:25Z)
• Large Language Model (LLM)-enabled Reinforcement Learning for Wireless Network Optimization [79.27012080083603]
  大型言語モデル(LLM)は、無線ネットワークにおける強化学習を強化するための有望なツールを提供する。 マルチエージェント強化学習フレームワークを強化するために,LLM支援状態表現と意味抽出を提案する。
  論文  参考訳（メタデータ） (2026-01-15T01:42:39Z)
• Router-R1: Teaching LLMs Multi-Round Routing and Aggregation via Reinforcement Learning [27.70756702796812]
  マルチLLMルーティングとアグリゲーションを逐次決定プロセスとして定式化する強化学習フレームワークである textbf Generalization-R1 を提案する。 学習を容易にするために,形式報酬と最終結果報酬と,性能とコストのバランスを最適化するための新たなコスト報酬からなる軽量なルールベース報酬を用いる。
  論文  参考訳（メタデータ） (2025-06-10T17:56:45Z)
• Towards Efficient Multi-LLM Inference: Characterization and Analysis of LLM Routing and Hierarchical Techniques [14.892995952768352]
  言語モデル(LM)は、テキスト生成、要約、質問応答といったタスクに優れています。 彼らの推論は計算コストが高く、ハードウェア、電力、帯域幅に制限のある設定でエネルギーを集中的に消費する。 近年のアプローチでは、クエリの複雑さに基づいて、動的に計算資源を割り当てる複数のLLMインテリジェントモデル選択戦略が導入されている。
  論文  参考訳（メタデータ） (2025-06-06T23:13:08Z)
• Scaling Autonomous Agents via Automatic Reward Modeling And Planning [52.39395405893965]
  大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な機能を示している。 しかし、彼らは多段階の意思決定と環境フィードバックを必要とする問題に苦戦している。 人間のアノテーションを使わずに環境から報酬モデルを自動的に学習できるフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-17T18:49:25Z)
• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。