論文の概要: Do Dynamic Routers Need Memory? HeRo: History-Aware Routing for Efficient LLM Inference
- arxiv url: http://arxiv.org/abs/2609.08189v1
- Date: Tue, 08 Sep 2026 03:20:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.567011
- Title: Do Dynamic Routers Need Memory? HeRo: History-Aware Routing for Efficient LLM Inference
- Title（参考訳）: 動的ルータはメモリを必要とするか?HeRo:効率的なLLM推論のための履歴認識ルーティング
- Abstract要約: 動的層ルーティングにより、個々のトークンのレイヤをスキップすることを学ぶことで、LLM(Large Language Models)の推論コストが削減される。
既存の方法は、各ルーティング決定を、現在の隠れ状態のみにのみ依存したローカル操作として扱う。
モデル深度を越えた明示的なルーティング状態を維持する動的ルーティングフレームワークであるHistory-Aware Routing(HeRo)を提案する。
- 参考スコア（独自算出の注目度）: 13.935681015472262
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Dynamic layer routing reduces the inference cost of Large Language Models (LLMs) by learning to skip layers for individual tokens. Existing methods, however, treat each routing decision as a local operation conditioned solely on the current hidden state which is a formulation that overlooks the sequential, path-dependent nature of routing across depth: earlier decisions shape the representations seen by downstream routers, and the layer-usage objective couples all decisions jointly. We propose History-Aware Routing (HeRo), a dynamic routing framework that resolves this mismatch by introducing a router memory mechanism to maintain an explicit routing state across model depth. The memory is constructed via linear attention, incrementally aggregating preceding routing scores and their induced residual updates into a compact history representation. At each routed layer, the router conditions jointly on this accumulated state and the current hidden representation to select the executed branch. Instantiated for token-wise FFN routing, HeRo trains only lightweight routers and adapters on a frozen backbone, requiring no modification to pretrained parameters. Across Llama 3.1-8B, Llama 2-7B, and Llama 2-13B, HeRo consistently achieves the highest aggregate performance retention among ten baselines. On Llama 3.1-8B, it bypasses 26.87% of model parameters while achieving 100.24% of dense model performance across seven benchmarks, and retains 97.01% while bypassing 38.82% of model parameters under a tighter computation budget. Ablation studies confirm that removing routing history consistently degrades performance, most notably on multistep reasoning and code generation, validating that explicit routing memory enables more accurate and adaptive dynamic routing than solely conditioning on hidden state.
- Abstract（参考訳）: 動的層ルーティングにより、個々のトークンのレイヤをスキップすることを学ぶことで、LLM(Large Language Models)の推論コストが削減される。
しかし、既存の方法では、各ルーティング決定を現在の隠蔽状態にのみ依存する局所的な操作として扱うことができ、これは深さを横断するルーティングのシーケンシャルで経路に依存した性質を無視する定式化である。
我々は,このミスマッチを解決する動的ルーティングフレームワークであるHistory-Aware Routing (HeRo)を提案する。
メモリは線形注意により構築され、前回のルーティングスコアを漸進的に集約し、その後続した更新をコンパクトな履歴表現に反映する。
各経路層では、ルータはこの累積状態と現在の隠れ表現を併用して実行された分岐を選択する。
HeRoはトークン単位のFFNルーティングを前提としており、ライトウェイトなルーターとアダプタのみを冷凍バックボーンで実行し、事前訓練されたパラメータを変更する必要はない。
Llama 3.1-8B、Llama 2-7B、Llama 2-13Bをまたいで、HeRoは10基ラインの中で最も高い総合的なパフォーマンス保持を実現している。
Llama 3.1-8Bでは、モデルパラメータの26.87%をバイパスし、7つのベンチマークで100.24%の高密度モデル性能を達成し、厳密な計算予算の下でモデルパラメータの38.82%をバイパスしながら97.01%を維持している。
アブレーション研究では、ルーティング履歴の削除は、特に多段階の推論とコード生成において、パフォーマンスを継続的に低下させ、明示的なルーティングメモリが隠れ状態のみを条件付けすることよりも、より正確で適応的な動的ルーティングを可能にすることを検証している。
関連論文リスト
- LayerRoute: Adaptive Layer-Skipping with LoRA-Preserved Quality for Efficient LLM Inference [0.0]
LayerRouteは適応トランス層スキッピングのためのパラメータ効率のよい手法である。
層間ハードゲートルーティングとジョイントLoRAファインチューニングを組み合わせる。
列車はA100で7分以下で運行され、オーバーヘッドは無視できる。
論文 参考訳（メタデータ） (2026-09-12T03:30:59Z) - SWRouter: Similarity-Contractive Window Routing for Multi-Turn Large Language Model Conversations [88.71160380389277]
マルチターン大言語モデルルーティングのための類似性抽出ウィンドウルータであるSWルータを提案する。
マルチターンダイアログベンチマークの実験では、SWが強いベースラインを一貫して超越していることが示されている。
この結果から,マルチターン大言語モデルのルーティングにはコンテキスト構築と評価の協調設計が必要であることが示唆された。
論文 参考訳（メタデータ） (2026-09-10T11:45:55Z) - RouteRelay: Event-Triggered Cross-Layer Route Reuse for Efficient Dynamic Sparse Attention [10.543370808241159]
RouteRelayは、深さにわたるルートメタデータのみを再利用するルータに依存しない方法である。
RouteRelayは少なくとも99.99%のルートリコールを維持し、25.0%、55.4%、78.2%の行を低中等度、高層ドリフトでリローする。
論文 参考訳（メタデータ） (2026-09-07T10:23:06Z) - Evidence for Shared Routing Geometry and Dynamics in Sparse Mixture-of-Experts [0.0]
層間のルーティング関連状態は、層固有の座標系によって隠蔽される共通の幾何学的構造を共有していることを示す。
一致したランク比較では、残差表現は層間で予測しやすく、一方、ルータ制御状態はモデルのエキスパート選択をより忠実に保存する。
論文 参考訳（メタデータ） (2026-09-02T10:17:12Z) - CRISP: Cliff-awaRe Input-adaptive Sparse Prefilling with Structural-Mass-Motivated Routing [90.63350360476294]
本稿ではCRISP(Cliff-awaRe Input-adaptive Sparse Prefilling)を提案する。
ルーティング決定は、プロキシアテンションマップの構造から直接読み取ることができることを示す。
ソフトマックス後の質量崖を定式化し、厳密な累積被覆閾値が長い文脈でO(n)バックグラウンドノイズを蓄積することを理論的に示す。
論文 参考訳（メタデータ） (2026-09-01T22:49:46Z) - TRACE-ROUTER: Task-Consistent and Adaptive Online Routing for Agentic AI [8.291830023781403]
本稿では,タスクレベルのルーティングフレームワークであるTRACEについて述べる。
タスクの遅延フィードバックを活用することで、TRACEはワークロードに適応するルーティングポリシを学ぶ。
精度にマッチしたトレードオフを継続的に改善し、非レイテンシフロンティアポイントを達成します。
論文 参考訳（メタデータ） (2026-07-24T16:29:06Z) - Agent-as-a-Router: Agentic Model Routing for Coding Tasks [54.00153674547733]
Agent-as-a-router (AC)はC-A-Fループとしてルーティングを形式化する(Context->Action->FeedbackContext)
ACは、分配タスクに対する最小の累積後悔を達成し、配布外エージェントプログラミングタスクに一般化する。
論文 参考訳（メタデータ） (2026-06-22T06:37:31Z) - RouteJudge: An Open Platform for Reproducible and Preference-Aware LLM Routing [41.435534676485936]
RouteJudgeは、LLMルーティングシステムのためのオンラインのペアワイズ評価フレームワークである。
複数のルーティング戦略は独立して、同じモデルプールと予算制約の下でモデルモデルを推奨します。
結果のユーザの好みは、比較されたレスポンスの背後にあるルーティング戦略に起因している。
論文 参考訳（メタデータ） (2026-06-17T07:35:10Z) - Learning Agent Routing From Early Experience [55.88886987958933]
バウンダリ(Boundary)は、初期の行動経験とルーリック誘導推論を使用して、クエリに直接推論で答えるか、エージェントにエスカレートするかを決定する、トレーニング不要なルーティングフレームワークである。
また, 直接LLM推定よりも28.6%性能が向上し, 予測時間を60.6%短縮することを示した。
論文 参考訳（メタデータ） (2026-05-08T03:18:40Z) - Dr.LLM: Dynamic Layer Routing in LLMs [55.11953638340419]
Dr.LLMは、事前訓練されたモデルに軽量な層ごとのルータを装備し、ブロックをスキップ、実行、繰り返すように決定する、適合性のあるフレームワークである。
ARC(logic)とDART(math)では、Dr.LLMは平均で5つのレイヤを保存しながら、最大3.4%の精度向上を実現している。
論文 参考訳（メタデータ） (2025-10-14T17:51:26Z) - RCR-Router: Efficient Role-Aware Context Routing for Multi-Agent LLM Systems with Structured Memory [57.449129198822476]
RCRは、マルチエージェント大言語モデル(LLM)システムのためのロールアウェアコンテキストルーティングフレームワークである。
役割とタスクステージに基づいて、各エージェントに対して意味的に関連するメモリサブセットを動的に選択する。
軽量スコアリングポリシは、メモリ選択をガイドし、エージェント出力を共有メモリストアに統合する。
論文 参考訳（メタデータ） (2025-08-06T21:59:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。