論文の概要: ScoutRoute: Efficient Mixture-of-Experts Routing Using Internal Language Model Signals

• arxiv url: http://arxiv.org/abs/2610.23443v1
• Date: Fri, 16 Oct 2026 13:25:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.939019
• Title: ScoutRoute: Efficient Mixture-of-Experts Routing Using Internal Language Model Signals
• Title（参考訳）: ScoutRoute: 内部言語モデル信号を用いた効率の良いミックス・オブ・エクササイズルーティング
• Abstract要約: 本稿では、内部言語モデル信号を用いて専門家の能力を予測する軽量なポストホックルーティングフレームワークであるScoutRouteを提案する。 ScoutRouteは、単一のスカウトモデル推論のみを必要としながら、個々のルーティングシグナルを一貫して上回る。
• 参考スコア（独自算出の注目度）: 0.4779196219827507
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Efficient expert routing is a fundamental challenge in Mixture-of-Experts (MoE) systems, particularly for heterogeneous collections of independently trained Large Language Mod els (LLMs). Existing routing approaches typically rely on jointly trained gating networks, prompt-based predictors, or computationally expensive multi-model inference, limiting their flexibility and efficiency. This paper presents ScoutRoute, a lightweight post-hoc routing framework that predicts expert competence using internal language model signals extracted from a single forward pass through an inexpensive scout model. Hidden-state representations are used to estimate cross-model competence through lightweight logistic probes, while logit-derived confidence measures are incorporated within a domain-aware routing strategy for efficient expert selec tion without modifying the underlying language models. ScoutRoute isevaluatedon fiveopen-weightlanguagemodels across fourbenchmark datasets covering mathematical reasoning, code generation, commonsense reasoning, and multidis ciplinary knowledge. Experimental results show that ScoutRoute consistently outperforms individual routing signals while requiring only a single scout-model inference. The proposed competence probes also achieve superior calibration compared with conventional confidence measures, demonstrating that internal language model representations provide transferable information for accurate and efficient expert routing across heterogeneous language models
• Abstract（参考訳）: エキスパートの効率的なルーティングは、Mixture-of-Experts (MoE)システム、特に独立に訓練されたLarge Language Mod els (LLMs) の異種コレクションにおいて、基本的な課題である。 既存のルーティングアプローチは、通常、共同で訓練されたゲーティングネットワーク、プロンプトベースの予測器、計算コストのかかるマルチモデル推論に依存し、柔軟性と効率を制限している。 本稿では,シングルフォワードパスから安価なスカウトモデルを介して抽出した内部言語モデル信号を用いて,専門家の能力を予測する軽量なポストホックルーティングフレームワークであるScoutRouteを提案する。 隠れ状態表現は、軽量なロジスティックプローブによってモデル間のコンピテンスを推定するために用いられるが、ロジット由来の信頼度尺度は、基礎となる言語モデルを変更することなく、効率的なエキスパートセレックオプションのためのドメイン認識ルーティング戦略に組み込まれる。 ScoutRouteは、数学的推論、コード生成、コモンセンス推論、マルチディス分野の知識を含む4つのベンチマークデータセットにわたる5つのオープンウェイト言語モデルを評価する。 実験結果から、ScoutRouteは単一スカウトモデル推論のみを必要としながら、個々のルーティング信号よりも一貫して優れていた。 提案するコンピテンスプローブは従来の信頼度尺度よりも優れたキャリブレーションを実現し、内部言語モデル表現が異種言語モデル間の正確かつ効率的な専門家ルーティングのための伝達可能な情報を提供することを示した。

関連論文リスト

• RouterInterp: Understanding Superposed Specialisation in Mixture of Experts Routing [0.0]
  MoEモデルの性能に関する主要な仮説は、各専門家が単一のコヒーレントなドメインを専門とすることである。 そこで我々は,SSH(Superposed Specialisation hypothesis)と呼ばれる,広義のドメインではなく,細粒度の特徴の結合を専門とする専門家による代替的説明の根拠を提案し,提示する。 本稿では,Sparse Autoencoderを識別する専門家のルーティングを解釈するルータInterpについて紹介する。
  論文  参考訳（メタデータ） (2026-10-08T11:55:25Z)
• Before Thinking, Learn to Decide: Proactive Routing for Efficient Visual Reasoning [87.18590662029432]
  本稿では,プロアクティブルーティングパラダイムであるPRPを提案する。このパラダイムは,ドラフトモデルとターゲットモデルの両方の能力を評価することで,早期意思決定を可能にする。 筆者らの試案であるレーティング学習 (DRL) は内部信頼度推定器を内蔵し, 共同レーティング学習 (JRL) は対象モデルが与えられたクエリをどの程度処理できるかを予測する。 これらの評価により、詳細なインスタンスレベルの textbfProactive Routing が可能になり、全体的なパフォーマンスを損なうことなく、推論を大幅に高速化できる。
  論文  参考訳（メタデータ） (2026-06-29T12:30:24Z)
• LENS: Learning Ensemble Confidence from Neural States for Multi-LLM Answer Integration [0.0]
  大きな言語モデル(LLM)は、様々なタスクで素晴らしいパフォーマンスを示しています。 LENS(Learning ENsemble confidence from Neural States)は、内部表現を分析してモデル信頼度を推定する新しい手法である。
  論文  参考訳（メタデータ） (2025-07-31T00:35:45Z)
• RouterRetriever: Routing over a Mixture of Expert Embedding Models [58.987116118425995]
  本稿では、ルーティング機構を用いて、ドメイン固有の専門家の混在を利用した検索モデルであるReuterRetrieverを紹介する。 RouterRetrieverは、ドメイン固有の専門的な埋め込みモデルを混在させたルーティングの利点を示す最初の研究である。
  論文  参考訳（メタデータ） (2024-09-04T13:16:55Z)
• Soft Merging of Experts with Adaptive Routing [38.962451264172856]
  適応ルーティングによるエキスパートのソフトマージ(SMEAR)について紹介する SMEARは、専門家のパラメータの重み付け平均を通して構築された単一の「マージされた」専門家を使用することで、離散的なルーティングを避ける。 我々は,メタデータに基づいた経路モデルや,勾配推定によるスパースルーティングを学習するSMEARモデルを用いたモデルの有効性を実証的に検証した。
  論文  参考訳（メタデータ） (2023-06-06T15:04:31Z)
• On the Representation Collapse of Sparse Mixture of Experts [102.83396489230375]
  専門家のまばらな混合は、一定の計算オーバーヘッドを必要としながら、より大きなモデルキャパシティを提供する。 入力トークンを隠された表現に従ってベストマッチした専門家に分散するためにルーティング機構を使用する。 しかし、そのようなルーティングメカニズムを学ぶことで、専門家のセントロイドを中心にトークンのクラスタリングが促進され、表現の崩壊の傾向が示唆される。
  論文  参考訳（メタデータ） (2022-04-20T01:40:19Z)
• Taming Sparsely Activated Transformer with Stochastic Experts [76.0711573018493]
  わずかに活性化されたモデル(SAM)は、計算コストを大幅に増加させることなく、非常に大量のパラメータを持つように容易にスケールすることができる。 本稿では,新しいエキスパートベースモデルTHOR(Transformer witH StOchastic ExpeRts)を提案する。 Switch Transformerのような古典的なエキスパートベースのモデルとは異なり、THORの専門家はトレーニングと推論の間、各入力に対してランダムにアクティベートされる。
  論文  参考訳（メタデータ） (2021-10-08T17:15:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。