論文の概要: Attention-Aware Routing: Coupling Routing and Attention in MoEs

• arxiv url: http://arxiv.org/abs/2609.20974v1
• Date: Thu, 17 Sep 2026 18:29:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 18:40:16.748721
• Title: Attention-Aware Routing: Coupling Routing and Attention in MoEs
• Title（参考訳）: 注意を意識したルーティング: MoE におけるルーティングとアテンションの結合
• Abstract要約: Mixture-of-Experts言語モデルでは、通常、ルータはトークンの隠された状態に基づいて専門家を選択して重み付けする。 本稿では,注目重みのスライディングウィンドウから抽出した時間的・スペクトル的特徴をルータに付加するアテンション・アウェア・ルーティング(AAR)を提案する。 AARは、OLMoE上のルーティングのみのSFTベースラインに対して、+3.37ppでGSM8Kを改善した。
• 参考スコア（独自算出の注目度）: 40.54862718163053
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In Mixture-of-Experts language models, the router typically selects and weights experts based on the token's hidden state, utilizing limited contextual information. We propose Attention-Aware Routing (AAR), which augments the router with temporal and spectral features extracted from a sliding window of attention weights that represent a summary of the model's contextual state, disentangled from the hidden state. Keeping the base transformer entirely frozen, we train only the routing parameters, isolating routing as the sole variable. AAR improves GSM8K by +3.37 pp over a routing-only SFT baseline on OLMoE. Beyond performance, we show that routing and attention form a coupled circuit: routing changes at layer l propagate through the residual stream to amplify attention sinks at layer l+1, reshaping attention without any direct update to the attention mechanism itself. Further, AAR reduces long diverging generation, with incorrect answers getting shorter, while correct answers remain unchanged in length. Finally, AAR is strongly depth-sensitive: applying it indiscriminately across layers can degrade factual retrieval, whereas mathematical reasoning gains persist when it is introduced deeper in the network. This sensitivity exposes a retrieval--reasoning tension across depth and makes layer-selective AAR a controlled probe of the routing-relevant information carried by attention at different layers.
• Abstract（参考訳）: Mixture-of-Experts言語モデルでは、通常、ルータはトークンの隠された状態に基づいて専門家を選択し、重み付けする。 本研究では,隠れ状態から切り離されたモデルの状態の要約を表す注目重みのスライディングウィンドウから抽出した時間的・スペクトル的な特徴をルータに付加するアテンション・アウェア・ルーティング(AAR)を提案する。 ベーストランスを完全に凍結し続けることで、ルーティングパラメータのみをトレーニングし、ルーティングを唯一の変数として分離します。 AARは、OLMoE上のルーティングのみのSFTベースラインに対して、+3.37ppでGSM8Kを改善した。 i層における経路変化は,l+1層における注意シンクを増幅し,注意機構自体を直接更新することなく注意を形作る。 さらに、AARは長い発散の発生を減らし、誤った回答は短くなり、正しい回答は長くは変化しない。 最後に、AARは深い奥行きに敏感であり、層に無差別に適用すると事実検索が低下し、一方、ネットワーク内で深く導入されると数学的推論が持続する。 この感度は、層選択型AARを異なる層に注意を払って運んだルーティング関連情報の制御プローブとする。

関連論文リスト

• Do Dynamic Routers Need Memory? HeRo: History-Aware Routing for Efficient LLM Inference [13.935681015472262]
  動的層ルーティングにより、個々のトークンのレイヤをスキップすることを学ぶことで、LLM(Large Language Models)の推論コストが削減される。 既存の方法は、各ルーティング決定を、現在の隠れ状態のみにのみ依存したローカル操作として扱う。 モデル深度を越えた明示的なルーティング状態を維持する動的ルーティングフレームワークであるHistory-Aware Routing(HeRo)を提案する。
  論文  参考訳（メタデータ） (2026-09-08T03:20:07Z)
• CRISP: Cliff-awaRe Input-adaptive Sparse Prefilling with Structural-Mass-Motivated Routing [90.63350360476294]
  本稿ではCRISP(Cliff-awaRe Input-adaptive Sparse Prefilling)を提案する。 ルーティング決定は、プロキシアテンションマップの構造から直接読み取ることができることを示す。 ソフトマックス後の質量崖を定式化し、厳密な累積被覆閾値が長い文脈でO(n)バックグラウンドノイズを蓄積することを理論的に示す。
  論文  参考訳（メタデータ） (2026-09-01T22:49:46Z)
• Focusing on What Matters: Saliency-Harnessing Accurate Routing for Diffusion MoE [49.45064510462232]
  Mixture-of-Experts (MoE)アーキテクチャは、視覚生成における拡散モデルをスケールするための強力なパラダイムとして登場した。 シャープモエ(SharpMoE)は,サリエンシハーネスの正確なルーティング機構を備えたポストトレーニングフレームワークである。 ノイズ歪んだ入力をバイパスすることで、SharpMoEはルータに明確なサリエンシガイダンスを提供する。
  論文  参考訳（メタデータ） (2026-06-25T12:13:40Z)
• Agent-as-a-Router: Agentic Model Routing for Coding Tasks [54.00153674547733]
  Agent-as-a-router (AC)はC-A-Fループとしてルーティングを形式化する(Context->Action->FeedbackContext) ACは、分配タスクに対する最小の累積後悔を達成し、配布外エージェントプログラミングタスクに一般化する。
  論文  参考訳（メタデータ） (2026-06-22T06:37:31Z)
• When Does Routing Become Interpretable? Causal Probes on Block Attention Residuals [0.0]
  Block Attention Residuals (Block AttnRes) は、固定された加法残基を以前の深度ソース表現よりも学習されたソフトマックスで置き換える。 このような露出が機械的解釈に十分かどうかを問う。
  論文  参考訳（メタデータ） (2026-06-11T10:37:04Z)
• Route-Induced Density and Stability (RIDE): Controlled Intervention and Mechanism Analysis of Routing-Style Meta Prompts on LLM Internal States [10.639846833695806]
  我々は,アクティベーション空間,(C2)ドメインキーワードの注意,(C3)予測エントロピーと意味的変動による出力安定性を定量化する。 ルーティング設計の校正と不確実性推定のための診断プローブとしてRIDEを提案する。
  論文  参考訳（メタデータ） (2026-03-31T03:19:36Z)
• Routing without Forgetting [20.60324059904291]
  変換器における連続学習をルーティング問題として再放送する。 タスク固有のプロンプトを格納またはマージする代わりに、RwFはシングルステップの連想検索を通じて動的プロンプトを生成する。 Split-ImageNet-R と Split-ImageNet-S では、RwF は数ショットの学習システムであっても、事前のプロンプトベースのアプローチよりも大きなマージンでパフォーマンスを向上している。
  論文  参考訳（メタデータ） (2026-03-10T12:23:46Z)
• PASs-MoE: Mitigating Misaligned Co-drift among Router and Experts via Pathway Activation Subspaces for Continual Learning [30.015399267582044]
  一般的な戦略は、異なるLoRA専門家に入力をルーティングすることで、更新を分離することだ。 既存のLoRAベースのMixture-of-Experts(MoE)メソッドは、ルータと専門家を区別できない方法で共同で更新することが多い。 固定容量PASを用いたMoE-LoRA法を提案する。
  論文  参考訳（メタデータ） (2026-01-19T12:57:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。