論文の概要: HERO-MoE: Historical Expert Routing with Scale-Preserving Fusion

• arxiv url: http://arxiv.org/abs/2609.32581v1
• Date: Sat, 26 Sep 2026 12:55:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 05:59:53.894907
• Title: HERO-MoE: Historical Expert Routing with Scale-Preserving Fusion
• Title（参考訳）: HERO-MoE: スケール保存核融合による歴史的エキスパートルーティング
• Abstract要約: 歴史的ルーティング先をMoEルータに注入するルーティングフレームワークであるHERO-MoE, Historical Expert ROuting with Scale-Preserving Fusionを提案する。 HERO-MoEはオリジナルのトークン条件のルーティングブランチを保存し、標準ディスパッチの前に残る履歴ルーティングのコントリビューションを追加する。 実験の結果、HERO-MoE は最終損失を 1.6393 から 1.6184 に減らし、ピークメモリと FLOP はそれぞれ 0.44% と 0.64% に増加した。
• 参考スコア（独自算出の注目度）: 51.439927979778965
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mixture-of-Experts (MoE) architectures have become a standard way to scale model capacity while keeping computation sparse, yet routing remains a key determinant of MoE quality and training behavior. Prior empirical studies suggest that MoE routing reflects input semantics and upstream computation across depth, but standard routers do not explicitly use the routing distributions produced by preceding layers. We propose HERO-MoE, Historical Expert ROuting with Scale-Preserving Fusion, a routing framework that injects historical routing priors into MoE routers by reusing detached, dense routing distributions collected from preceding MoE layers. The key idea is simple: HERO-MoE preserves the original token-conditioned routing branch and adds a residual historical routing contribution before the standard softmax and top-$k$ dispatch. To stabilize this historical signal, HERO-MoE introduces a scale-preserving fusion mechanism that matches the magnitude of historical routing memory to the current hidden representation and accounts for the number of visible historical layers, without introducing an auxiliary routing loss or a fusion-specific tuning parameter. By reusing routing distributions already computed by preceding MoE layers, HERO-MoE improves training-loss reduction with modest end-to-end overhead. The resulting router remains compatible with standard sparse dispatch, including top-$k$ and group-limited routing, and can be inserted into existing MoE backbones with minimal architectural changes. Experiments on an approximately 8B-parameter MoE model with 0.5B active parameters, trained from scratch on 100B tokens, show that HERO-MoE reduces the final loss from 1.6393 to 1.6184, while peak memory and FLOPs increase by only 0.44\% and 0.64\%, respectively.
• Abstract（参考訳）: Mixture-of-Experts (MoE)アーキテクチャは、計算の疎さを維持しながらモデルのキャパシティをスケールするための標準的な方法となっているが、ルーティングは、MoEの品質とトレーニングの振る舞いの重要な決定要因である。 以前の実証実験では、MoEルーティングは入力のセマンティクスや上流の計算を深く反映するが、標準的なルータは前の層が生成したルーティング分布を明示的に使用していない。 提案するHERO-MoE, Historical Expert ROuting with Scale-Preserving Fusionは,従来のMoE層から収集した高密度なルーティング分布を再利用することにより,過去のルーティング先をMoEルータに注入するルーティングフレームワークである。 HERO-MoEはオリジナルのトークン条件のルーティングブランチを保持し、標準の Softmax と Top-k$ のディスパッチの前に、残りの履歴的なルーティングコントリビューションを追加する。 この履歴信号を安定化するために、HERO-MoEは、履歴的ルーティングメモリの大きさを現在の隠れ表現と一致させ、補助的なルーティング損失や融合固有のチューニングパラメータを導入することなく、可視的履歴層の数を説明できるスケール保存融合機構を導入している。 HERO-MoEは、既に前のMoE層によって計算されたルーティング分布を再利用することにより、トレーニング損失の削減を、最小限のエンドツーエンドオーバーヘッドで改善する。 結果として生じるルータは、トップ$とグループ限定ルーティングを含む標準のスパースディスパッチと互換性があり、最小限のアーキテクチャ変更で既存のMoEバックボーンに挿入できる。 100Bトークンでスクラッチからトレーニングした0.5Bの活性パラメータを持つ約8BパラメータMOEモデルの実験では、HERO-MoEは最終損失を1.6393から1.6184に削減し、ピークメモリとFLOPは0.44\%と0.64\%に増加した。

関連論文リスト

• Do Dynamic Routers Need Memory? HeRo: History-Aware Routing for Efficient LLM Inference [13.935681015472262]
  動的層ルーティングにより、個々のトークンのレイヤをスキップすることを学ぶことで、LLM(Large Language Models)の推論コストが削減される。 既存の方法は、各ルーティング決定を、現在の隠れ状態のみにのみ依存したローカル操作として扱う。 モデル深度を越えた明示的なルーティング状態を維持する動的ルーティングフレームワークであるHistory-Aware Routing(HeRo)を提案する。
  論文  参考訳（メタデータ） (2026-09-08T03:20:07Z)
• Agent-as-a-Router: Agentic Model Routing for Coding Tasks [54.00153674547733]
  Agent-as-a-router (AC)はC-A-Fループとしてルーティングを形式化する(Context->Action->FeedbackContext) ACは、分配タスクに対する最小の累積後悔を達成し、配布外エージェントプログラミングタスクに一般化する。
  論文  参考訳（メタデータ） (2026-06-22T06:37:31Z)
• When Model Merging Breaks Routing: Training-Free Calibration for MoE [67.27839627141972]
  Hessian-Aware Router (HARC) は、二階曲率情報を利用してマージされたルータを認識できるトレーニングフリーのフレームワークである。 数学的推論とコード生成タスクの実験は、HARCが様々なMoEマージベースライン間のルーティングの分解を効果的に軽減していることを示している。
  論文  参考訳（メタデータ） (2026-06-02T09:33:33Z)
• Adaptive Inverted-Index Routing for Granular Mixtures-of-Experts [49.09151538536423]
  Mixture-of-experts (MoE)モデルはトークンごとに専門家のサブセットだけを活性化することでスケーラブルなトランスフォーマーアーキテクチャを実現する。 最近の証拠は、より粒度の細かい専門家、すなわち、少数の大きな専門家ではなく、多くの小さな専門家によって、パフォーマンスが向上することを示している。 ベクトル量子化(VQ)に基づく逆インデックス型ルーティングアーキテクチャである MoE (AIR-MoE) の適応型逆インデックスルーティングを導入する。
  論文  参考訳（メタデータ） (2026-05-06T14:15:10Z)
• Routing by Analogy: kNN-Augmented Expert Assignment for Mixture-of-Experts [32.65737144630759]
  Mixture-of-Experts (MoE)アーキテクチャは、パラメトリックな"router"を使用して、トークンを専門家のまばらなサブセットにディスパッチすることで、大きな言語モデルを効率的にスケールする。 我々は、類似したケースのメモリから最適な専門家の割り当てを再利用する検索強化ルーティングフレームワークであるkNN-MoEを紹介する。 実験の結果、kNN-MoEはゼロショットベースラインよりも優れており、計算コストのかかる微調整に匹敵することがわかった。
  論文  参考訳（メタデータ） (2026-01-05T14:16:11Z)
• ReMoE: Fully Differentiable Mixture-of-Experts with ReLU Routing [28.73697327316267]
  計算予算を増大させることなく、モデルキャパシティをスケールアップするために、緩やかに活性化されたMixture-of-Experts (MoE)モデルが広く採用されている。 我々は,従来のTopK+Softmaxルーティングの簡易かつ効果的なドロップイン置換を提供する,完全に微分可能なMoEアーキテクチャであるReMoEを提案する。 ReMoEは、さまざまなモデルサイズ、専門家数、粒度のレベルにおいて、バニラTopKのMoEを一貫して上回る。
  論文  参考訳（メタデータ） (2024-12-19T10:21:20Z)
• Layerwise Recurrent Router for Mixture-of-Experts [42.36093735411238]
  Mixture-of-Experts (MoE)アーキテクチャは、トレーニングコストを大幅に増加させることなく、モデルサイズをスケールできる能力で際立っている。 現在のMoEモデルはパラメータ非効率をしばしば表示する。 我々はMixture-of-Experts(RMoE)のためのLayerwise Recurrent Routerを紹介する。
  論文  参考訳（メタデータ） (2024-08-13T10:25:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。