論文の概要: Function Over Form: Distributional Orthogonalization in Mixture-of-Experts with Replica Expert Mechanism

• arxiv url: http://arxiv.org/abs/2609.32398v1
• Date: Sat, 26 Sep 2026 09:19:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 09:32:03.611254
• Title: Function Over Form: Distributional Orthogonalization in Mixture-of-Experts with Replica Expert Mechanism
• Title（参考訳）: 関数オーバーフォーム: 模擬エキスパート機構を用いた実験の混合における分布直交化
• Abstract要約: MoEは、しばしば専門家の崩壊と表現の冗長性によって制約され、モデルキャパシティの未使用に繋がる。 本稿では、静的な重みの多様性から動的ルーティング行動へ焦点を移す補助正規化である分布直交化損失(DO-loss)を提案する。 また,Replica Expert Mechanism (REM)を導入し,2層戦略によるロードバランシングを改善する。
• 参考スコア（独自算出の注目度）: 5.21868774372295
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The scaling of LLMs increasingly relies on MoE architectures to decouple active computation from total parameter count. However, the efficacy of MoE is often constrained by expert collapse and representation redundancy, both leading to underutilization of model capacity. To address these challenges, this paper proposes Distributional Orthogonalization Loss (DO-loss), an auxiliary regularization that shifts the focus from static weight diversity to dynamic routing behavior. By representing each expert's token assignment history as a high-dimensional binary load signature, DO-loss penalizes signature overlap to prevent expert collapse while encouraging functional specialization. To align this algorithmic design with system efficiency, we further introduce the Replica Expert Mechanism (REM), which improves load balancing through a two-tiered strategy: adjusting replica expert placement at the global-batch level and performing real-time token dispatching at the micro-batch level. Empirical evaluations demonstrate that our method outperforms the evaluated routing algorithms on downstream tasks for both 4.8BA0.5B and 30BA3B MoE models, while maintaining comparable training efficiency.
• Abstract（参考訳）: LLMのスケーリングは、全パラメータ数からアクティブな計算を分離するために、MoEアーキテクチャにますます依存している。 しかし、MoEの有効性は、しばしば専門家の崩壊と表現の冗長性によって制約され、どちらもモデルキャパシティの未利用に繋がる。 これらの課題に対処するために、静的な重みの多様性から動的ルーティング行動へ焦点を移す補助正規化である分散直交化損失(DO-loss)を提案する。 DO-lossは、各専門家のトークン割り当て履歴を高次元のバイナリロードシグネチャとして表現することにより、シグネチャオーバーラップを罰し、機能的な特殊化を促進しながら専門家の崩壊を防止する。 本稿では,このアルゴリズム設計をシステム効率に合わせるために,2階層戦略によるロードバランシングを改善するReplica Expert Mechanism (REM)を導入し,グローバルバッチレベルでのレプリカ専門家配置を調整するとともに,マイクロバッチレベルでのリアルタイムトークンディスパッチを行う。 実験により,提案手法は4.8BA0.5Bモデルと30BA3B MoEモデルの両方において,下流タスクにおける評価されたルーティングアルゴリズムよりも優れ,訓練効率は同等であることが示された。

関連論文リスト

• MoEMB: Scaling Universal Multimodal Embeddings with Efficient Mixture-of-Experts Models [55.732137666068446]
  ユニバーサルマルチモーダル埋め込み(UME)は、幅広いタスクやモダリティを扱うエンコーダの能力をますます要求している。 MoEMBがエキスパート軸に沿ってUMEをスケールする MoEMBはTTEベースのメソッドを4倍のアクティブパラメータで上回り、計算量は大幅に少ない。
  論文  参考訳（メタデータ） (2026-09-08T12:29:50Z)
• Distribution-Consistent Inference for Dynamic Sparse Mixture-of-Experts [48.294824672909876]
  推論時動的top-k$ルーティングは、再トレーニングせずに計算を削減できる。 アクティベートした専門家の数を減らせば、SMoE出力のRMSスケールと分散が一貫して増加することを示す。 そこで我々は,レイヤワイズ・キャリブレーションの統計値を用いて,最小構成の縮小表現を整列する軽量な推論時間補正法であるレイヤワイズ・アライメント・アライメント(LDA)を提案する。
  論文  参考訳（メタデータ） (2026-09-08T06:23:07Z)
• Fine-tuning MLLMs Without Forgetting Is Easier Than You Think [72.59321247529975]
  分布内および分布外画像およびテキスト入力のモデル性能を評価するための2x2実験フレームワークを設計する。 その結果、トレーニング可能なパラメータの数を制限したり、低学習率を採用するなど、適切な正規化が、アウト・オブ・ディストリビューション・イメージを扱う際の忘れを効果的に防止できることが示唆された。 我々は、このことをタスク固有のオーバーフィッティングとみなし、データハイブリッドトレーニング戦略を導入することでこの問題に対処する。
  論文  参考訳（メタデータ） (2026-03-15T17:16:19Z)
• A Replicate-and-Quantize Strategy for Plug-and-Play Load Balancing of Sparse Mixture-of-Experts LLMs [64.8510381475827]
  SMOE(Sparse Mixture-of-Experts)アーキテクチャは、大規模言語モデルを効率的にスケールするためにますます使われている。 SMoEモデルは専門家間で厳しい負荷不均衡に悩まされることが多く、専門家のごく一部がほとんどのトークンを受け取り、他のモデルは未利用である。 推定中のエキスパートルーティングの体系的解析を行い, (i) 負荷不均衡が持続し, バッチサイズが大きくなる, (ii) 選択頻度が, 専門家の重要度を確実に反映しない, (iii) 専門家の全体負荷と重要性を, キャリブレーションセットを用いて推定できる,という3つの知見を同定する。
  論文  参考訳（メタデータ） (2026-02-23T15:11:16Z)
• Mixture of Ranks with Degradation-Aware Routing for One-Step Real-World Image Super-Resolution [76.66229730098759]
  実世界の画像超解像(Real-ISR)では、既存のアプローチは主に微調整された事前学習拡散モデルに依存している。 単一ステップ画像超解像のためのMixture-of-Ranks (MoR)アーキテクチャを提案する。 LoRAの各ランクを独立した専門家として扱う、きめ細かい専門家分割戦略を導入する。
  論文  参考訳（メタデータ） (2025-11-20T04:11:44Z)
• Advancing Expert Specialization for Better MoE [22.88847592702946]
  Mixture-of-Experts (MoE)モデルは、入力毎に専門家のサブセットだけを活性化することにより、大きな言語モデル(LLM)の効率的なスケーリングを可能にする。 一般的に使用される補助負荷分散損失は、しばしば専門家の重複と過度に均一なルーティングをもたらす。 本稿では,2つの相補的目的を取り入れた,シンプルで効果的な解を提案する。
  論文  参考訳（メタデータ） (2025-05-28T13:09:47Z)
• SEER-MoE: Sparse Expert Efficiency through Regularization for Mixture-of-Experts [49.01990048827639]
  本稿では,事前学習したMoEモデルのメモリフットプリントと計算要求の両方を削減するためのフレームワークSEER-MoEを紹介する。 第1段階では、ヘビーヒッターズカウントガイダンスを使用して専門家の総数を計算し、第2段階では、正則化に基づく微調整戦略を使用して精度の低下を回復する。 実験により,提案手法の有効性を実証し,精度のトレードオフを最小限に抑えた推論効率に最適化したMoEsモデルを試作した。
  論文  参考訳（メタデータ） (2024-04-07T22:13:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。