論文の概要: Distribution-Consistent Inference for Dynamic Sparse Mixture-of-Experts

• arxiv url: http://arxiv.org/abs/2609.09241v1
• Date: Tue, 08 Sep 2026 06:23:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.742458
• Title: Distribution-Consistent Inference for Dynamic Sparse Mixture-of-Experts
• Title（参考訳）: ダイナミックスパース混合実験に対する分布一貫性推論
• Abstract要約: 推論時動的top-k$ルーティングは、再トレーニングせずに計算を削減できる。 アクティベートした専門家の数を減らせば、SMoE出力のRMSスケールと分散が一貫して増加することを示す。 そこで我々は,レイヤワイズ・キャリブレーションの統計値を用いて,最小構成の縮小表現を整列する軽量な推論時間補正法であるレイヤワイズ・アライメント・アライメント(LDA)を提案する。
• 参考スコア（独自算出の注目度）: 48.294824672909876
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mixture-of-Experts (MoE) architectures have emerged as a powerful paradigm for scaling model capacity while preserving efficient inference in large foundation models. However, most MoE models use a fixed top-$k$ expert selection policy, assigning the same expert budget to every token even when fewer experts may be sufficient. Inference-time dynamic top-$k$ routing can reduce computation without retraining, but existing methods often overlook the distributional shift caused by deviating from the training-time routing configuration. We show that reducing the number of activated experts consistently increases the RMS scale and variance of SMoE outputs, inducing a representation mismatch that contributes to downstream performance degradation in addition to the loss of expert capacity. To address this correctable component, we propose Layer-wise Distribution Alignment (LDA), a lightweight inference-time correction that uses layer-wise calibration statistics to align reduced-routing representations with the default configuration. Across multiple SMoE LLMs, benchmarks, and routing strategies, LDA recovers much of the performance lost induced by the distributional shift under reduced routing while preserving sparse-inference efficiency with negligible overhead.
• Abstract（参考訳）: Mixture-of-Experts (MoE)アーキテクチャは、大規模な基盤モデルにおいて効率的な推論を保ちながら、モデルのキャパシティをスケーリングするための強力なパラダイムとして登場した。 しかし、ほとんどのMoEモデルは、専門家が少なくても、すべてのトークンに同じ専門家予算を割り当てる、固定された最高額のエキスパート選択ポリシーを使用している。 Inference-time dynamic top-k$ routingは再トレーニングせずに計算を削減できるが、既存の手法ではトレーニング時ルーティング設定から逸脱した分散シフトを無視することが多い。 アクティベートされた専門家の数を減らせば、RMSスケールとSMoE出力のばらつきが一貫して増加し、専門家能力の喪失に加えて、下流のパフォーマンス劣化に寄与する表現ミスマッチが引き起こされることを示す。 この補正可能なコンポーネントに対処するために,レイヤワイズ・アライメント・アライメント(LDA, Layer-wise Distribution Alignment)を提案する。 複数のSMoE LLM、ベンチマーク、ルーティング戦略全体にわたって、LDAは、低ルーティング下での分散シフトによって失われたパフォーマンスの大部分を回復すると同時に、スパース推論効率を無視できないオーバーヘッドで保持する。

関連論文リスト

• REFLEX: Rethinking MoE Inference as Refinement-Aware Compute Allocation in Diffusion Language Models [15.630466998208261]
  Mixture-of-experts (MoE)モデルはトークンごとに少数の専門家のみを活性化することでパラメータ容量を増加させる。 しかし、拡散言語モデル(DLMs)では、それぞれが高度に異なる洗練された要求にもかかわらず、全てのトークンの位置を共同で再定義する。 したがって、DLMにおけるMoE推論は、不均一なトークン精錬状態にまたがる洗練された計算割り当てと見なされるべきである。
  論文  参考訳（メタデータ） (2026-08-03T06:59:06Z)
• Multi-Bitwidth Quantization for LLMs Using Additive Codebooks [12.237109162791091]
  大規模言語モデル(LLM)は、リソース制約の異なる異種ハードウェアに徐々に展開されている。 本研究では,1つのトレーニングモデルからLLM重みの推測時間精度制御を可能にする,新しい学習後量子化フレームワークであるDrop-by-Dropを提案する。
  論文  参考訳（メタデータ） (2026-06-11T04:06:02Z)
• When Model Merging Breaks Routing: Training-Free Calibration for MoE [67.27839627141972]
  Hessian-Aware Router (HARC) は、二階曲率情報を利用してマージされたルータを認識できるトレーニングフリーのフレームワークである。 数学的推論とコード生成タスクの実験は、HARCが様々なMoEマージベースライン間のルーティングの分解を効果的に軽減していることを示している。
  論文  参考訳（メタデータ） (2026-06-02T09:33:33Z)
• $φ$-Balancing for Mixture-of-Experts Training [20.061328126956028]
  Mixture-of-Experts (MoE)モデルは、そのスケーラビリティを完全に実現するために、バランスのとれた専門家の利用に依存します。 我々は,厳密な凸性,対称性,および予測されるルーティング分布の微分ポテンシャルを最小化することにより,集団レベルの専門家バランスを直接ターゲットとする原則的フレームワークである$-balancingを提案する。
  論文  参考訳（メタデータ） (2026-05-14T20:39:28Z)
• Self-Distilled Trajectory-Aware Boltzmann Modeling: Bridging the Training-Inference Discrepancy in Diffusion Language Models [65.89572755202245]
  拡散言語モデル(DLM)は、より強力なグローバル認識と高い並列生成を提供する。 標準負のエビデンス下界(NELBO)に基づく教師付き微調整後のDLMは非効率である。 そこで本研究では,学習を推論の容易かつハードな構造に整合させる,自己蒸留軌道に基づくポストトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-12T09:39:06Z)
• Multi-Domain Learning with Global Expert Mapping [102.62297074508147]
  Mixture-of-Experts (MoE)モデルは、入力を専門分野(専門家)にルーティングすることでスケーラブルなソリューションを提供する。 本稿では,学習ルータをグローバルスケジューラに置き換えるプランナー・コンパイラフレームワークであるGEMを提案する。 我々のプランナーは線形プログラミングの緩和に基づいて、データセットを専門家に分数的に割り当てる一方、コンパイラはこのソフトプランを決定論的でキャパシティを意識したマッピングに変換するために階層的なラウンドリングを適用する。 実験の結果、GEM-DINOはUODBベンチマークで最先端のパフォーマンスを達成し、表現不足のデータセットに顕著な利益をもたらし、タスク干渉をわずかに解決していることがわかった。
  論文  参考訳（メタデータ） (2026-04-20T21:09:34Z)
• A Replicate-and-Quantize Strategy for Plug-and-Play Load Balancing of Sparse Mixture-of-Experts LLMs [64.8510381475827]
  SMOE(Sparse Mixture-of-Experts)アーキテクチャは、大規模言語モデルを効率的にスケールするためにますます使われている。 SMoEモデルは専門家間で厳しい負荷不均衡に悩まされることが多く、専門家のごく一部がほとんどのトークンを受け取り、他のモデルは未利用である。 推定中のエキスパートルーティングの体系的解析を行い, (i) 負荷不均衡が持続し, バッチサイズが大きくなる, (ii) 選択頻度が, 専門家の重要度を確実に反映しない, (iii) 専門家の全体負荷と重要性を, キャリブレーションセットを用いて推定できる,という3つの知見を同定する。
  論文  参考訳（メタデータ） (2026-02-23T15:11:16Z)
• DSMoE: Matrix-Partitioned Experts with Dynamic Routing for Computation-Efficient Dense LLMs [86.76714527437383]
  本稿では,事前学習したFFN層を計算ブロックに分割することで,分散化を実現するDSMoEを提案する。 我々は,Sigmoid アクティベーションとストレートスルー推定器を用いた適応型エキスパートルーティングを実装し,トークンがモデル知識の様々な側面に柔軟にアクセスできるようにする。 LLaMAモデルを用いた実験により、DSMoEは既存のプルーニング法やMoE法に比べて優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2025-02-18T02:37:26Z)
• FedDIP: Federated Learning with Extreme Dynamic Pruning and Incremental Regularization [5.182014186927254]
  大規模Deep Neural Networks(DNN)の分散トレーニングと推論にFL(Federated Learning)が成功している。 我々は、(i)動的プルーニングとエラーフィードバックを組み合わせて冗長な情報交換を排除する新しいFLフレームワーク(Coined FedDIP)にコントリビュートする。 我々は、FedDIPの収束解析と総合的な性能について報告し、最先端手法との比較評価を行う。
  論文  参考訳（メタデータ） (2023-09-13T08:51:19Z)
• Overcoming Distribution Mismatch in Quantizing Image Super-Resolution Networks [53.23803932357899]
  量子化は画像超解像(SR)ネットワークの精度を低下させる。 既存の作業は、テスト時間中に量子化範囲を動的に適応することで、この分散ミスマッチ問題に対処する。 本稿では,SRネットワークにおける分散ミスマッチ問題を効果的に克服する量子化対応学習手法を提案する。
  論文  参考訳（メタデータ） (2023-07-25T08:50:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。