論文の概要: Softmax Routing Dynamics in Mixture-of-Experts Models: Collapse and Recovery

• arxiv url: http://arxiv.org/abs/2610.39442v1
• Date: Thu, 29 Oct 2026 06:16:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.466254
• Title: Softmax Routing Dynamics in Mixture-of-Experts Models: Collapse and Recovery
• Title（参考訳）: 混合実験モデルにおけるソフトマックスルーティングダイナミクス:崩壊と回復
• Abstract要約: エキスパートの混合モデルにおけるソフトマックスルーティングは、専門家のサブセットに確率を集中させ、他のモデルへのアクセスを抑制することができる。 我々は、この濃度がどのように形成し、なぜ持続し、どのように抑制された確率が回復するかを研究する。 ペア型Transformer-MoEトレーニングでは、クラス条件のルータ勾配コントラストを削除することで、リカバリが確認され、固定トークンに蓄積されたログノードが削減される。
• 参考スコア（独自算出の注目度）: 24.476482396642993
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Softmax routing in mixture-of-experts models can concentrate probability on a subset of experts, suppressing access to the others. We study how this concentration forms, why it persists, and how suppressed probabilities recover. For fixed experts, a stationary-loss barrier identifies the face supporting the optimal routed output. In a common-target square-loss model with freely trainable expert outputs, slow adaptation tracks fixed-expert dynamics on finite horizons, while every fixed positive adaptation rate yields an interior routing limit. An exact normal-velocity decomposition separates complementary-expert covariance from relative gradient advantage. Under positive two-sided power bounds along recovery paths, uniform over initial masses, the resulting coefficient's order of vanishing gives logarithmic or power-law recovery times. Integrations of constructed fields reproduce these orders. An exact discrete log-odds identity relates neural updates to threshold crossing. In paired Transformer-MoE training, removing a class-conditional router-gradient contrast delays confirmed recovery and reduces accumulated log-odds on fixed tokens, both with and without capacity constraints.
• Abstract（参考訳）: エキスパートの混合モデルにおけるソフトマックスルーティングは、専門家のサブセットに確率を集中させ、他のモデルへのアクセスを抑制することができる。 我々は、この濃度がどのように形成し、なぜ持続し、どのように抑制された確率が回復するかを研究する。 固定専門家にとって、固定損失障壁は最適経路出力を支持する面を特定する。 訓練可能な専門家出力を持つ共通ターゲット2乗モデルでは、遅い適応は有限地平線上の固定された専門的ダイナミクスをトラックし、固定された正の適応率は内部のルーティング限界をもたらす。 正確な正規速度分解は、相対勾配の利点から相補的-専門的共分散を分離する。 回復経路に沿って正の両側のパワーバウンドの下では、初期質量を均一に保ち、結果として得られる係数の消滅順序は対数的または電力法的な回復時間を与える。 構築されたフィールドの統合は、これらの順序を再現します。 正確な離散対数IDは、ニューラルネットワークの更新としきい値交差を関連付ける。 ペア化されたTransformer-MoEトレーニングでは、クラス条件のルータ勾配コントラストを削除することで、リカバリが確認され、キャパシティ制約の有無に関わらず、固定トークン上の累積ログノードが削減される。

関連論文リスト

• IDRF: Inverse-Distilled Reward Fine-tuning of Masked Discrete Diffusion Models [65.81561972026121]
  マスク付き離散拡散モデルは自己回帰生成に代わる有望な選択肢を提供する。 数ステップのマスク付き離散拡散発生器の微調整を行うためのフレームワークIDRFを紹介する。 DNA、画像、テキスト生成全体にわたって、IDRFは、参照よりも高い報酬を最大32倍のデノイングステップで達成している。
  論文  参考訳（メタデータ） (2026-10-02T17:29:22Z)
• Scale-Consistent Posterior Dynamics for Diffusion Inverse Problems [16.685352002333225]
  事前訓練された拡散前の後方サンプリングは、一般に難易度成分を有する条件付きスコアによって管理される。 クリーン後部にターゲットが近づいた騒音条件付き経路が連続的なサロゲートSDEを生成することを示す。 FFHQ と ImageNet の100点評価実験により,超解像および分解能の競争再現性を示す。
  論文  参考訳（メタデータ） (2026-08-15T09:38:41Z)
• Information-Calibrated Quantum Diffusion: Aligning Forward Noise with Reverse Recoverability [10.481986290704821]
  古典量子情報デクリメント $_t=I(X:Q_t-1)-I(X:Q_t) を固有拡散座標として導入する。 偏極化とともに$_t$が等しくなると、前方情報損失の唯一の最小値の離散化が得られる。
  論文  参考訳（メタデータ） (2026-08-14T08:44:51Z)
• Volterra Generative Models [0.0]
  本稿では,Volterra生成モデルについて紹介する。 我々は、二乗誤差境界を証明し、拡張線形ガウス前方過程を導出し、学習がデータ次元のままであることを示す。 MNISTとCIFAR-10の実験では、小さなマルコフリフトによる持続的な分数摂動がスコアベース生成を改善することが示されている。
  論文  参考訳（メタデータ） (2026-06-16T15:40:09Z)
• When Model Merging Breaks Routing: Training-Free Calibration for MoE [67.27839627141972]
  Hessian-Aware Router (HARC) は、二階曲率情報を利用してマージされたルータを認識できるトレーニングフリーのフレームワークである。 数学的推論とコード生成タスクの実験は、HARCが様々なMoEマージベースライン間のルーティングの分解を効果的に軽減していることを示している。
  論文  参考訳（メタデータ） (2026-06-02T09:33:33Z)
• A lift for input-convex neural network training [3.142113135607563]
  In Inputdimensional Neural Network (ICNN) は、対数凹密度推定、凸ポテンシャル正規化フロー、最適輸送、後部へのトランスポートマップインバージョンに使用される。 非負の円錐への標準射影勾配降下(PGD)は、硬く非滑らかな投影を施す。 微分可能な代替品であるソフト・プラス・リパラメトリゼーション (Softplus reparametrization) は、重量級数で指数関数的に勾配を減衰させ、層間重量損失を減少させる訓練を停止させる。 揚力はPGDと直接ソフトプラスよりも低い試験損失を示し,プラトーバウンドトレーニングを1つにする。
  論文  参考訳（メタデータ） (2026-05-22T22:59:11Z)
• Clipping Bottleneck: Stabilizing RLVR via Stochastic Recovery of Near-Boundary Signals [83.0127582612634]
  Near-boundary Rescue (NSR) は最小限のプラグ・アンド・プレイの修正であり、失った信号を回復するために、アウト・オブ・バウンドトークンを保持する。 NSRはトレーニングの安定性を大幅に改善し、DAPOやGSPOといった強力なベースライン上で一貫したゲインを提供する。
  論文  参考訳（メタデータ） (2026-05-21T16:45:31Z)
• Next-Acceleration-Scale Prediction for Autoregressive MRI Reconstruction [52.32112533846212]
  MRI再建は本質的に不完全な逆問題である。 この制限は、再構成を離散的なマルチスケールの潜在空間に移動させ、自己回帰的次加速スケールの予測として機能させることによって解決する。 提案手法は,過度のアンサンプ下での多種多様なサンプリングパターンの再構成性能の向上を図っている。
  論文  参考訳（メタデータ） (2026-05-19T04:40:50Z)
• MARBLE: Multi-Aspect Reward Balance for Diffusion RL [71.6241143519038]
  強化学習は、拡散モデルと人間の嗜好を整合させる主要なアプローチとなっている。 既存のプラクティスは、報酬ごとに1つのスペシャリストモデルをトレーニングすることで、複数の報酬を処理します。 我々は,各報酬に対する独立な優位推定器を維持する勾配空間最適化フレームワークMARBLEを提案する。
  論文  参考訳（メタデータ） (2026-05-07T16:20:42Z)
• Generalizing GNNs with Tokenized Mixture of Experts [75.8310720413187]
  安定性の向上には,変化に敏感な特徴への依存を低減し,既約最悪の一般化フロアを残す必要があることを示す。 本研究では,STEM-GNNを提案する。STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN。 9つのノード、リンク、グラフのベンチマークで、STEM-GNNはより強力な3方向バランスを実現し、クリアグラフ上での競争力を維持しながら、次数/ホモフィリーシフトや特徴/エッジの破損に対する堅牢性を改善している。
  論文  参考訳（メタデータ） (2026-02-09T22:48:30Z)
• On the Collapse of Generative Paths: A Criterion and Correction for Diffusion Steering [29.633206995806542]
  インタイムステアリングにより、事前トレーニングされた拡散/フローモデルを、再トレーニングせずに新しいタスクに適合させることができる。 この構造には批判的かつ以前は形式化されていなかった障害モード(Marginal Path Collapse)がある。 本稿では,Feynman-Kac ステアリングを時間変化指数に拡張する Adaptive path Correction with Exponents (ACE) を提案する。
  論文  参考訳（メタデータ） (2025-12-11T06:44:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。