論文の概要: Smoothing the Top-k Exposure Boundary for Sparse Mixture-of-Experts
- arxiv url: http://arxiv.org/abs/2610.11575v3
- Date: Mon, 12 Oct 2026 11:13:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-14 23:39:49.787341
- Title: Smoothing the Top-k Exposure Boundary for Sparse Mixture-of-Experts
- Title（参考訳）: Sparse Mixture-of-Expertsのためのトップk露光境界の平滑化
- Abstract要約: 本稿では, 分散分布の局所化から, アクティブなエキスパート予算を$k$とするElastic Expert Routingを提案する。
サンプリング近傍は対称のままであるため、この手法は決定論的トレーニングの予測計算コストと一致する。
オフスクラッチ事前トレーニングでは、検証LM損失を0.04ドルまで減らし、静的のトップ$k$ベースラインを平均16ドルポイント上回る。
- 参考スコア（独自算出の注目度）: 45.31502436468577
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Sparse Mixture-of-Experts models scale parameter capacity efficiently while maintaining a fixed compute budget per token. However, traditional training paradigms enforce a static choice of top-$k$ experts, which converts a continuous routing distribution into a rigid step function. This constraint introduces a brittle boundary where highly competitive experts are arbitrarily separated into full-supervision and zero-feedback zones based on minor score fluctuations. To address this issue, we propose Elastic Expert Routing, which stochastically samples the active expert budget from a localized discrete distribution centered at $k$. Over multiple training iterations, this mechanism softens the sharp threshold into a gradual probability distribution. Because the sampling neighborhood remains symmetric, this approach matches the expected computational cost of deterministic training, while preserving the inference budget. During supervised fine-tuning, elastic routing improves downstream macro-averages on OLMoE-1B-7B and Qwen3-30B-A3B by $+0.84$ and $+2.02$ points, respectively. In addition, in from-scratch pretraining, it reduces validation LM loss by up to $0.04$ and outperforms the static top-$k$ baseline by $1.6$ points on average across downstream tasks. Comparisons on Qwen3 fine-tuning and from-scratch pretraining further show higher average scores than Noisy top-$k$, expert FFN dropout, and DefaultMoE.
- Abstract（参考訳）: Sparse Mixture-of-Expertsモデルはトークン当たりの固定計算予算を維持しながらパラメータ容量を効率的にスケールする。
しかし、従来のトレーニングパラダイムは、連続的なルーティング分布を厳格なステップ関数に変換する、トップ$のエキスパートの静的な選択を強制する。
この制約は、競争の激しい専門家が、微妙なスコア変動に基づいて、任意にフルスーパービジョンとゼロフィードバックゾーンに分離される不安定な境界を導入する。
この問題に対処するため、我々はElastic Expert Routingを提案し、これは、$k$を中心とする局所的な離散分布からアクティブなエキスパート予算を統計的にサンプリングする。
複数の訓練を繰り返し、このメカニズムは鋭い閾値を徐々に確率分布に軟化させる。
サンプリング地区は対称のままであるため、この手法は推論予算を保ちながら決定論的トレーニングの予測計算コストと一致する。
教師付き微調整中、弾性ルーティングはOLMoE-1B-7BとQwen3-30B-A3Bの下流マクロアベラグをそれぞれ$+0.84$と$+2.02$ポイント改善する。
さらに、オフスクラッチ事前トレーニングでは、検証LM損失を0.04ドルまで減らし、ダウンストリームタスク全体で平均16ドルポイントの静的トップ値のベースラインを上回ります。
Qwen3ファインチューニングとオフスクラッチプレトレーニングの比較では、Noisy Top-k$, Expert FFN dropout, DefaultMoEよりも平均スコアが高かった。
関連論文リスト
- Decentralized SGD under Heavy-Tailed Noise: Optimal Convergence Rates and the Role of Gradient Clipping [69.90407799170687]
重尾線形ノイズは、クリッピングや正規化といった手法を用いて、現代の機械学習で広く観測されている。
近年の研究では、準最適非最適最適化と重み付き雑音下での正規化の両方が示されている。
分散した設定では正規化されているが、$ttDSGD$は失敗し、高次の用語では$ttDSGD$は成功します。
論文 参考訳（メタデータ） (2026-10-07T17:57:58Z) - Clustered Randomized Smoothing for Stochastic Prediction Functions [8.570050655718417]
任意のクラスタリングアルゴリズムを用いてノイズの多いサンプルを分割し,各クラスタ内で局所的に$$$smoothingを適用するフレームワークを提案する。
滑らかな分布を$$-smootherの混合として解釈することにより、滑らかな予測がコンパクト領域の和集合内にある確率の低い境界を導出する。
2つのベンチマークで我々のフレームワークを実証的に評価し、最先端の手法よりも大幅に改善した。
論文 参考訳（メタデータ） (2026-08-12T13:20:36Z) - Between-User Collapse Under Popularity-Biased Feedback: A Centered-Covariance Theorem and Computable Phase Boundary [0.0]
我々は,人気度の高いBPRトレーニングが,協調フィルタリング埋め込みのユーザ間幾何学にどう影響するかを考察する。
定常アイテムによる人気バイアスのあるフィードバックの下では、$C$は安定した状態に収束する。
次に、その効果の限界について検討する。
論文 参考訳（メタデータ） (2026-08-03T17:33:25Z) - Distribution-Aware Robust Bilevel Optimization: Quantile-Guided Huber Updates in Two-Timescale Stochastic Approximation [16.106678611834102]
双レベル最適化(BLO)は階層的な決定には基本的だが、重み付き雑音下での臨界不安定性に悩まされている。
既存の技術は通常、等級チェックに依存しており、情報的幾何学的信号と外れ値の区別に失敗する。
論文 参考訳（メタデータ） (2026-06-21T10:57:37Z) - MARBLE: Multi-Aspect Reward Balance for Diffusion RL [71.6241143519038]
強化学習は、拡散モデルと人間の嗜好を整合させる主要なアプローチとなっている。
既存のプラクティスは、報酬ごとに1つのスペシャリストモデルをトレーニングすることで、複数の報酬を処理します。
我々は,各報酬に対する独立な優位推定器を維持する勾配空間最適化フレームワークMARBLEを提案する。
論文 参考訳（メタデータ） (2026-05-07T16:20:42Z) - Optimal Unconstrained Self-Distillation in Ridge Regression: Strict Improvements, Precise Asymptotics, and One-Shot Tuning [61.07540493350384]
自己蒸留(英: Self-distillation, SD)とは、教師自身の予測と地道の混合で学生を訓練する過程である。
任意の予測リスクに対して、各正規化レベルにおいて、最適に混合された学生がリッジ教師に改善されることが示される。
本稿では,グリッド探索やサンプル分割,再構成なしに$star$を推定する一貫したワンショットチューニング手法を提案する。
論文 参考訳（メタデータ） (2026-02-19T17:21:15Z) - RanSOM: Second-Order Momentum with Randomized Scaling for Constrained and Unconstrained Optimization [1.3537117504260623]
Polyak's Heavy Ballのようなモメンタム法はディープネットワークのトレーニングの標準であるが、設定の曲率に起因したバイアスに悩まされている。
textbfRanSOMは、決定論的ステップサイズを、平均$_t$で分布から引き出されたランダム化ステップに置き換えることで、このバイアスを解消する統合フレームワークである。
我々はこのフレームワークを,制約のない最適化のための textbfRanSOM-E と制約のない最適化のための textbfRanSOM-B の2つのアルゴリズムでインスタンス化する。
論文 参考訳（メタデータ） (2026-02-06T16:09:36Z) - Meta Flow Maps enable scalable reward alignment [22.109809498990362]
生成モデルの制御には計算コストがかかる。
これは、推論時ステアリングや微調整による報酬関数の最適アライメントが、値関数を推定することを要求するためである。
フレームワークの一貫性モデルであるMeta Flow Map (MFM)を導入し、フローマップをシステムの拡張に適用する。
論文 参考訳（メタデータ） (2026-01-20T19:39:56Z) - An Efficient Rehearsal Scheme for Catastrophic Forgetting Mitigation during Multi-stage Fine-tuning [55.467047686093025]
このような忘れを緩和するための一般的なアプローチは、微調整中に以前のタスクからサンプルをリハーサルすることである。
側方損傷のリハーサルを優先するサンプリング手法である textttbf mix-cd を提案する。
我々の手法は計算効率が高く、実装が容易で、計算制約のある設定においていくつかの主要な連続学習手法より優れています。
論文 参考訳（メタデータ） (2024-02-12T22:32:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。