論文の概要: Dense Mixture-of-Experts as a Reparameterized Wide FFN: A Granularity Sweep at Fixed Compute

• arxiv url: http://arxiv.org/abs/2610.02584v1
• Date: Thu, 01 Oct 2026 23:31:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.123539
• Title: Dense Mixture-of-Experts as a Reparameterized Wide FFN: A Granularity Sweep at Fixed Compute
• Title（参考訳）: 再パラメータ化ワイドFFNとしてのDense Mixture-of-Experts: A Granularity Sweep at Fixed Compute
• Abstract要約: MoEモデルは、学習したルーティングと、大規模なエキスパートプールの選択を組み合わせる。 このアーキテクチャは、トークン依存の単純なグループスケーリングを持つ密集SwiGLUであることを示す。
• 参考スコア（独自算出の注目度）: 1.4610038284393168
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Sparse Mixture-of-Experts (MoE) models combine learned routing with selection from a large expert pool. We isolate the contribution of dynamic expert combination using a dense analogue: $K$ SwiGLU experts, all active for every token and combined by a softmax gate, at fixed total FFN width. With no larger pool or discrete selection, the dense baseline is the $K=1$ case. Validation loss varies non-monotonically with $K$: $K=2$ improves over the baseline by $0.0048$, whereas $K=4$ and $K=6$ worsen it by $0.0053$ and $0.0197$, respectively. Routing generally remains soft and expert usage balanced, except in the first layer of the $K=4$ model, where routing is nearly one-hot. Forcing this gate to uniform increases loss by $2.4$ nats on a diagnostic subset, indicating that its concentrated routing is functionally important. We further show that the architecture is exactly a dense SwiGLU with token-dependent, simplex-constrained group scaling and contains the dense baseline in its function class. These single-run results suggest a granularity sweet spot for always-active, softly gated FFNs at fixed width, with $K=2$ performing best among the configurations tested.
• Abstract（参考訳）: Sparse Mixture-of-Experts (MoE)モデルは、学習したルーティングと、大規模なエキスパートプールの選択を組み合わせる。 我々は、高密度なアナログを用いて、動的専門家の組み合わせの寄与を分離する:$K$ SwiGLU Expert, all active for every token and combined by a softmax gate, at fixed total FFN width。 より大きなプールや離散的な選択がなければ、密度の高いベースラインは$K=1$ケースである。 一方、$K=4$と$K=6$はそれぞれ0.0053$と$0.0197$である。 ルーティングは一般的に、K=4$モデルの最初のレイヤを除いて、ソフトで専門家の使い方のバランスが保たれています。 このゲートの均一化を強制すると、診断サブセットの損失が2.4$Nats増加し、集中的なルーティングが機能的に重要であることを示す。 さらに、このアーキテクチャはトークン依存の単純制約群スケーリングを持つ密集SwiGLUであり、関数クラスに密接なベースラインを含むことを示す。 これらのシングルラン結果は、常にアクティブでソフトにゲートされたFFNを一定の幅で調整し、テストされた構成の中で最高性能の$K=2$の粒度スイートスポットを示唆している。

関連論文リスト

• Learning to Cover Locally: Graph Neural Combinatorial Optimization under a Hard Information Horizon [0.44333156307871585]
  我々は、各ノードがグローバルなソリューションの共有にコミットするハード情報水平線の下で最適化を研究する。 我々はこれを局所集合被覆として定式化し、重み付きマルチポイントリレー(MPR)選択でインスタンス化する。
  論文  参考訳（メタデータ） (2026-09-30T15:23:36Z)
• SILAGE: Memory-Efficient, Full-Gradient-Free Nonconvex Optimization for Nested Finite Sums [51.49970814177172]
  データセットに対する経験的リスクは、自然に$N=nm$全サンプルに類似性を示す。 我々は悲観的な収束分析を避ける分析を提供する。 我々の成果は、既存の最先端の体制を改善した。
  論文  参考訳（メタデータ） (2026-06-14T14:11:07Z)
• Multiple-play Stochastic Bandits with Prioritized Arm Capacity Sharing [52.124267908936396]
  このモデルは、$M$armと$K$playで構成されている。 各アームには複数の能力があり、各ユニットの能力は報酬関数に関連付けられている。 複数のプレーがアームキャパシティを競う場合、アームキャパシティは第1の優先重みで割り当てられる。
  論文  参考訳（メタデータ） (2025-12-25T11:19:09Z)
• Trade-off in Estimating the Number of Byzantine Clients in Federated Learning [51.015234193544636]
  フェデレート学習は、誤ったシグナルを送信できるビザンティンのクライアントにとって脆弱である。 我々は、過小評価(hatfge f$)が、アグリゲータとフェデレーションドラーニングの両方において、任意に貧弱なパフォーマンスをもたらすことを示した。 これらの最適境界はすべて$hatf/(n-f-hatf)$と$n$クライアントに比例し、より大きい$hatf$で単調に増加する。
  論文  参考訳（メタデータ） (2025-10-06T02:01:56Z)
• Near-Optimal Regret for Efficient Stochastic Combinatorial Semi-Bandits [12.655523567240042]
  Minimax Optimal Strategy (CMOSS) は、半帯域フィードバックの下で$Obig(log k)2sqrtkmTbig )$のインスタンスに依存しない後悔を実現する。 CMOSSは、残念なランタイムと効率の両方でベンチマークアルゴリズムを一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2025-08-08T12:01:50Z)
• Proving the Limited Scalability of Centralized Distributed Optimization via a New Lower Bound Construction [57.93371273485736]
  我々は、すべての労働者が同一の分布にアクセスする均質な(すなわちd.d.)場合であっても、すべての労働者が非バイアス付き境界 LDeltaepsilon2,$$$$$ のポリ対数的により良いポリ対数を求める集中型分散学習環境を考える。
  論文  参考訳（メタデータ） (2025-06-30T13:27:39Z)
• Learning Networks from Wide-Sense Stationary Stochastic Processes [7.59499154221528]
  ここでの重要な推論問題は、ノード出力(ポテンシャル)からエッジ接続を学習することである。 我々はWhittleの最大可能性推定器(MLE)を用いて時間相関サンプルから$Last$のサポートを学習する。 MLE問題は厳密な凸であり、ユニークな解であることを示す。
  論文  参考訳（メタデータ） (2024-12-04T23:14:00Z)
• A General Framework for Robust G-Invariance in G-Equivariant Networks [5.227502964814928]
  群同変畳み込みニューラルネットワーク(G$-CNN)におけるロバストなグループ不変性を実現するための一般的な方法を提案する。 三重相関の完全性は、強い強靭性を持つ$G$-TC層を与える。 この手法の利点を可換群と非可換群の両方に示す。
  論文  参考訳（メタデータ） (2023-10-28T02:27:34Z)
• Fine-Grained Gap-Dependent Bounds for Tabular MDPs via Adaptive Multi-Step Bootstrap [84.66885506098724]
  本稿では,アダプティブ・マルチステップ・ブートストラップ (AMB) を用いた表層有限水平マルコフ決定過程 (MDP) のモデルフリーアルゴリズムを提案する。 AMBは,部分最適ギャップの逆の和でのみスケールする,ギャップ依存的後悔境界を達成できることを示す。 また、AMB は $frac|Z_mul|Delta_min$ regret という追加の $frac|Z_mul|Delta_min$ を被っていることも示しています。
  論文  参考訳（メタデータ） (2021-02-09T07:46:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。