論文の概要: DivMoE: Fine-Grained MoE Upcycling via Cross-Domain Expert Composition
- arxiv url: http://arxiv.org/abs/2610.11317v1
- Date: Thu, 08 Oct 2026 06:23:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 02:36:53.832057
- Title: DivMoE: Fine-Grained MoE Upcycling via Cross-Domain Expert Composition
- Title（参考訳）: DivMoE: クロスドメインエキスパートコンポジションによる細粒MoEアップサイクリング
- Abstract要約: DivMoEは、構造的バランスの取れたルーティングできめ細かいMoEアップサイクルを実現する最初のフレームワークである。
2つのベースモデルと15のベンチマークで、DivMoEは一貫して6つのアップサイクルベースラインを上回っている。
- 参考スコア（独自算出の注目度）: 19.57775517367345
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Mixture-of-Experts (MoE) architectures have become essential for scaling large language models, with recent work demonstrating the benefits of fine-grained expert designs. Training such models from scratch is expensive, and sparse upcycling from pre-trained dense models is an attractive alternative. However, we identify a structural pathology of fine-grained upcycling: when fine-grained experts are derived from a single source model, naive routing collapses and downstream accuracy drops to near-random (e.g., on Qwen3-1.7B, Drop-Upcycling-fine-grained reaches only 23.2% average accuracy across 15 benchmarks, essentially matching from-scratch training at 22.2%, while the same method's coarse-grained variant reaches 50.2%). We propose DivMoE, the first framework achieving fine-grained MoE Upcycling with structurally-balanced routing. DivMoE introduces domain-specialized fine-grained expert initialization, deriving experts from dense models that have undergone domain-adaptive continual pre-training, and diversity-constrained routing, a hard structural constraint guaranteeing that each token activates experts from distinct domain groups. Across two base models and 15 benchmarks, DivMoE consistently outperforms six upcycling baselines (55.6% vs. 51.6% for the strongest baseline on Qwen3-1.7B) and strictly improves over the dense base model on every benchmark after Stage 2 continual pre-training -- closing the regression gap that has plagued prior fine-grained upcycling. After supervised fine-tuning on a public reasoning mixture, our 12B-parameter DivMoE model matches Moonlight-MoE (16B) at 64.5% average accuracy while outperforming a controlled NVIDIA-Upcycling baseline by 6.1 percentage points.
- Abstract（参考訳）: Mixture-of-Experts (MoE)アーキテクチャは、大規模な言語モデルをスケールするために欠かせないものとなっている。
このようなモデルをスクラッチからトレーニングすることは高価であり、事前訓練された高密度モデルからのスパースアップサイクルは魅力的な代替手段である。
しかし, 微粒化の専門家が単一ソースモデルから抽出された場合, ネーブな経路崩壊と下流の精度がほぼランダムに低下する(例えばQwen3-1.7Bでは, ドロップアップサイクルの微粒化は15ベンチマークで23.2%, 本質的には22.2%, 粗粒化は50.2%)。
そこで我々は,構造的バランスの取れたルーティングによる微細なMoEアップサイクリングを実現する最初のフレームワークであるDivMoEを提案する。
DivMoEでは、ドメイン適応型連続事前学習を行う高密度モデルと、各トークンが異なるドメイングループから専門家を活性化することを保証する厳密な構造的制約であるダイバーシティ制約ルーティングから専門家を引き出す、ドメイン特化されたきめ細かい専門家初期化を導入している。
2つのベースモデルと15のベンチマークで、DivMoEは継続的に6つのアップサイクリングベースライン(Qwen3-1.7Bで最強のベースラインで55.6%対51.6%)を上回り、ステージ2の連続事前トレーニングの後、全てのベンチマークで密度の高いベースモデルよりも厳格に改善されている。
12BパラメーターのDivMoEモデルは、公共の推論混合物を微調整した後、64.5%の平均精度でMoonlight-MoE (16B)と一致し、制御されたNVIDIA-Upcyclingベースラインを6.1ポイント上回った。
関連論文リスト
- On the Limits of Univariate Deep Learning for Significant Wave Height Forecasting [0.0]
すべてのマルチブイトライアルが永続性(平均スキル+0.062)を破りますが、アーキテクチャが他のものより一貫して優れています。
単一ブイ実験では、5回の試行が持続性を下回る12-24hで、家族ごとのQ4/Q3テストMSE比は2.4から2.6の範囲で、深層モデルは最も極端な1%の波に対して持続性を示す。
論文 参考訳（メタデータ） (2026-09-25T01:51:57Z) - RARE: Decoupling Representation Steering from Expert Routing in Mixture-of-Experts Language Models [13.298401993417611]
本稿では,MoE言語モデルのためのルータに依存しない表現工学フレームワークを提案する。
RAREは任意の挙動摂動をルータ行列のヌル空間に投影し、ルータ可視成分を除去する。
有害なステアリングでは、RAREは平均攻撃成功率53.3%に達し、67.8%のMMLU精度を維持している。
論文 参考訳（メタデータ） (2026-08-21T15:45:36Z) - UMoE:Unlocking Every Expert in Domain-Specific Training [21.878914936561486]
Mixture-of-Experts (MoE)モデルは、比例計算コストなしでキャパシティをスケールする。
我々は、微調整前にエキスパートプールをターゲットドメインに設定する、シンプルな、予算保存パイプラインを提案する。
論文 参考訳（メタデータ） (2026-07-13T11:52:42Z) - Attribution-Guided and Coverage-Maximized Pruning for Structural MoE Compression [74.00650541246374]
そこで本研究では,MoEモデルに適した構造解析フレームワークを提案する。
我々のアプローチはメモリフットプリントを5.27$times削減し、最先端のベースラインを一貫して上回っている。
論文 参考訳（メタデータ） (2026-06-16T06:53:27Z) - SPRI: SVD-Partitioned Residual Initialization for Data-Constrained MoE Upcycling [58.910165627759824]
Mixture-of-Experts (MoE)モデルは効率的なスケーリングを可能にするが、それらをスクラッチからトレーニングすることは違法に高価である。
MoEは、トレーニング済みの高密度モデルをスパースMOEモデルに変換することで、このコストを軽減します。
本稿では,SVD-Partitioned Residual Initialization (SPRI)を提案する。
論文 参考訳（メタデータ） (2026-06-15T09:28:24Z) - Pruning and Distilling Mixture-of-Experts into Dense Language Models [13.03679207895992]
Mixture-of-Experts (MoE) は現在、フロンティア言語モデルの主要なアーキテクチャである。
トレーニングされたMoEを標準の完全高密度アーキテクチャに変換するための,最初の体系的フレームワークを提案する。
我々は,Qwen3-30B-A3Bを用いて,7つのスコア,5つのグループ化,および2つのスケール法を評価し,350の構成を得た。
論文 参考訳（メタデータ） (2026-05-27T09:27:36Z) - Hierarchical Mixture-of-Experts with Two-Stage Optimization [84.70724165894501]
ルーティング制御を2つの結合レベルに分解するグループ化されたMoEフレームワークであるHi-MoEを提案する。
我々は,最近のスパースルーティングやグループ化されたMoEベースラインに対する一貫した改善をNLPおよびビジョンベンチマークで観察する。
58Bトークンの大規模事前トレーニングでは、Hi-MoE-7Bは5.6%のパープレキシティ低減と、OLMoE-7Bよりも40%のエキスパートバランスの改善を実現している。
論文 参考訳（メタデータ） (2026-05-08T09:21:46Z) - GRIN: GRadient-INformed MoE [132.87651078514122]
Mixture-of-Experts (MoE)モデルは、エキスパートルーティングによるスパース計算により、密度の高いモデルよりも効果的にスケールする。
エキスパートルーティングのためのスパース勾配推定を組み込んだGRIN(GRadient-Informed MoE Training)を導入する。
我々のモデルは6.6Bの活性化パラメータしか持たないが、7Bの密度モデルより優れており、同じデータで訓練された14Bの密度モデルの性能と一致している。
論文 参考訳（メタデータ） (2024-09-18T17:00:20Z) - Lory: Fully Differentiable Mixture-of-Experts for Autoregressive Language Model Pre-training [73.90260246781435]
私たちは、このようなアーキテクチャを自動回帰言語モデルに拡張する最初のアプローチであるLoryを紹介します。
パラメータマッチングされた高密度モデルよりも、多種多様な下流タスクにおいて顕著な性能向上を示す。
セグメントレベルのルーティングにもかかわらず、Loryモデルはトークンレベルのルーティングを備えた最先端のMoEモデルと比較して、競合的なパフォーマンスを実現している。
論文 参考訳（メタデータ） (2024-05-06T03:06:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。