論文の概要: UMoE:Unlocking Every Expert in Domain-Specific Training

• arxiv url: http://arxiv.org/abs/2607.11444v1
• Date: Mon, 13 Jul 2026 11:52:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-14 17:47:21.457956
• Title: UMoE:Unlocking Every Expert in Domain-Specific Training
• Title（参考訳）: UMoE:ドメイン特化トレーニングのエキスパート全員をアンロック
• Abstract要約: Mixture-of-Experts (MoE)モデルは、比例計算コストなしでキャパシティをスケールする。 我々は、微調整前にエキスパートプールをターゲットドメインに設定する、シンプルな、予算保存パイプラインを提案する。
• 参考スコア（独自算出の注目度）: 21.878914936561486
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mixture-of-Experts (MoE) models scale capacity without proportional compute cost and have become a key architecture for frontier large language models (LLMs). Yet domain-specific post-training inherits an expert pool shaped by mixed-domain pre-training: a substantial subset of experts contributes little on the target domain, and standard supervised fine-tuning (SFT) leaves the composition of this pool unchanged. We propose a simple, budget-preserving pipeline that realigns the expert pool to the target domain before fine-tuning. Given a target domain, we (1) prune the experts with lowest domain-aligned saliency, (2) regrow the expert pool to its original size through perturbation-based expert expansion, and (3) apply standard SFT. The resulting model preserves the original expert count, parameter count, and inference cost. With a single frozen recipe and no per-domain hyperparameter tuning, UMoE consistently improves over direct sft across two MoE architectures (Qwen3-30B-A3B and Qwen3.5-35B-A3B), five domains (math, code, science, tool-use, and agentic coding), and 12 benchmarks. Representative improvements are 3.4 points in math average accuracy, 6.0 points on SWE-bench Verified. On a strong in-house math corpus, direct sft already surpasses Qwen3-30B-A3B-Thinking (82.81 vs.\ 81.06), yet UMoE further raises the average to 84.17, an additional 1.36 points, demonstrating robustness to a substantially stronger SFT regime. Data-scaling experiments further show that the gain persists as training data grows. Analysis reveals that the direct-SFT model allocates substantial routed-expert compute to a low-saliency subset that can be removed post hoc with little average degradation; UMoE turns this redundant capacity into useful domain capacity and achieves lower training loss, with gains spanning all difficulty levels in downstream evaluation.
• Abstract（参考訳）: Mixture-of-Experts (MoE)モデルは、比例計算コストなしで容量をスケールし、フロンティア大言語モデル(LLM)の鍵となるアーキテクチャとなった。 しかし、ドメイン固有のポストトレーニングは、混合ドメイン事前トレーニングによって形成されたエキスパートプールを継承する: 専門家のかなりのサブセットは、ターゲットドメインにほとんど貢献せず、標準教師付き微調整(SFT)は、このプールの構成をそのまま残している。 我々は、微調整前にエキスパートプールをターゲットドメインに設定する、シンプルな、予算保存パイプラインを提案する。 対象ドメインが与えられた場合、(1)最低限のドメイン整合性を持つ専門家を育成し、(2)摂動に基づくエキスパート拡張によりエキスパートプールを元のサイズに再成長させ、(3)標準SFTを適用します。 得られたモデルは、元のエキスパート数、パラメータ数、推論コストを保存する。 単一のフリーズレシピとドメイン単位のハイパーパラメータチューニングがないため、UMoEは2つのMoEアーキテクチャ(Qwen3-30B-A3BとQwen3.5-35B-A3B)、5つのドメイン(マス、コード、サイエンス、ツールユース、エージェントコーディング)、12のベンチマークを直接的に改善している。 数学平均精度は3.4点、SWEベンチ検証では6.0点である。 強力な社内数学コーパスでは、direct sftはすでにQwen3-30B-A3B-Thinking(82.81対..81)を上回っている。 しかしUMoEは平均84.17まで上昇し、さらに1.36ポイントを追加し、より強力なSFT体制へのロバスト性を示した。 データスケーリングの実験は、トレーニングデータが増加するにつれて、そのゲインが持続することを示している。 UMoEは、この冗長な容量を有用なドメイン容量に転換し、トレーニング損失を低くし、下流評価におけるすべての困難レベルにまたがるゲインを得る。

関連論文リスト

• ACE: Adaptive Calibration-Free Expert Skipping for MoE-based LLMs [15.24786135265898]
  Mixture-of-Experts (MoE)アーキテクチャは、大規模言語モデル(LLM)のスケーリングに効率的なパラダイムを提供する。 本稿では,トークン適応型エキスパートスキップのためのトレーニングフリー,キャリブレーションフリー,チェックポイント保存フレームワークであるACEを提案する。
  論文  参考訳（メタデータ） (2026-09-04T14:56:00Z)
• When Load-Balancing Goes Too Far: Expert Pruning in Over-Dispersed Mixture-of-Experts Models [14.959514582161956]
  エキスパートプルーニングは、Mixture-of-Experts(MoE)モデルのメモリとサービスコストを削減します。 この仮定は、トークンがほぼ一様に専門家に分散される過分散ルーティングの下で分解されるのを観察する。 筆者らは,現在最も影響の低いドメインに対して,重要度を反復的に向上させるドメイン認識手法であるMinimax Expert Score Allocation (MESA)を提案する。
  論文  参考訳（メタデータ） (2026-09-03T20:21:20Z)
• CPR for LLMs: Critical-Point Routing against Catastrophic Forgetting in Domain Adaptation [17.09957701895852]
  Supervised Fine-tuning (SFT)は、大規模言語モデルをターゲットドメインに適応するためのデファクトスタンダードである。 既存のアプローチは、通常、忘れを緩和するためにSFT損失を変更するが、必然的にドメイン・ジェネリティー・トレードオフに沿って機能する。 モデルレベルで2つの機能を分離し、ドメイン固有の知識が必要な場合にのみSFT専門家を選択的に呼び出すことで、このトレードオフを回避します。
  論文  参考訳（メタデータ） (2026-08-31T02:19:10Z)
• Consolidating RLVR Capabilities Across Domains: A Deep Dive into Fusion Paradigms [50.28963615440865]
  再利用した人工物によって3つの融合パラダイムを編成する。 モデルスケールとマルチベンチマークスイートで、共有専門家とデータを使用して、これら3つを比較します。
  論文  参考訳（メタデータ） (2026-08-27T17:38:04Z)
• LLaDA MoE v2: Scaling Mixture-of-Experts Diffusion Language Models [129.64558694024126]
  拡散言語モデル(dLLM)は自己回帰(AR)言語モデリングの代替を提供する。 我々は, MoE dLLM に対するハイパーパラメータ, 計算割り当て, アーキテクチャスケールの最適化を特徴付ける。 23.5Tトークンで30B-A3B dLLMのLLaDA MoE v2をスクラッチからトレーニングします。
  論文  参考訳（メタデータ） (2026-08-04T10:53:02Z)
• NebulaExp-8B: An Empirical Post-Training Pipeline via Full-Scale Ablation Research [5.287668610154937]
  トレーニング後のアライメントは、大きな言語モデルの能力に従って、推論と人間の好みを決定する。 この研究は、Qwen3-8Bベース上に構築された完全に透明でアブレーション駆動のポストトレーニングパイプラインであるNebulaExpを提示する。
  論文  参考訳（メタデータ） (2026-06-25T07:03:25Z)
• Attribution-Guided and Coverage-Maximized Pruning for Structural MoE Compression [74.00650541246374]
  そこで本研究では,MoEモデルに適した構造解析フレームワークを提案する。 我々のアプローチはメモリフットプリントを5.27$times削減し、最先端のベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-06-16T06:53:27Z)
• UniPool: A Globally Shared Expert Pool for Mixture-of-Experts [25.706769452657458]
  専門家の能力をグローバルな建築予算として扱うMOEアーキテクチャであるUniPoolを提案する。 一致したバニラMOEベースラインに対して,UniPoolは検証損失とパープレキシティを継続的に改善することを示す。 さらなる分析により、UniPoolの利点はよりきめ細かい専門家分解によって構成されることが示された。
  論文  参考訳（メタデータ） (2026-05-07T17:59:44Z)
• REAL: Regression-Aware Reinforcement Learning for LLM-as-a-Judge [83.2858110368572]
  回帰報酬を最適化するための原則的RLフレームワークである textbfREAL (underlineREgression-underlineAware Reinforcement underlineLThought) を提案する。 我々は,REALがレグレッション対応SFTベースラインと標準RL法の両方を一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2026-03-17T21:19:08Z)
• A Replicate-and-Quantize Strategy for Plug-and-Play Load Balancing of Sparse Mixture-of-Experts LLMs [64.8510381475827]
  SMOE(Sparse Mixture-of-Experts)アーキテクチャは、大規模言語モデルを効率的にスケールするためにますます使われている。 SMoEモデルは専門家間で厳しい負荷不均衡に悩まされることが多く、専門家のごく一部がほとんどのトークンを受け取り、他のモデルは未利用である。 推定中のエキスパートルーティングの体系的解析を行い, (i) 負荷不均衡が持続し, バッチサイズが大きくなる, (ii) 選択頻度が, 専門家の重要度を確実に反映しない, (iii) 専門家の全体負荷と重要性を, キャリブレーションセットを用いて推定できる,という3つの知見を同定する。
  論文  参考訳（メタデータ） (2026-02-23T15:11:16Z)
• GLUE: Gradient-free Learning to Unify Experts [29.66682434037689]
  専門家を統一するためのグラディエントフリーラーニングであるGLUEを提案する。 ターゲットモデルを固定専門家の凸結合として初期化する。 勾配のない2点更新により、この組み合わせの混合係数を学習する。
  論文  参考訳（メタデータ） (2025-12-27T04:59:17Z)
• Improving Multimodal Distillation for 3D Semantic Segmentation under Domain Shift [62.50795372173394]
  我々は,ライダーポイント雲のセマンティックセグメンテーションのための教師なし領域適応において,視覚基盤モデル(VFM)を利用したレシピの同定を行う。 その結果、パイプラインは4つの広く認識され、困難な設定で、最先端の結果を達成する。
  論文  参考訳（メタデータ） (2025-11-21T17:57:43Z)
• Scaling Up Temporal Domain Generalization via Temporal Experts Averaging [108.44248708602221]
  時間領域の一般化は、時間的変化などの時間的分布シフトを一般化することを目的としている。 本稿では, 時間的エキスパート平均化(TEA)を提案する。これは, 一般化ポテンシャルを最大化するために, 重量平均化を用いてモデル全体を更新する, 新しくスケーラブルなTDGフレームワークである。 従来のTDG法では最大69%,効率は最大60倍であった。
  論文  参考訳（メタデータ） (2025-09-30T10:21:44Z)
• Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
  暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。 Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。 SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
  論文  参考訳（メタデータ） (2025-09-25T14:05:55Z)
• SOAEsV2-7B/72B: Full-Pipeline Optimization for State-Owned Enterprise LLMs via Continual Pre-Training, Domain-Progressive SFT and Distillation-Enhanced Speculative Decoding [10.38247266103905]
  本研究は、中国国有資産企業(SOAE)向けドメイン固有大規模言語モデル(LLM)開発における重要な課題に対処する。 我々の研究は、SOAEs LLMを最適化するための包括的な完全なパイプラインアプローチを導入し、汎用言語能力とドメイン固有の専門知識のギャップを埋めます。
  論文  参考訳（メタデータ） (2025-05-07T18:21:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。