論文の概要: Expert-Space Exploration in MoE Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2609.13058v1
• Date: Fri, 11 Sep 2026 16:58:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-15 07:38:31.81902
• Title: Expert-Space Exploration in MoE Reinforcement Learning
• Title（参考訳）: MoE強化学習におけるエキスパートスペース探索
• Abstract要約: エキスパートスペース探索強化学習(Expert-Space Exploration Reinforcement Learning、ESRL)は、MoEモデルのエキスパートルーティング空間を明示的に探求するアーキテクチャを意識したフレームワークである。 ESRLは、トップK、トップ1、共有専門家ルーティング、数学、科学、コードタスクといったMoEバックボーンで最高のパフォーマンスを、追加のサンプリングや計算コストなしで達成する。
• 参考スコア（独自算出の注目度）: 41.1632714379556
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning (RL) has become central to post-training of large language models. Recent advances in RL for Mixture-of-Experts (MoE) models have primarily focused on improving optimization stability and training efficiency, while treating the expert selection as a fixed component. Since routing determines the sparse computation paths that induce output distributions, expert selection offers an additional source of rollout diversity. Through empirical analysis, we find that perturbing expert routing effectively alters model output and increases rollout diversity, which is similar to increasing the decoding temperature. However, direct perturbation can activate unsuitable experts and substantially degrade rollout quality. Motivated by these observations, we introduce Expert-Space Exploration Reinforcement Learning (ESRL), an architecture-aware framework that explicitly explores the expert-routing space of MoE models. ESRL preserves high-confidence experts as anchors, and restricts stochastic routing to a plausible candidate pool, thereby retaining reliable computation paths. The perturbation strength is further adapted according to router entropy to avoid over-perturbation. To mitigate the routing mismatch introduced by perturbation, ESRL records the expert paths used during rollout and replays them during policy optimization. Experiments demonstrate that ESRL achieves the best performance across MoE backbones with top-K, top-1, and shared-expert routing, as well as across mathematics, science, and code tasks without additional sampling or computational cost. Specifically, ESRL on Qwen3-30B-A3B achieves the best among all compared methods, improving average Pass@1 and Pass@8 over GRPO by 3.2 and 4.5 percentage points, respectively. Further analyses of expert utilization and training dynamics provide insights into how exploiting MoE-specific routing structure benefits RL training.
• Abstract（参考訳）: 強化学習(RL)は、大規模言語モデルのポストトレーニングの中心となっている。 近年のMixture-of-Experts(MoE)モデルにおけるRLの進歩は、最適化の安定性とトレーニング効率の改善に主に焦点を合わせ、専門家の選択を固定的なコンポーネントとして扱う。 ルーティングが出力分布を誘導するスパース計算経路を決定するので、専門家の選択はロールアウトの多様性の新たな源を提供する。 経験的分析により、摂動専門家のルーティングはモデル出力を効果的に変化させ、復号温度の上昇に類似したロールアウトの多様性を増大させることがわかった。 しかし、直接摂動は適さない専門家を活性化させ、ロールアウトの品質を著しく低下させる。 これらの観察から動機付けられたアーキテクチャを意識したフレームワークであるExpert-Space Exploration Reinforcement Learning (ESRL)を導入する。 ESRLは、高信頼の専門家をアンカーとして保存し、確率的ルーティングをプラウシブルな候補プールに制限し、信頼性の高い計算経路を保持する。 摂動強度は、過摂動を回避するために、ルータエントロピーに応じてさらに適応される。 摂動によるルーティングミスマッチを軽減するため、ESRLはロールアウト時に使用するエキスパートパスを記録し、ポリシー最適化時に再生する。 実験により、ESRLは、サンプリングや計算コストを増すことなく、トップK、トップ1、共有専門家ルーティング、数学、科学、コードタスクでMoEのバックボーン間で最高のパフォーマンスを達成することが示された。 具体的には、Qwen3-30B-A3B上のESRLは、それぞれ平均のPass@1とPass@8をGRPOよりも3.2と4.5ポイント改善する。 専門家の活用とトレーニングのダイナミクスのさらなる分析は、MoE固有のルーティング構造の利用がRLトレーニングにどのような恩恵をもたらすかについての洞察を提供する。

関連論文リスト

• SPS: Steering Probability Squeezing for Better Exploration in Reinforcement Learning for Large Language Models [51.99912169291891]
  強化学習(Reinforcement Learning, RL)は、推論指向モデルをトレーニングするための有望なパラダイムとして登場した。 逆強化学習(IRL)で従来のRLをインターリーブする学習パラダイムを提案する。 この結果から,RLとIRLの交互接続は,推論指向の大規模言語モデルの探索能力向上に有効な経路であることが示唆された。
  論文  参考訳（メタデータ） (2026-04-18T13:49:47Z)
• E3-TIR: Enhanced Experience Exploitation for Tool-Integrated Reasoning [26.716382486149453]
  エージェント訓練の初期段階におけるウォームアップパラダイムであるE3-TIR(Enhanced Experience Exploitation)を提案する。 具体的には、エキスパートプレフィックス、エキスパートガイド、セルフ探索という3つのエクスペリエンスタイプの動的統合としてトレーニングを定式化します。 本手法はモデルの知識境界を動的に適用し,探索の多様性と学習効率のバランスをとる。
  論文  参考訳（メタデータ） (2026-04-10T16:14:48Z)
• RetroAgent: From Solving to Evolving via Retrospective Dual Intrinsic Feedback [54.39884046754265]
  RetroAgentは、エージェントが複雑なインタラクティブ環境をマスターできるオンラインRLフレームワークである。 実験の結果,RetroAgentはSOTA(State-of-the-art)の性能を達成できた。
  論文  参考訳（メタデータ） (2026-03-09T16:23:33Z)
• Towards Stable and Effective Reinforcement Learning for Mixture-of-Experts [113.0656076371565]
  オフ・ポリティクス強化学習(RL)における重要サンプリング重み付けを最適化する新しいルータ認識手法を提案する。 具体的には、ルータロジットによって誘導される再スケーリング戦略を設計し、勾配のばらつきを効果的に低減し、トレーニングのばらつきを軽減する。 実験により, 本手法は収束安定性とMoEモデルの最終的な性能の両方を著しく改善することが示された。
  論文  参考訳（メタデータ） (2025-10-27T05:47:48Z)
• Stabilizing MoE Reinforcement Learning by Aligning Training and Inference Routers [33.18639109838351]
  我々は,MoEモデルのトレーニングと推論の整合性を解析し,ルーティング行動における顕著な相違点を同定する。 本稿では、推論エンジンからのルーティング分布を記録し、トレーニング中にリプレイするRollout Replay Routing (R3)を提案する。 R3は、トレーニング速度を損なうことなく、トレーニング推論ポリシーKLのばらつきを著しく低減し、極端な不一致を緩和する。
  論文  参考訳（メタデータ） (2025-10-13T13:11:27Z)
• Reinforcement Learning on Pre-Training Data [55.570379963147424]
  我々は,大規模言語モデル(LLM)を最適化するための新しい訓練時間スケーリングパラダイムである,事前学習データ(R)の強化学習を紹介する。 Rは、有意義な軌道を自律的に探索し、事前学習データから学び、強化学習(RL)を通してその能力を向上させる。 複数のモデルにわたる一般領域および数学的推論ベンチマークの広範な実験は、Rの有効性を検証した。
  論文  参考訳（メタデータ） (2025-09-23T17:10:40Z)
• Agentic Reinforcement Learning with Implicit Step Rewards [92.26560379363492]
  大規模言語モデル (LLMs) は強化学習 (agentic RL) を用いた自律的エージェントとして発展している。 我々は,標準RLアルゴリズムとシームレスに統合された一般的なクレジット割り当て戦略であるエージェントRL(iStar)について,暗黙的なステップ報酬を導入する。 我々は,WebShopとVisualSokobanを含む3つのエージェントベンチマークと,SOTOPIAにおける検証不可能な報酬とのオープンなソーシャルインタラクションについて評価した。
  論文  参考訳（メタデータ） (2025-09-23T16:15:42Z)
• Beyond Accuracy: Dissecting Mathematical Reasoning for LLMs Under Reinforcement Learning [93.00629872970364]
  強化学習(Reinforcement Learning, RL)は, 複雑な推論タスクにおいて, 言語モデルの性能向上のための主要なパラダイムとなっている。 SPARKLE(SPARKLE)は、3つの重要な次元にわたるRLの効果を詳細に解析するフレームワークである。 我々は、RL信号と混合品質の推論トレースを産出しない難題が、依然としてトレーニングに有効であるかどうかを調査する。
  論文  参考訳（メタデータ） (2025-06-05T07:53:59Z)
• DRL4Route: A Deep Reinforcement Learning Framework for Pick-up and Delivery Route Prediction [21.335721424944257]
  ルート予測タスクにRL(Reinforcement Learning)を一般化する最初の試みとして,DRL4Routeと呼ばれる新しいRLベースのフレームワークを提案する。 DRL4Routeは既存のディープラーニングモデルを強化するためのプラグイン・アンド・プレイコンポーネントとして機能する。 これは、一般化アドバンテージ推定器を備えたアクター批判アーキテクチャに従う。
  論文  参考訳（メタデータ） (2023-07-30T14:50:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。