論文の概要: Each Prompt Matters: Scaling Reinforcement Learning Without Wasting Rollouts on Hundred-Billion-Scale MoE

• arxiv url: http://arxiv.org/abs/2512.07710v1
• Date: Mon, 08 Dec 2025 16:57:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-09 22:03:54.968774
• Title: Each Prompt Matters: Scaling Reinforcement Learning Without Wasting Rollouts on Hundred-Billion-Scale MoE
• Title（参考訳）: 各プロンプトが重要:数百ビリオン規模のMoE上での無駄なロールアウトなしで強化学習をスケールする
• Authors: Anxiang Zeng, Haibo Zhang, Hailing Zhang, Kaixiang Mo, Liang Yao, Ling Hu, Long Zhang, Shuman Liu, Shuyi Xie, Yanshi Li, Yizhang Chen, Yuepeng Sheng, Yuwei Huang, Zhaochen Xu, Zhiqiang Zhou, Ziqin Liew,
• Abstract要約: 提案するCompassMax-V3-Thinkingは,1つの原理に基づいて構築された新しいRLフレームワークでトレーニングされた100億規模のMoE推論モデルである。 これらの課題を克服するために、いくつかの統一されたイノベーションを導入します。 結果として得られるモデルは、内部評価と公開評価の両方で強力なパフォーマンスを提供する。
• 参考スコア（独自算出の注目度）: 16.58714489761542
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present CompassMax-V3-Thinking, a hundred-billion-scale MoE reasoning model trained with a new RL framework built on one principle: each prompt must matter. Scaling RL to this size exposes critical inefficiencies-zero-variance prompts that waste rollouts, unstable importance sampling over long horizons, advantage inversion from standard reward models, and systemic bottlenecks in rollout processing. To overcome these challenges, we introduce several unified innovations: (1) Multi-Stage Zero-Variance Elimination, which filters out non-informative prompts and stabilizes group-based policy optimization (e.g. GRPO) by removing wasted rollouts; (2) ESPO, an entropy-adaptive optimization method that balances token-level and sequence-level importance sampling to maintain stable learning dynamics; (3) a Router Replay strategy that aligns training-time MoE router decisions with inference-time behavior to mitigate train-infer discrepancies, coupled with a reward model adjustment to prevent advantage inversion; (4) a high-throughput RL system with FP8-precision rollouts, overlapped reward computation, and length-aware scheduling to eliminate performance bottlenecks. Together, these contributions form a cohesive pipeline that makes RL on hundred-billion-scale MoE models stable and efficient. The resulting model delivers strong performance across both internal and public evaluations.
• Abstract（参考訳）: 提案するCompassMax-V3-Thinkingは,1つの原理に基づいて構築された新しいRLフレームワークでトレーニングされた100億規模のMoE推論モデルである。 RLをこのサイズにスケールすると、無駄なロールアウト、長い水平線上での不安定な重要度サンプリング、標準報酬モデルからの逆転、ロールアウト処理におけるシステム的ボトルネックといった重要な非効率性や非分散性のプロンプトが明らかになる。 これらの課題を克服するために,(1)非形式的プロンプトを除去し,グループベースの政策最適化(eg GRPO)を安定化するマルチステージゼロ変数除去,(2)トークンレベルとシーケンスレベルの重要度をバランスさせて安定した学習ダイナミクスを維持するエントロピー適応最適化手法ESPO,(3)トレーニング時MoEルータ決定と推論時動作を調整したルータリプレイ戦略と,列車インファーの差分を緩和し,インバージョンを回避するための報酬モデル調整,(4)FP8精度ロールアウトが重なる高スループットRLシステム,そして,計算の重複,スケジューリングのボトルネックを解消する。 これらのコントリビューションは凝集性パイプラインを形成し、100億スケールのMoEモデル上でRLを安定かつ効率的にする。 結果として得られるモデルは、内部評価と公開評価の両方で強力なパフォーマンスを提供する。

関連論文リスト

• Enhancing the Outcome Reward-based RL Training of MLLMs with Self-Consistency Sampling [90.87033586963828]
  マルチモーダル大言語モデル(MLLM)のステップ・バイ・ステップ推論を洗練させる手段としては,アウトカム・リワード強化学習(RL)が一般的であり,ますます重要になっている。 この問題を修正するために,自己整合サンプリング(SCS)を提案する。 Qwen2.5-VL-7B-インストラクトに基づいて、SCSは、無視できる余分な計算を伴う6つのマルチモーダルベンチマークにおいて、最大7.7ポイントの精度を向上する。
  論文  参考訳（メタデータ） (2025-11-13T18:59:57Z)
• Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic Shuffle [65.14124923451077]
  強化学習(Reinforcement Learning, RL)は、マルチモーダル大言語モデル(MLLM)の推論能力を高めるための効果的なポストトレーニングパラダイムとして登場した。 しかしながら、現在のRLパイプラインは、アドバンテージ・コラプシング(Advantage Collapsing)とロールアウト・サイレンシング(Rollout Silencing)という2つの未解決の問題によって、トレーニングの非効率に悩まされることが多い。 軌道サンプリングとバッチ合成を動的に再構成することにより、RLの微調整効率を向上する、シンプルだが原則化されたフレームワークであるShuffle-R1を提案する。
  論文  参考訳（メタデータ） (2025-08-07T17:53:47Z)
• Ring-lite: Scalable Reasoning via C3PO-Stabilized Reinforcement Learning for LLMs [51.21041884010009]
  Ring-liteは、強化学習(RL)により最適化されたMixture-of-Experts(MoE)ベースの大規模言語モデルである 我々のアプローチは、挑戦的なベンチマーク上でのSOTA(State-of-the-art)の小規模推論モデルの性能と一致する。
  論文  参考訳（メタデータ） (2025-06-17T17:12:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。