論文の概要: Every Step Evolves: Scaling Reinforcement Learning for Trillion-Scale Thinking Model
- arxiv url: http://arxiv.org/abs/2510.18855v2
- Date: Sat, 25 Oct 2025 08:21:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-28 13:14:10.593824
- Title: Every Step Evolves: Scaling Reinforcement Learning for Trillion-Scale Thinking Model
- Title（参考訳）: あらゆるステップが進化する: トリリオンスケール思考モデルのための強化学習のスケーリング
- Abstract要約: Ring-1Tは、数兆のパラメータを持つ最初のオープンソースの最先端の思考モデルである。
総パラメータは1兆で、1トークンあたり約500億を活性化する。
- 参考スコア（独自算出の注目度）: 100.86587937568832
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present Ring-1T, the first open-source, state-of-the-art thinking model with a trillion-scale parameter. It features 1 trillion total parameters and activates approximately 50 billion per token. Training such models at a trillion-parameter scale introduces unprecedented challenges, including train-inference misalignment, inefficiencies in rollout processing, and bottlenecks in the RL system. To address these, we pioneer three interconnected innovations: (1) IcePop stabilizes RL training via token-level discrepancy masking and clipping, resolving instability from training-inference mismatches; (2) C3PO++ improves resource utilization for long rollouts under a token budget by dynamically partitioning them, thereby obtaining high time efficiency; and (3) ASystem, a high-performance RL framework designed to overcome the systemic bottlenecks that impede trillion-parameter model training. Ring-1T delivers breakthrough results across critical benchmarks: 93.4 on AIME-2025, 86.72 on HMMT-2025, 2088 on CodeForces, and 55.94 on ARC-AGI-1. Notably, it attains a silver medal-level result on the IMO-2025, underscoring its exceptional reasoning capabilities. By releasing the complete 1T parameter MoE model to the community, we provide the research community with direct access to cutting-edge reasoning capabilities. This contribution marks a significant milestone in democratizing large-scale reasoning intelligence and establishes a new baseline for open-source model performance.
- Abstract（参考訳）: 数兆のパラメータを持つ最初のオープンソースの最先端思考モデルであるRing-1Tを提案する。
総パラメータは1兆で、1トークンあたり約500億を活性化する。
このようなモデルを1兆パラメータスケールでトレーニングすることは、列車のミスアライメント、ロールアウト処理の非効率性、RLシステムのボトルネックなど、前例のない課題をもたらす。
1)IcePopはトークンレベルの離散性マスキングとクリッピングによるRLトレーニングの安定化,トレーニング推論ミスマッチからの不安定性の解消,2)C3PO++はトークン予算の下での長期ロールアウトにおけるリソース利用の改善により,高速な時間効率を実現するとともに,10兆パラメータモデルトレーニングを阻害するシステム的ボトルネックを克服する高性能なRLフレームワークであるASystemである。
Ring-1Tは、AIME-2025で93.4、HMMT-2025で86.72、CodeForcesで2088、ARC-AGI-1で55.94という重要なベンチマークで画期的な結果をもたらす。
特筆すべきは、IMO-2025で銀メダリストレベルの結果を得たことだ。
コミュニティに完全な1TパラメータMOEモデルを提供することで、最先端の推論機能に直接アクセスできるようにする。
この貢献は、大規模な推論インテリジェンスを民主化し、オープンソースのモデルパフォーマンスの新たなベースラインを確立する上で、重要なマイルストーンとなる。
関連論文リスト
- Ring-Zero: Scaling Zero RL to a Trillion Parameters for Emergent Reasoning [55.99621402404222]
人間の注釈のない検証可能な報酬による強化学習は、しばしばゼロRLと呼ばれ、思考の連鎖的推論を引き出すための強力なパラダイムとして現れている。
我々はモデルから高品質な推論行動を引き出すことを目指している。
単純なスケーリングは、可読性、トークンの冗長性、適応的な推論深さの欠如に悩まされることがよくあります。
論文 参考訳（メタデータ） (2026-07-14T06:14:55Z) - Each Prompt Matters: Scaling Reinforcement Learning Without Wasting Rollouts on Hundred-Billion-Scale MoE [16.58714489761542]
提案するCompassMax-V3-Thinkingは,1つの原理に基づいて構築された新しいRLフレームワークでトレーニングされた100億規模のMoE推論モデルである。
これらの課題を克服するために、いくつかの統一されたイノベーションを導入します。
結果として得られるモデルは、内部評価と公開評価の両方で強力なパフォーマンスを提供する。
論文 参考訳（メタデータ） (2025-12-08T16:57:43Z) - Ring-lite: Scalable Reasoning via C3PO-Stabilized Reinforcement Learning for LLMs [51.21041884010009]
Ring-liteは、強化学習(RL)により最適化されたMixture-of-Experts(MoE)ベースの大規模言語モデルである
我々のアプローチは、挑戦的なベンチマーク上でのSOTA(State-of-the-art)の小規模推論モデルの性能と一致する。
論文 参考訳（メタデータ） (2025-06-17T17:12:34Z) - Beyond Accuracy: Dissecting Mathematical Reasoning for LLMs Under Reinforcement Learning [93.00629872970364]
強化学習(Reinforcement Learning, RL)は, 複雑な推論タスクにおいて, 言語モデルの性能向上のための主要なパラダイムとなっている。
SPARKLE(SPARKLE)は、3つの重要な次元にわたるRLの効果を詳細に解析するフレームワークである。
我々は、RL信号と混合品質の推論トレースを産出しない難題が、依然としてトレーニングに有効であるかどうかを調査する。
論文 参考訳（メタデータ） (2025-06-05T07:53:59Z) - Skywork Open Reasoner 1 Technical Report [51.403686909760914]
提案するSkywork-OR1は,長期チェーン・オブ・ソート(CoT)モデルのための,効果的かつスケーラブルな強化学習(RL)実装である。
DeepSeek-R1-Distillモデルシリーズをベースとして、我々のRLアプローチは顕著なパフォーマンス向上を実現している。
我々のSkywork-OR1-32Bモデルは、AIME24とAIME25ベンチマークでDeepSeek-R1とQwen3-32Bを上回っています。
論文 参考訳（メタデータ） (2025-05-28T12:56:04Z) - Open-Reasoner-Zero: An Open Source Approach to Scaling Up Reinforcement Learning on the Base Model [47.108822717757945]
ベースモデルを用いた大規模推論指向RLトレーニングのオープンソース実装として,Open-Reasoner-Zeroを紹介した。
ベンチマーク性能と応答長の両方をスケールアップするのには,GAE とルールベース報酬の単純さが,KL 正規化なしで十分であることを示す。
論文 参考訳（メタデータ） (2025-03-31T16:36:05Z) - An Empirical Study on Eliciting and Improving R1-like Reasoning Models [90.52239241349504]
RLトレーニングのスケーリングは、そのような推論モデルを実装するための中心的なテクニックとなっている。
我々のRLトレーニングアプローチはQwen2.5-32Bベースモデルを継続的に改善することを示した。
また、ツール操作の利用についても検討し、大きな推論モデルの推論性能を大幅に向上させることを見出した。
論文 参考訳（メタデータ） (2025-03-06T15:34:27Z) - Exploring the Limit of Outcome Reward for Learning Mathematical Reasoning [65.2421542320293]
推論能力は汎用知能の重要な構成要素である。
OpenAIのoシリーズモデルなどのプロプライエタリ企業による最近の進歩は、推論タスクに顕著な進歩をもたらした。
本稿では、数学的推論タスクのための textbfOutcome textbfREwtextbfArd ベースの強化 textbfLearning により達成できる性能限界を追求する新しい RL フレームワーク OREAL を提案する。
論文 参考訳（メタデータ） (2025-02-10T18:57:29Z) - Optimizing Distributed Training on Frontier for Large Language Models [7.251642875697334]
数十億のパラメータで大規模言語モデル(LLM)を訓練することは、重大な課題となり、かなりの計算資源を必要とする。
本研究では、世界初のエクサスケールスーパーコンピュータであるFrontierからこの計算を抽出するための効率的な分散トレーニング戦略を探求する。
論文 参考訳（メタデータ） (2023-12-20T02:03:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。