論文の概要: Reinforcement Learning on Pre-Training Data

• arxiv url: http://arxiv.org/abs/2509.19249v2
• Date: Thu, 25 Sep 2025 07:10:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-26 12:02:33.936307
• Title: Reinforcement Learning on Pre-Training Data
• Title（参考訳）: プレトレーニングデータによる強化学習
• Authors: Siheng Li, Kejiao Li, Zenan Xu, Guanhua Huang, Evander Yang, Kun Li, Haoyuan Wu, Jiajia Wu, Zihao Zheng, Chenchen Zhang, Kun Shi, Kyrierl Deng, Qi Yi, Ruibin Xiong, Tingqiang Xu, Yuhao Jiang, Jianfeng Yan, Yuyuan Zeng, Guanghui Xu, Jinbao Xue, Zhijiang Xu, Zheng Fang, Shuai Li, Qibin Liu, Xiaoxue Li, Zhuoyu Li, Yangyu Tao, Fei Gao, Cheng Jiang, Bo Chao Wang, Kai Liu, Jianchen Zhu, Wai Lam, Wayyt Wang, Bo Zhou, Di Wang,
• Abstract要約: 我々は,大規模言語モデル(LLM)を最適化するための新しい訓練時間スケーリングパラダイムである,事前学習データ(R)の強化学習を紹介する。 Rは、有意義な軌道を自律的に探索し、事前学習データから学び、強化学習(RL)を通してその能力を向上させる。 複数のモデルにわたる一般領域および数学的推論ベンチマークの広範な実験は、Rの有効性を検証した。
• 参考スコア（独自算出の注目度）: 55.570379963147424
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The growing disparity between the exponential scaling of computational resources and the finite growth of high-quality text data now constrains conventional scaling approaches for large language models (LLMs). To address this challenge, we introduce Reinforcement Learning on Pre-Training data (RLPT), a new training-time scaling paradigm for optimizing LLMs. In contrast to prior approaches that scale training primarily through supervised learning, RLPT enables the policy to autonomously explore meaningful trajectories to learn from pre-training data and improve its capability through reinforcement learning (RL). While existing RL strategies such as reinforcement learning from human feedback (RLHF) and reinforcement learning with verifiable rewards (RLVR) rely on human annotation for reward construction, RLPT eliminates this dependency by deriving reward signals directly from pre-training data. Specifically, it adopts a next-segment reasoning objective, rewarding the policy for accurately predicting subsequent text segments conditioned on the preceding context. This formulation allows RL to be scaled on pre-training data, encouraging the exploration of richer trajectories across broader contexts and thereby fostering more generalizable reasoning skills. Extensive experiments on both general-domain and mathematical reasoning benchmarks across multiple models validate the effectiveness of RLPT. For example, when applied to Qwen3-4B-Base, RLPT yields absolute improvements of $3.0$, $5.1$, $8.1$, $6.0$, $6.6$, and $5.3$ on MMLU, MMLU-Pro, GPQA-Diamond, KOR-Bench, AIME24, and AIME25, respectively. The results further demonstrate favorable scaling behavior, suggesting strong potential for continued gains with more compute. In addition, RLPT provides a solid foundation, extending the reasoning boundaries of LLMs and enhancing RLVR performance.
• Abstract（参考訳）: 計算資源の指数的スケーリングと高品質テキストデータの有限な成長の相違は、現在では、大規模言語モデル(LLM)の従来のスケーリングアプローチを制約している。 この課題に対処するために、LLMを最適化するための新しいトレーニング時間スケーリングパラダイムであるRLPT(Reinforcement Learning on Pre-Training Data)を導入する。 RLPTは、主に教師付き学習を通じてトレーニングをスケールする以前のアプローチとは対照的に、事前学習データから学習するための意味のある軌跡を自律的に探索し、強化学習(RL)を通じてその能力を向上させることができる。 人間フィードバックからの強化学習(RLHF)や、検証可能な報酬(RLVR)による強化学習(RLVR)といった既存のRL戦略は、報酬構築のための人間のアノテーションに依存しているが、RLPTは、事前学習データから直接報酬信号を抽出することで、この依存を排除している。 具体的には、次のセグメンテーション推論目標を採用し、前回のコンテキストで条件付けられた後続のテキストセグメントを正確に予測するためのポリシーを報奨する。 この定式化により、RLは事前学習データに基づいてスケールでき、より広い文脈でよりリッチな軌道の探索を奨励し、より一般化可能な推論スキルを育むことができる。 複数のモデルにわたる一般領域および数学的推論ベンチマークの広範な実験は、RLPTの有効性を検証する。 例えば、Qwen3-4B-Baseに適用すると、RLPTは$3.0$、$5.1$、$8.1$、$6.0$、$6.6$、および$5.3$をMMLU、MMLU-Pro、GPQA-Diamond、KOR-Bench、AIME24、AIME25で絶対的に改善する。 結果はさらによいスケーリングの挙動を示し、より多くの計算量で継続的なゲインの強い可能性を示唆している。 さらに、RLPTは、LLMの推論境界を拡張し、RLVR性能を向上させる、しっかりとした基盤を提供する。

関連論文リスト

• ConfClip: Confidence-Weighted and Clipped Reward for Reinforcement Learning in LLMs [32.13266235550995]
  強化学習(RL)は、大規模言語モデル(LLM)の標準化の標準パラダイムとなっている。 人間の学習から得られた観察から着想を得て、検証可能な結果とモデル自身の信頼度推定を統合するRL手法を導入する。
  論文  参考訳（メタデータ） (2025-09-22T13:00:35Z)
• Reinforcement Learning Meets Large Language Models: A Survey of Advancements and Applications Across the LLM Lifecycle [66.80133103857703]
  強化学習(RL)は、大規模言語モデル(LLM)の推論とアライメント性能を著しく向上させた。 本調査は, RL と LLM の交差点における最新の発展とフロンティアの動向を研究者や実践者に提示することを目的としている。
  論文  参考訳（メタデータ） (2025-09-20T13:11:28Z)
• A Survey of Reinforcement Learning for Large Reasoning Models [98.58081012669369]
  大規模言語モデルによる推論のための強化学習の最近の進歩について LRMのためのRLのさらなるスケーリングは、計算資源だけでなく、アルゴリズム設計、トレーニングデータ、インフラにおいても課題に直面している。
  論文  参考訳（メタデータ） (2025-09-10T17:59:43Z)
• Scaling DRL for Decision Making: A Survey on Data, Network, and Training Budget Strategies [66.83950068218033]
  スケーリング法則は、モデルのパラメータとトレーニングデータによって学習のパフォーマンスが向上することを示している。 性能向上の可能性にもかかわらず、スケーリング法則を深層強化学習に統合することは、完全には実現されていない。 本稿では,データ,ネットワーク,トレーニング予算という3次元のスケーリング戦略を体系的に分析することによって,このギャップに対処する。
  論文  参考訳（メタデータ） (2025-08-05T08:03:12Z)
• Scaling Up RL: Unlocking Diverse Reasoning in LLMs via Prolonged Training [121.5858973157225]
  本研究では,長期強化学習が多種多様な推論領域にまたがる小言語モデルに及ぼす影響について検討する。 我々は,長期的パフォーマンス向上の鍵となる重要な要素として,制御KL正規化,クリッピング率,定期参照ポリシーリセットを導入する。 私たちのモデルは、数学の+14.7%、コーディングの+13.9%、論理パズルの+54.8%など、強力なベースラインよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2025-07-16T17:59:24Z)
• Learning What Reinforcement Learning Can't: Interleaved Online Fine-Tuning for Hardest Questions [28.962415274754537]
  大規模言語モデル(LLM)推論は、強化学習(RL)を通して計画や自己回帰のような洗練された行動が現れることを示した。 textbfReLIFT (textbfReinforcement textbfL textbfInterleaved with Online textbfFine-textbfTuning) ReLIFTでは、モデルを主にRLを使ってトレーニングするが、難しい問題に遭遇すると、ファインチューニングのための高品質なソリューションが収集され、トレーニングプロセスが交互に行われる。
  論文  参考訳（メタデータ） (2025-06-09T08:11:20Z)
• TeaMs-RL: Teaching LLMs to Generate Better Instruction Datasets via Reinforcement Learning [7.9961739811640244]
  大きな言語モデル(LLM)は、人間のアノテーションに大きく依存することによる課題に直面することが多い。 この作業では、強化学習(RL:Reinforcement Learning)へと方向転換します。 我々はRLを用いて、微調整だけで十分である基礎的な命令データセットを直接生成する。
  論文  参考訳（メタデータ） (2024-03-13T16:57:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。