論文の概要: RLoop: An Self-Improving Framework for Reinforcement Learning with Iterative Policy Initialization

• arxiv url: http://arxiv.org/abs/2511.04285v1
• Date: Thu, 06 Nov 2025 11:27:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-07 20:17:53.404107
• Title: RLoop: An Self-Improving Framework for Reinforcement Learning with Iterative Policy Initialization
• Title（参考訳）: RLoop: 反復的政策初期化による強化学習のための自己改善フレームワーク
• Authors: Zeng Zhiyuan, Jiashuo Liu, Zhangyue Yin, Ge Zhang, Wenhao Huang, Xipeng Qiu,
• Abstract要約: 大規模な推論モデルをトレーニングするための自己改善フレームワークであるRLoopを紹介します。 RLoopはまず、RLを使用して所定のポリシからソリューション空間を探索し、成功したトラジェクトリをフィルタリングしてエキスパートデータセットを作成する。 実験の結果、RLoopsは一般化を忘れて大幅に改善し、平均精度は9%、pass@32はバニラRLに比べて15%以上向上した。
• 参考スコア（独自算出の注目度）: 65.23034604711489
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While Reinforcement Learning for Verifiable Rewards (RLVR) is powerful for training large reasoning models, its training dynamics harbor a critical challenge: RL overfitting, where models gain training rewards but lose generalization. Our analysis reveals this is driven by policy over-specialization and catastrophic forgetting of diverse solutions generated during training. Standard optimization discards this valuable inter-step policy diversity. To address this, we introduce RLoop, a self-improving framework built on iterative policy initialization. RLoop transforms the standard training process into a virtuous cycle: it first uses RL to explore the solution space from a given policy, then filters the successful trajectories to create an expert dataset. This dataset is used via Rejection-sampling Fine-Tuning (RFT) to refine the initial policy, creating a superior starting point for the next iteration. This loop of exploration and exploitation via iterative re-initialization effectively converts transient policy variations into robust performance gains. Our experiments show RLoop mitigates forgetting and substantially improves generalization, boosting average accuracy by 9% and pass@32 by over 15% compared to vanilla RL.
• Abstract（参考訳）: Reinforcement Learning for Verifiable Rewards (RLVR) は大規模な推論モデルのトレーニングには強力だが、そのトレーニングダイナミクスは重要な課題となっている。 我々の分析によると、これは訓練中に生じる様々なソリューションの過度な特殊化と破滅的な忘れによって引き起こされている。 標準最適化は、この貴重なステップ間ポリシーの多様性を捨てます。 この問題に対処するために、反復的なポリシー初期化に基づく自己改善フレームワークであるRLoopを紹介します。 RLoopはまず、RLを使用して所定のポリシからソリューション空間を探索し、成功したトラジェクトリをフィルタリングしてエキスパートデータセットを作成する。 このデータセットは、Rejection-Sampling Fine-Tuning (RFT)を介して初期ポリシーを洗練し、次のイテレーションの出発点として優れている。 この反復的再初期化による探索と利用のループは、過渡的な政策変動を堅牢なパフォーマンスゲインに変換するのに効果的である。 実験の結果, RLoopは, バニラRLに比べて平均精度を9%以上,pass@32を15%以上向上することがわかった。

関連論文リスト

• Reinforcement Learning on Pre-Training Data [55.570379963147424]
  我々は,大規模言語モデル(LLM)を最適化するための新しい訓練時間スケーリングパラダイムである,事前学習データ(R)の強化学習を紹介する。 Rは、有意義な軌道を自律的に探索し、事前学習データから学び、強化学習(RL)を通してその能力を向上させる。 複数のモデルにわたる一般領域および数学的推論ベンチマークの広範な実験は、Rの有効性を検証した。
  論文  参考訳（メタデータ） (2025-09-23T17:10:40Z)
• A Snapshot of Influence: A Local Data Attribution Framework for Online Reinforcement Learning [45.19254609437857]
  オンライン強化学習(RL)は、複雑で安全クリティカルな領域で優れているが、サンプルの非効率性、トレーニング不安定性、限定的な解釈可能性に悩まされている。 データ属性は、モデルの振る舞いをトレーニングサンプルに遡る、原則化された方法を提供する。 本稿では、オンラインRLトレーニングのためのアルゴリズムである反復的影響ベースのフィルタリング(IIF)を提案し、ポリシー更新を洗練するための経験的フィルタリングを反復的に行う。
  論文  参考訳（メタデータ） (2025-05-25T19:25:57Z)
• Policy Agnostic RL: Offline RL and Online RL Fine-Tuning of Any Class and Backbone [72.17534881026995]
  ポリシーに依存しないRL(PA-RL)と呼ばれるオフラインおよびオンラインの微調整手法を開発する。 オンラインRLファインチューニングアルゴリズムであるCal-QLを用いて、7BジェネラリストロボットポリシーであるOpenVLAのファインチューニングに成功した最初の結果を示す。
  論文  参考訳（メタデータ） (2024-12-09T17:28:03Z)
• Reinforcement learning with non-ergodic reward increments: robustness via ergodicity transformations [8.44491527275706]
  強化学習の応用分野は、自律運転、精密農業、金融などである。 特に、RL の焦点は典型的には戻り値の期待値である。 我々は,RLエージェントが個々の軌道の長期的性能を最適化するアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-10-17T15:13:33Z)
• Jump-Start Reinforcement Learning [68.82380421479675]
  本稿では、オフラインデータやデモ、あるいは既存のポリシーを使ってRLポリシーを初期化するメタアルゴリズムを提案する。 特に,タスク解決に2つのポリシーを利用するアルゴリズムであるJump-Start Reinforcement Learning (JSRL)を提案する。 実験により、JSRLは既存の模倣と強化学習アルゴリズムを大幅に上回っていることを示す。
  論文  参考訳（メタデータ） (2022-04-05T17:25:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。