論文の概要: Optimizing What Policies Learn From: Recoverability-aware Rollout Intervention Learning
- arxiv url: http://arxiv.org/abs/2608.05080v1
- Date: Wed, 05 Aug 2026 17:22:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-06 14:48:44.043525
- Title: Optimizing What Policies Learn From: Recoverability-aware Rollout Intervention Learning
- Title（参考訳）: Recoverability-aware Rollout Intervention Learning: Policiesが学んだことの最適化
- Abstract要約: 批判のないグループベース強化学習は、大規模言語モデルの訓練後においてスケーラブルなアプローチとなっている。
最近の研究は、ロールアウト生成を適応的な決定として扱うようになったが、2つの重要な制限が残っている。
本稿では,各介入が生み出す改善に基づき,ロールアウトの生成方法を学ぶ訓練時フレームワークであるRecoverability-Aware Learning (RAIL)を提案する。
- 参考スコア（独自算出の注目度）: 21.808015281498076
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Critic-free group-based reinforcement learning has become a scalable approach for post-training large language models. However, most existing methods allocate the same number of rollouts to every task and trajectory state, even though some rollouts provide much more useful learning signals than others. Recent work has started to treat rollout generation as an adaptive decision, but two important limitations remain. First, intervention strategies are often based on fixed heuristics and therefore cannot adjust as the policy changes during training. Second, these methods usually decide only how many rollouts to generate, without explicitly controlling where and how to intervene. To address these limitations, we propose Recoverability-Aware Intervention Learning (RAIL), a training-time framework that learns how to generate rollouts based on the improvement produced by each intervention. RAIL models intervention selection as an online contextual-bandit problem and trains a recoverability controller using intervention traces collected through a shadow-to-live procedure. This allows the controller to keep learning while the underlying policy evolves. We evaluate RAIL in terms of effectiveness, adaptivity, expressiveness, and efficiency. Across multiple settings, RAIL consistently improves performance under limited rollout budgets. These results show that recoverability-aware intervention provides a principled way to generate more informative and less redundant rollouts, leading to stronger learning signals during post-training.
- Abstract（参考訳）: 批判のないグループベース強化学習は、大規模言語モデルの訓練後においてスケーラブルなアプローチとなっている。
しかしながら、既存のほとんどのメソッドは、いくつかのロールアウトが他の方法よりもはるかに有用な学習信号を提供するにもかかわらず、すべてのタスクと軌道状態に同じ数のロールアウトを割り当てている。
最近の研究は、ロールアウト生成を適応的な決定として扱うようになったが、2つの重要な制限が残っている。
第一に、介入戦略は固定的ヒューリスティックに基づいており、訓練中の政策変更に合わせて調整することはできない。
第二に、これらのメソッドは通常、どこでどのように介入するかを明示的に制御することなく、生成するロールアウトの数だけを決定する。
これらの制約に対処するために,各介入が生み出す改善に基づいてロールアウトを生成する学習時間フレームワークであるRecoverability-Aware Intervention Learning (RAIL)を提案する。
RAILは、介入選択をオンラインコンテキスト帯域幅問題としてモデル化し、シャドウ・ツー・ライブ・プロシージャを通じて収集された介入トレースを使用して、回復可能性コントローラを訓練する。
これにより、下層のポリシーが進化している間、コントローラは学習を続けることができる。
我々はRAILの有効性,適応性,表現性,効率の点で評価した。
複数の設定にまたがって、RAILは限定的なロールアウト予算の下でパフォーマンスを継続的に改善する。
これらの結果は、回復可能性を考慮した介入が、より情報的で冗長なロールアウトを生成するための原則的な方法を提供し、訓練後の学習信号がより強くなることを示している。
関連論文リスト
- Large Language Model Post-Training: A Unified View of Off-Policy and On-Policy Learning [37.29007534251622]
ポストトレーニングは、事前訓練された大きな言語モデルを整列し、機能し、デプロイ可能なシステムに変える中心となった。
最近の進歩は、教師付き微調整(SFT)、選好最適化、強化学習(RL)、プロセス監督、検証者誘導法、蒸留、多段パイプラインに及んでいる。
この調査では、LLMのポストトレーニングはモデル行動に対する構造化された介入として最もよく理解されている。
論文 参考訳（メタデータ） (2026-04-09T08:00:37Z) - Contextual Rollout Bandits for Reinforcement Learning with Verifiable Rewards [69.74686029941881]
RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデルの推論能力を改善するための効果的なパラダイムである。
トレーニングを通して高価値ロールアウトを適応的に選択する統合型ニューラルネットワークスケジューリングフレームワークを提案する。
6つの数学的推論ベンチマークの実験では、複数のRLVR最適化手法で性能と訓練効率が一貫した向上を示した。
論文 参考訳（メタデータ） (2026-02-09T10:51:58Z) - Human-in-the-loop Online Rejection Sampling for Robotic Manipulation [55.99788088622936]
Hi-ORSは、オンライン微調整中に負の報酬を得たサンプルをフィルタリングすることで、値推定を安定化する。
Hi-ORSは、わずか1.5時間でコンタクトリッチな操作をマスターするためのpiベースのポリシーを微調整する。
論文 参考訳（メタデータ） (2025-10-30T11:53:08Z) - Adversarial Fine-tuning in Offline-to-Online Reinforcement Learning for Robust Robot Control [12.961180148172199]
本研究では、クリーンなデータに対するポリシーをトレーニングし、敵対的な微調整を行うオフライン・オンライン・フレームワークを提案する。
性能認識カリキュラムは、指数移動平均信号を介してトレーニング中の摂動確率を調整する。
連続制御ロコモーションタスクの実験は、提案手法がオフラインのみのベースラインよりもロバスト性を向上させることを示す。
論文 参考訳（メタデータ） (2025-10-15T09:45:24Z) - Diffusion Guidance Is a Controllable Policy Improvement Operator [98.11511661904618]
CFGRLは教師付き学習の単純さで訓練されているが、データ内のポリシーをさらに改善することができる。
オフラインのRLタスクでは、信頼性の高いトレンドが観察されます -- ガイダンスの重み付けの増加によって、パフォーマンスが向上します。
論文 参考訳（メタデータ） (2025-05-29T14:06:50Z) - Efficient Offline Reinforcement Learning: The Critic is Critical [5.916429671763282]
オフ・ポリシー強化学習は、教師付きアプローチを超えてパフォーマンスを改善するための有望なアプローチを提供する。
本稿では、まず行動方針を学習し、教師付き学習で批判し、その後に非政治強化学習で改善することによるベスト・オブ・ボス・アプローチを提案する。
論文 参考訳（メタデータ） (2024-06-19T09:16:38Z) - Offline Reinforcement Learning from Datasets with Structured Non-Stationarity [50.35634234137108]
現在の強化学習(RL)は、成功するポリシーを学ぶのに必要な大量のデータによって制限されることが多い。
本稿では,データセットを収集しながら,各エピソードの遷移と報酬関数が徐々に変化するが,各エピソード内で一定に保たれるような新しいオフラインRL問題に対処する。
本稿では、オフラインデータセットにおけるこの非定常性を識別し、ポリシーのトレーニング時にそれを説明し、評価中に予測するContrastive Predictive Codingに基づく手法を提案する。
論文 参考訳（メタデータ） (2024-05-23T02:41:36Z) - Statistically Efficient Variance Reduction with Double Policy Estimation
for Off-Policy Evaluation in Sequence-Modeled Reinforcement Learning [53.97273491846883]
本稿では、オフラインシーケンスモデリングとオフライン強化学習をダブルポリシー推定と組み合わせたRLアルゴリズムDPEを提案する。
D4RLベンチマークを用いて,OpenAI Gymの複数のタスクで本手法を検証した。
論文 参考訳（メタデータ） (2023-08-28T20:46:07Z) - Boosting Offline Reinforcement Learning via Data Rebalancing [104.3767045977716]
オフライン強化学習(RL)は、学習ポリシーとデータセットの分散シフトによって問題となる。
本稿では,データセットの再サンプリングが分散サポートを一定に保っているという観察に基づいて,オフラインRLアルゴリズムをシンプルかつ効果的に向上させる手法を提案する。
ReD(Return-based Data Re Balance)メソッドをダブします。これは10行未満のコード変更で実装でき、無視できる実行時間を追加します。
論文 参考訳（メタデータ） (2022-10-17T16:34:01Z) - Learning Routines for Effective Off-Policy Reinforcement Learning [0.0]
このような制約を効果的に緩和する強化学習のための新しい枠組みを提案する。
我々のフレームワーク内では、エージェントは日常的な空間上で効果的な行動を学ぶ。
その結果,各エピソードごとの環境との相互作用を少なくしながら,関連するパフォーマンス改善が得られることがわかった。
論文 参考訳（メタデータ） (2021-06-05T18:41:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。