論文の概要: RL-IF: Tracking Non-local Training Data Influence for Online Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.28883v1
• Date: Tue, 20 Oct 2026 20:01:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.13744
• Title: RL-IF: Tracking Non-local Training Data Influence for Online Reinforcement Learning
• Title（参考訳）: RL-IF:オンライン強化学習における非ローカルトレーニングデータの影響の追跡
• Abstract要約: 既存のオンラインRLのデータ属性手法は、主に1回のトレーニングラウンドにおける局所的な影響に焦点を当てている。 我々は,オンラインRLにおけるデータの帰属を,軌跡レベルの残余量であるRL-LOOを用いて定式化する。 次に、最適化効果と政策誘発サンプリング効果の両方を通して、データの影響を伝播する1次推定器RL-IFを導出する。
• 参考スコア（独自算出の注目度）: 18.25720632370844
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Online reinforcement learning (RL) has achieved significant success in decision-making tasks, but modern online RL remains highly sensitive to the quality of training experience. Understanding the contribution of individual training instances is therefore central to data-centric RL, with applications ranging from experience selection to policy interpretation. Existing data attribution methods for online RL primarily focus on local influence within a single training round, overlooking the non-local data influence across multiple training rounds. In this work, we formalize data attribution in online RL through a trajectory-level leave-one-out quantity, RL-LOO, which measures how one training sample influences a downstream target after subsequent online updates have taken place. We then derive RL-IF, a first-order estimator that propagates data influence through both optimization effects and policy-induced sampling effects, and provide theoretical guarantees on its approximation accuracy under smoothness assumptions. Our analysis further disentangles these two effects and shows both theoretically and empirically that the full RL-IF estimator can often be well approximated using the optimization effect alone. Building on this observation, we develop RINSE, a practical data filtering method for online RL. Experiments on standard control benchmarks and an RLHF-style toxicity-mitigation setting show that RINSE improves training efficiency and final performance over standard PPO and local attribution baselines. These results suggest that RL-IF provides a practical and principled framework for understanding and improving online RL.
• Abstract（参考訳）: オンライン強化学習(RL)は意思決定タスクにおいて大きな成功を収めているが、現代のオンラインRLはトレーニング体験の品質に非常に敏感である。 個々のトレーニングインスタンスのコントリビューションを理解することは、経験の選択からポリシー解釈に至るまで、データ中心のRLの中心となる。 既存のオンラインRLのデータ属性手法は、主に1回のトレーニングラウンド内のローカルな影響に焦点を当て、複数のトレーニングラウンドで非ローカルなデータの影響を見越す。 本研究では,オンライン更新後の下流ターゲットに対するトレーニングサンプルの影響を計測し,オンラインRLにおけるデータ属性をトラジェクトリレベルの残量であるRL-LOOを用いて定式化する。 次に、最適化効果と政策誘発サンプリング効果の両方を通してデータの影響を伝播する一階推定器RL-IFを導出し、滑らかな仮定の下で近似精度を理論的に保証する。 我々の分析はこれらの2つの効果をさらに解き、完全にRL-IF推定器を最適化効果だけでよく近似できることを理論的および実証的に示している。 この観測に基づいて,オンラインRLのための実用的なデータフィルタリング手法であるRINSEを開発した。 標準制御ベンチマークとRLHFスタイルの毒性緩和設定の実験により、RINSEは標準PPOおよび局所属性ベースラインよりもトレーニング効率と最終性能を向上させることが示された。 これらの結果から,RL-IFはオンラインRLの理解と改善のための実践的で原則的なフレームワークを提供すると考えられる。

関連論文リスト

• Unsupervised Data Generation for Offline Reinforcement Learning: A Perspective from Model [57.20064815347607]
  オフライン強化学習(RL)は、最近RL研究者から関心が高まりつつある。 オフラインRLの性能は、オンラインRLのフィードバックによって修正できる配布外問題に悩まされる。 本稿では、まず、バッチデータとオフラインRLアルゴリズムの性能を理論的に橋渡しする。 タスクに依存しない環境では、教師なしのRLによって訓練された一連のポリシーは、パフォーマンスギャップにおける最悪の後悔を最小限に抑えることができることを示す。
  論文  参考訳（メタデータ） (2025-06-24T14:08:36Z)
• A Snapshot of Influence: A Local Data Attribution Framework for Online Reinforcement Learning [45.19254609437857]
  オンライン強化学習(RL)は、複雑で安全クリティカルな領域で優れているが、サンプルの非効率性、トレーニング不安定性、限定的な解釈可能性に悩まされている。 データ属性は、モデルの振る舞いをトレーニングサンプルに遡る、原則化された方法を提供する。 本稿では、オンラインRLトレーニングのためのアルゴリズムである反復的影響ベースのフィルタリング(IIF)を提案し、ポリシー更新を洗練するための経験的フィルタリングを反復的に行う。
  論文  参考訳（メタデータ） (2025-05-25T19:25:57Z)
• Behavior Injection: Preparing Language Models for Reinforcement Learning [45.744838898763554]
  我々はRL目標のステップごとの影響を分析し、効果的な後学習のための2つの重要な条件を同定する。 RLに先立って適用されたタスクに依存しないデータ拡張方式である振舞い注入を提案する。 提案手法は,複数のベースモデルを用いた2つの推論ベンチマークで評価する。
  論文  参考訳（メタデータ） (2025-05-25T00:54:50Z)
• Yes, Q-learning Helps Offline In-Context RL [69.26691452160505]
  本研究では,オフラインのテキスト内強化学習フレームワークにおけるRL目標の統合について検討する。 RL目標の最適化は、広く採用されているアルゴリズム蒸留(AD)と比較して、平均で約30%向上することを示した。 私たちの結果は、バリュー学習中に保守性を追加することで、テストされたほぼすべての設定にさらなる改善がもたらされることも示しています。
  論文  参考訳（メタデータ） (2025-02-24T21:29:06Z)
• Using Offline Data to Speed Up Reinforcement Learning in Procedurally Generated Environments [16.62777710035937]
  本研究では, エージェントがオフラインデータをトラジェクトリ形式で活用して, 手続き的に生成した環境におけるサンプル効率を向上させることができるかを検討した。 1)オンラインRLトレーニングの前にポリシーを事前学習し、(2)オフラインデータからオンラインRLとILでポリシーを同時に訓練する。
  論文  参考訳（メタデータ） (2023-04-18T16:23:15Z)
• MOReL : Model-Based Offline Reinforcement Learning [49.30091375141527]
  オフライン強化学習(RL)では、環境との歴史的相互作用のデータセットのみに基づく高報酬政策を学習することが目的である。 モデルベースオフラインRLのためのアルゴリズムフレームワークMOReLを提案する。 オフラインRLベンチマークにおいてMOReLが最先端の結果と一致するか,あるいは超えるかを示す。
  論文  参考訳（メタデータ） (2020-05-12T17:52:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。