Fugu-MT 論文翻訳(概要): MInTRL: Off-policy Intervention can boost On-policy RL

論文の概要: MInTRL: Off-policy Intervention can boost On-policy RL

arxiv url: http://arxiv.org/abs/2609.12419v1
Date: Fri, 11 Sep 2026 04:13:32 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-15 07:38:31.619788
Title: MInTRL: Off-policy Intervention can boost On-policy RL
Title（参考訳）: MInTRL:オフ・ポリティィ・インターベンションはオン・ポリティィ・RLを後押しする
Abstract要約: 検証可能な報酬を伴う強化学習は通常、政治上で行われる。教師付き微調整のようなオフ政治手法は、ベースモデルの能力を超えた外部の知識を活用することができる。 MInTRL(Minimmal Intervention Reinforcement Learning)を導入する。
参考スコア（独自算出の注目度）: 11.159528979089224
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Reinforcement learning with verifiable rewards is typically performed on-policy, keeping training data close to the current policy but limiting learning to trajectories that the policy can discover itself. Off-policy methods such as supervised fine-tuning, on the other hand, can leverage external knowledge beyond the base model's capabilities, but may suffer from large distribution shift. The key challenge is thus to expand exploration without sacrificing learnability. In this work, we introduce Minimal Intervention Reinforcement Learning (MInTRL), which expands the exploration frontier through sparse, local interventions in otherwise on-policy rollouts. During generation, a judge-intervention policy periodically reviews the current policy's output, replaces erroneous suffixes with short corrections, and immediately returns control to the policy. During training, MInTRL adopts a sequence-level advantage-regression objective that eliminates the need for importance sampling. We show that sparse, local interventions can substantially improve coverage beyond finite-budget on-policy sampling while preserving the overall on-policy nature of the resulting trajectories. Across math and code benchmarks, MInTRL consistently outperforms standard on-policy and off-policy baselines. Ablations show that MInTRL remains effective with self-intervention and across different judge policies, while performance peaks at moderate intervention intensity, highlighting the importance of intervening minimally. These results establish minimal intervention as an effective paradigm for enhancing on-policy RL.
Abstract（参考訳）: 検証可能な報酬を伴う強化学習は、通常、政治において行われ、トレーニングデータを現在の方針に近づけるが、学習は、その方針が発見できる軌跡に制限される。一方、教師付き微調整のようなオフ政治手法は、ベースモデルの能力を超えた外部知識を活用することができるが、大きな分散シフトに悩まされる可能性がある。したがって、重要な課題は、学習性を犠牲にすることなく探索を拡張することである。本研究では,ミニマルインターベンション強化学習(Minimmal Intervention Reinforcement Learning, MInTRL)を紹介する。世代間、裁判官介入政策は、現在の政策のアウトプットを定期的にレビューし、誤ったサフィックスを短い修正で置き換え、直ちにポリシーへの制御を返却する。トレーニング中、MInTRLは、重要サンプリングの必要性を排除したシーケンスレベルのアドバンテージ-レグレッションの目標を採用する。本研究は, 局所的介入は, 有限予算のオンラインサンプリング以上の範囲を著しく改善し, 結果として得られる軌道の全体的オン・ポリティクス性を保っていることを示す。数学とコードベンチマーク全体において、MInTRLは、標準のオン・ポリティクスとオフ・ポリティクスのベースラインを一貫して上回っている。アブレーションは、MInTRLが自己介入と異なる判断方針で有効であり、一方、パフォーマンスは中程度の介入強度でピークを迎え、最小限の介入の重要性を強調していることを示している。これらの結果から, 政治的RLを高めるための効果的なパラダイムとして, 最小限の介入が確立された。

関連論文リスト

Inference-Time Policy Alignment for Fair Reinforcement Learning [1.9342617041096457]
深層強化学習エージェントの政策は、しばしば新しい性能基準に適応するために厳格でコストがかかる。本稿では,行動依存型福祉スコアを用いて行動確率を調節する乗法的政策形成フレームワークを提案する。我々のフレームワークは汎用的で、どのディープRLエージェントとも互換性がある。
論文参考訳（メタデータ） (2026-07-31T18:00:50Z)
Adaptive Layerwise Perturbation: Unifying Off-Policy Corrections for LLM RL [26.49103739671071]
政策の不安定さやトレーニング推論ミスマッチといった非政治的な問題は、トレーニングの安定性の大きなボトルネックとなっている。更新中に各レイヤの入力隠れ状態に小さな学習可能な摂動を注入することにより、適応層摂動(ALP)を提案する。 ALPは、更新されたポリシーが推論ポリシーから過度に逸脱することを防ぎ、推論ポリシーファミリをミスマッチノイズでカバーするようにポリシーファミリを拡大する。
論文参考訳（メタデータ） (2026-03-19T21:04:17Z)
A Step Back: Prefix Importance Ratio Stabilizes Policy Optimization [58.116300485427764]
強化学習のポストトレーニングは、大きな言語モデルにおける推論の振る舞いを引き出すことができる。トークンレベルの補正は、オフポリシーネスの度合いが大きい場合、不安定なトレーニングダイナミクスにつながることが多い。我々は,最小固定率 (MinPRO) を簡易かつ効果的に提案する。
論文参考訳（メタデータ） (2026-01-30T08:47:19Z)
Dichotomous Diffusion Policy Optimization [46.51375996317989]
DIPOLEは、安定かつ制御可能な拡散ポリシー最適化のために設計された新しいRLアルゴリズムである。また、DIPOLEを使用して、エンドツーエンドの自動運転のための大規模なビジョン言語アクションモデルをトレーニングしています。
論文参考訳（メタデータ） (2025-12-31T16:56:56Z)
Entropy Ratio Clipping as a Soft Global Constraint for Stable Reinforcement Learning [49.92803982100042]
我々は,現在の政策と過去の政策のエントロピー比を新たなグローバル指標として用いることを提案する。エントロピー比に双方向の制約を課すtextbfEntropy Ratio (ERC) 機構を導入する。これは、グローバルな分布レベルでの政策更新を安定化させ、未サンプリングアクションの確率シフトを規制するPPOクリップの不能を補償する。
論文参考訳（メタデータ） (2025-12-05T10:26:32Z)
Think Outside the Policy: In-Context Steered Policy Optimization [13.24687763539952]
In-context Steered Policy Optimizationは、既存のデータセットを使用した専門家のガイダンスを提供する。 ICPOは、数学的推論ベンチマークにおける強化学習性能と訓練安定性を一貫して向上させる。
論文参考訳（メタデータ） (2025-10-30T14:14:15Z)
Direct Preference Optimization for Primitive-Enabled Hierarchical Reinforcement Learning [75.9729413703531]
DIPPERは階層的な政策学習を二段階最適化問題として定式化する新しいHRLフレームワークである。 DIPPERは、スパース報酬シナリオにおいて、最先端のベースラインよりも最大40%改善されていることを示す。
論文参考訳（メタデータ） (2024-11-01T04:58:40Z)
Diffusion-based Reinforcement Learning via Q-weighted Variational Policy Optimization [55.97310586039358]
拡散モデルは強化学習(Reinforcement Learning, RL)において、その強力な表現力と多モード性に対して広く注目を集めている。モデルなし拡散に基づくオンラインRLアルゴリズムQ-weighted Variational Policy Optimization (QVPO)を提案する。具体的には、ある条件下でのオンラインRLにおける政策目標の厳密な下限を証明できるQ重み付き変動損失を導入する。また,オンラインインタラクションにおける拡散ポリシのばらつきを低減し,サンプル効率を向上させるための効率的な行動ポリシーも開発している。
論文参考訳（メタデータ） (2024-05-25T10:45:46Z)
Projected Off-Policy Q-Learning (POP-QL) for Stabilizing Offline Reinforcement Learning [57.83919813698673]
Projected Off-Policy Q-Learning (POP-QL) は、政治外のサンプルを同時に重み付け、分散を防止し、価値近似誤差を減らすためにポリシーを制約する新しいアクタ批判アルゴリズムである。我々の実験では、POP-QLは標準ベンチマーク上での競合性能を示すだけでなく、データ収集ポリシーがかなり最適化されていないタスクにおいて競合するメソッドよりも優れています。
論文参考訳（メタデータ） (2023-11-25T00:30:58Z)
Mutual Information Regularized Offline Reinforcement Learning [76.05299071490913]
我々は、データセットにおける状態と行動間の相互情報の観点から、オフラインRLにアプローチする新しいMISAフレームワークを提案する。この下位境界の最適化は、オフラインデータセット上での一段階改善されたポリシーの可能性の最大化と等価であることを示す。 MISAの3つの異なる変種を導入し、より厳密な相互情報によりオフラインのRL性能が向上することを示した。
論文参考訳（メタデータ） (2022-10-14T03:22:43Z)
Mitigating Off-Policy Bias in Actor-Critic Methods with One-Step Q-learning: A Novel Correction Approach [0.0]
我々は,このような不一致が継続的制御に与える影響を軽減するために,新しい政策類似度尺度を導入する。本手法は、決定論的政策ネットワークに適用可能な、適切な単一ステップのオフ・ポリシー補正を提供する。
論文参考訳（メタデータ） (2022-08-01T11:33:12Z)
Model-Based Offline Meta-Reinforcement Learning with Regularization [63.35040401948943]
オフラインのMeta-RLは、これらの課題に対処するための有望なアプローチとして現れています。 MerPOは、効率的なタスク構造推論と情報的メタ政治のためのメタモデルを学ぶ。我々は,MerPOが行動政策とメタ政治の両方に対して,保証された改善を提供することを示す。
論文参考訳（メタデータ） (2022-02-07T04:15:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。