Fugu-MT 論文翻訳(概要): RL Forgets! Towards Continual Policy Optimization

論文の概要: RL Forgets! Towards Continual Policy Optimization

arxiv url: http://arxiv.org/abs/2607.04364v1
Date: Sun, 05 Jul 2026 15:46:11 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-07 22:26:29.909053
Title: RL Forgets! Towards Continual Policy Optimization
Title（参考訳）: RL Forgets! 継続的な政策最適化に向けて
Abstract要約: 近年の研究では、強化学習が本質的に忘れやすいという信念から、教師付き微調整よりも強化学習が好まれている。 MRCL(Multimodal Reasoning Continual Learning benchmark)は、多種多様な、最近リリースされたマルチモーダルデータセットから構築された、マルチモーダル推論連続学習ベンチマークである。 MRCLの実験では、強化学習は継続訓練中に深刻な破滅的な忘れ込みに悩まされることが示されている。我々は,事前タスク動作KL目標に基づくリプレイフリーフレームワークであるContinual Policy Optimization (CPO)を提案する。
参考スコア（独自算出の注目度）: 57.4336338996653
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Continual post-training is becoming a central paradigm for adapting vision-language models to evolving tasks. Recent work has increasingly favored reinforcement learning over supervised fine-tuning, driven by the belief that reinforcement learning is inherently less prone to forgetting. However, the belief remains insufficiently validated, as existing evidence is largely drawn from outdated or homogeneous benchmarks. To revisit this assumption, we introduce MRCL, a Multimodal Reasoning Continual Learning benchmark built from diverse and recently released multimodal datasets. Experiments on MRCL show that reinforcement learning can still suffer from severe catastrophic forgetting during continual post-training. To address this challenge, we propose Continual Policy Optimization (CPO), a replay-free framework grounded in the prior-task behavioral KL objective. CPO uses a theoretically justified parameter-movement regularization to limit policy drift on previous tasks. Extensive experiments across multiple model scales demonstrate that CPO consistently reduces forgetting while preserving, and in some cases improving, pretrained model capabilities. On Qwen3-VL-8B, CPO reduces forgetting by 13.7\% and improves pretrained capability by 7.0\%. The implementation code is available at https://github.com/MaolinLuo/CPO.
Abstract（参考訳）: 継続的なポストトレーニングは、進化するタスクに視覚言語モデルを適用するための中心的なパラダイムになりつつある。最近の研究は、強化学習が本質的に忘れやすいという信念から、教師付き微調整よりも強化学習を好んでいる。しかし、既存の証拠は時代遅れまたは均質なベンチマークから大きく引き出されるため、この信念は依然として不十分に検証されている。この仮定を再考するため、MRCL(Multimodal Reasoning Continual Learning benchmark)を紹介する。 MRCLの実験では、強化学習は継続訓練中に深刻な破滅的な忘れ込みに悩まされることが示されている。この課題に対処するため,我々は,事前タスク動作KLの目的を基礎としたリプレイフリーフレームワークであるContinuous Policy Optimization (CPO)を提案する。 CPOは理論上正当化されたパラメータ移動正規化を使用して、以前のタスクのポリシードリフトを制限する。複数のモデルスケールにわたる大規模な実験は、CPOが保存中の忘れを継続的に減らし、場合によっては事前訓練されたモデル機能を改善することを示した。 Qwen3-VL-8B では、CPO は忘れを 13.7 % 削減し、事前学習能力を 7.0 % 改善している。実装コードはhttps://github.com/MaolinLuo/CPOで公開されている。

関連論文リスト

Toward Plasticity-Preserving KL Regularization for Capability Retention in LLM Reinforcement Learning [43.981833556858135]
完全出力分布から正当性条件付き応答分布への保存制約を狭める条件正規化フレームワークを提案する。 CoKLは,既存の正規化手法よりも目標タスク改善と事前能力維持のバランスが良好である。
論文参考訳（メタデータ） (2026-08-03T06:10:33Z)
Collaborative Weighting with Pessimistic Critic for Mitigating Overestimation in Off-Policy Reinforcement Learning [7.604367783364084]
Collaborative Weighting Actor-Critic (CWAC) は、価値推定における予測の不確実性を考慮に入れた統合フレームワークである。 CWACは最小限のオーバーヘッドで既存の外部アルゴリズムフレームワークにシームレスに統合できる。
論文参考訳（メタデータ） (2026-07-29T06:18:19Z)
Post-Training at the Edge of Detectability: A Game-Theoretic Approach to Fine-Tuning [58.088509347353465]
強化学習(Reinforcement Learning, RL)は、言語モデルトレーニングにおいて広く使われている。我々は,このトレードオフに明確な統計的解釈を与えるゲーム理論の枠組みを提案する。
論文参考訳（メタデータ） (2026-07-29T00:19:09Z)
Denser $\neq$ Better: Limits of On-Policy Self-Distillation for Continual Post-Training [44.59915053122529]
継続的なポストトレーニングにより、ファンデーションモデルは既存の能力を保ちながら新しい知識を得ることができる。最近の研究は、政治的学習が忘れを軽減し、特に魅力的なアプローチとして、政治的自己蒸留が出現していることを示唆している。実験の結果、SDPOは教師の信号が安定して整合性が高い場合にドメイン内特殊化を加速できるが、配布外シナリオへの一般化に苦慮している。
論文参考訳（メタデータ） (2026-07-02T06:24:30Z)
Trust the Batch, On- or Off-Policy: Adaptive Policy Optimization for RL Post-Training [50.86545293331458]
強化学習は、教師付き学習よりも構造的に難しい。本稿では,固定クリッピングを政策比率の正規化された有効サンプルサイズに置き換える,単純かつ効果的なバッチ適応目的を提案する。
論文参考訳（メタデータ） (2026-05-12T16:44:47Z)
Improving Search Agent with One Line of Code [68.58667107354253]
ツールベースのエージェント強化学習(TARL)は,検索エージェントが外部ツールと対話できるようにトレーニングするための,有望なパラダイムとして登場した。 textbfSearch textbfAgent textbfPolicy textbfOptimization (textbfSAPO)を提案する。
論文参考訳（メタデータ） (2026-03-10T04:07:39Z)
Stabilizing Reinforcement Learning with LLMs: Formulation and Practices [61.361819972410046]
本稿では,REINFORCEなどの政策勾配法において,真のシーケンスレベルの報酬を代用トークンレベルの目的によって最適化できる理由と条件を示す。この洞察は、RLトレーニングの安定化において、広く採用されているいくつかのテクニックの重要な役割について、原則化された説明を提供する。
論文参考訳（メタデータ） (2025-12-01T07:45:39Z)
Mind the Gap: Preserving and Compensating for the Modality Gap in CLIP-Based Continual Learning [11.50324946279326]
コントラスト言語-画像事前訓練モデル(CLIP)は、様々な下流タスクに強い能力を示す。視覚言語事前学習モデルの微調整におけるモダリティギャップの変化を分析する。クラス増分学習におけるCLIPの性能を向上する単純なMG-CLIPを提案する。
論文参考訳（メタデータ） (2025-07-12T02:28:42Z)
Reinforcement Fine-Tuning Naturally Mitigates Forgetting in Continual Post-Training [36.69514399442043]
本稿では,教師付きファインチューニング(SFT)と強化ファインチューニング(RFT)の2つのコアポストトレーニングパラダイムの比較分析を行った。本実験は,7つの多様なマルチモーダルタスクからなるベンチマークで実施した。
論文参考訳（メタデータ） (2025-07-07T18:17:06Z)
Temporal-Difference Variational Continual Learning [77.92320830700797]
複数の先行推定の正則化効果を統合する新たな学習目標を提案する。提案手法は, 変分CL法より優れたカタストロフィックフォーミングを効果的に緩和する。
論文参考訳（メタデータ） (2024-10-10T10:58:41Z)
LoRanPAC: Low-rank Random Features and Pre-trained Models for Bridging Theory and Practice in Continual Learning [103.45785408116146]
連続学習(CL)は、連続的に提示される複数のタスクを解決できるモデルを訓練することを目的としている。最近のCLアプローチは、ダウンストリームタスクをうまく一般化する大規模な事前学習モデルを活用することで、強力なパフォーマンスを実現している。しかし、これらの手法には理論的保証がなく、予期せぬ失敗をしがちである。理論的に健全で高性能な単純なCL法を設計することで,このギャップを埋めることを目指している。
論文参考訳（メタデータ） (2024-10-01T12:58:37Z)
BRAC+: Improved Behavior Regularized Actor Critic for Offline Reinforcement Learning [14.432131909590824]
オフライン強化学習は、以前に収集したデータセットを使用して効果的なポリシーをトレーニングすることを目的としている。標準的なオフ・ポリティクスRLアルゴリズムは、アウト・オブ・ディストリビューション(探索されていない)アクションの値を過大評価する傾向がある。動作の規則化によるオフライン強化学習を改善し,BRAC+を提案する。
論文参考訳（メタデータ） (2021-10-02T23:55:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。