論文の概要: Taming the Implicit: Dual-Channel Risk-Aware Reinforcement Fine-Tuning for Continual Multimodal Post-Training

• arxiv url: http://arxiv.org/abs/2608.03660v1
• Date: Tue, 04 Aug 2026 13:40:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-05 15:30:23.223387
• Title: Taming the Implicit: Dual-Channel Risk-Aware Reinforcement Fine-Tuning for Continual Multimodal Post-Training
• Title（参考訳）: 二重チャネル型リスク・アウェア・インテンシブ・インテンシブ・インテンシブ・ファインタニングによるマルチモーダル・ポスト・トレーニング
• Abstract要約: 顕著なタスク分布シフトの下では、代表的RFTアルゴリズムをまたいで忘れることが急速にエスカレートする。 本稿では,リスク対応政策最適化(RAPO)を提案する。 RAPOは、新しいタスクの競争力を保ちながら、RLOOのバックボーンに対する最後の忘れを79.8%削減する。
• 参考スコア（独自算出の注目度）: 15.04239819634502
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement fine-tuning (RFT) is widely believed to inherently resist catastrophic forgetting in continual post-training of multimodal large language models. Under pronounced task distributional shifts, however, forgetting across representative RFT algorithms escalates sharply. This stems from the implicit reward-variance regularization inherent to RFT, which proves incapable of suppressing uncontrolled optimization risk. We propose Risk-Aware Policy Optimization (RAPO), the first dual-channel framework for explicit risk governance in continual RFT. On the policy channel, Risk-Aware Policy Scaling adaptively calibrates per-sample update magnitude via rollout reliability and Fisher-inspired local predictive sensitivity; on the data channel, Risk-Aware Dynamic Bucket Sampling reorganizes training batches through dynamic risk stratification, steering optimization toward informative yet stable samples. As a plug-and-play strategy requiring no cross-task memory, RAPO generalizes to any RFT algorithm without modification. On the public MLLM-CL benchmark, RAPO reduces final forgetting by 79.8% relative to its RLOO backbone while retaining new-task competitiveness.
• Abstract（参考訳）: 強化微調整(Reinforcement Fine-tuning, RFT)は, 多モーダル大言語モデルの連続的後訓練において, 破滅的な忘れ込みに本質的に抵抗することが広く信じられている。 しかし、タスク分布シフトが顕著な状況下では、代表的RFTアルゴリズムをまたいで忘れることが急速にエスカレートする。 これは RFT 固有の暗黙の報酬分散正規化(英語版)が、制御不能な最適化リスクを抑えることができないことに由来する。 本稿では,リスク対応政策最適化(RAPO)を提案する。 ポリシーチャネルでは、リスク対応ポリシー ロールアウトの信頼性とFisherにインスパイアされたローカルな予測感度によって、サンプルごとの更新サイズを適応的に調整する。 クロスタスクメモリを必要としないプラグアンドプレイ戦略として、RAPOは変更せずに任意のRTTアルゴリズムに一般化する。 公共のMLLM-CLベンチマークでは、RAPOはRLOOのバックボーンに対する最後の忘れを79.8%削減し、新しいタスクの競争力を維持している。

関連論文リスト

• RS-Diffuser: Risk-Sensitive Diffusion Planning with Distributional Value Guidance [0.0]
  オフライン強化学習は、追加の環境相互作用なしに、固定データセットからポリシー学習を可能にする。 本稿では,拡散に基づく軌道生成と分布値批判を組み合わせ,リスクに敏感なオフライン拡散計画フレームワークRS-Diffuserを提案する。 リスクに敏感なD4RLと危険なロボットナビゲーションベンチマークの実験は、RS-Diffuserが最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2026-06-26T06:51:16Z)
• Rethinking the Divergence Regularization in LLM RL [56.952725733148746]
  強化学習(Reinforcement Learning, RL)は、大規模言語モデル(LLM)の訓練後において重要な要素となっている。 そこで本稿では,ハードマスクをスムーズなアドバンテージ重み付き二次正規化器に置き換える多変量正規化政策最適化(DRPO)を提案する。 DRPOはDPPOと同じ信頼領域を保ちながら、有界で連続的な勾配重みを誘導する。
  論文  参考訳（メタデータ） (2026-06-08T17:58:23Z)
• Ratio-Variance Regularized Policy Optimization [64.95520246570446]
  ポリシ比の分散を明示的に制約することは、信頼領域の制約に対する原則的な局所近似をもたらすことを示す。 本稿では,この制約を実装したR2bf VPO$(Ratio-Variance Regularized Policy Optimization)を紹介する。
  論文  参考訳（メタデータ） (2026-05-26T09:53:42Z)
• Robust Regularized Policy Iteration under Transition Uncertainty [6.7431287237221085]
  我々は、オフラインRLをロバストなポリシー最適化として定式化し、遷移カーネルを不確実性集合内の決定変数として扱う。 本稿では、抽出可能な最大最小二レベル目標を、抽出可能なKL正規化サロゲートに置き換えるロバスト正規化ポリシーイテレーション(RRPI)を提案する。 D4RLベンチマークの実験では、RRPIは高い平均性能を示し、最近のベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-03-10T08:18:27Z)
• Rethinking the Trust Region in LLM Reinforcement Learning [72.25890308541334]
  PPO(Proximal Policy Optimization)は、大規模言語モデル(LLM)のデファクト標準アルゴリズムとして機能する。 より原則的な制約でクリッピングを代用する多変量確率ポリシー最適化(DPPO)を提案する。 DPPOは既存の方法よりも優れたトレーニングと効率を実現し、RLベースの微調整のためのより堅牢な基盤を提供する。
  論文  参考訳（メタデータ） (2026-02-04T18:59:04Z)
• ETR: Outcome-Guided Elastic Trust Regions for Policy Optimization [6.716883192613149]
  textbfElastic textbfTrust textbfETRを提案する。 ETRはGRPOを一貫して上回り、より優れた精度を実現し、政策エントロピー劣化を効果的に緩和する。
  論文  参考訳（メタデータ） (2026-01-07T09:19:53Z)
• Ratio-Variance Regularized Policy Optimization for Efficient LLM Fine-tuning [48.34492357368989]
  本稿では,安定なオン・ポリティクス学習をサポートし,オフ・ポリティクスデータの再利用を原則とするプリミティブ・デュアル・フレームワークを提案する。 R2VPO$は、強いクリッピングベースのベースラインよりも17%の平均的な相対的なゲインで優れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2026-01-06T14:01:42Z)
• Adaptive Sample-Level Framework Motivated by Distributionally Robust Optimization with Variance-Based Radius Assignment for Enhanced Neural Network Generalization Under Distribution Shift [0.8101875496469488]
  経験的リスク最小化(ERM)を用いて訓練された深層ニューラルネットワークの信頼性を損なう場合が多い。 本稿では、リスクの高いトレーニングサンプルを自動的に識別し、オンラインの損失分散に基づいて個人化されたロバスト性予算を割り当てる分散駆動型サンプルレベルDROフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-11-04T10:20:21Z)
• Efficient Risk-Averse Reinforcement Learning [79.61412643761034]
  リスク逆強化学習(RL)では、リターンのリスク測定を最適化することが目標である。 特定の条件下では、これは必然的に局所最適障壁につながることを証明し、それを回避するためのソフトリスク機構を提案する。 迷路ナビゲーション,自律運転,資源配分ベンチマークにおいて,リスク回避の改善を示す。
  論文  参考訳（メタデータ） (2022-05-10T19:40:52Z)
• Risk-Sensitive Deep RL: Variance-Constrained Actor-Critic Provably Finds Globally Optimal Policy [95.98698822755227]
  本研究は,リスクに敏感な深層強化学習を,分散リスク基準による平均報酬条件下で研究する試みである。 本稿では,ポリシー,ラグランジュ乗算器,フェンシェル双対変数を反復的かつ効率的に更新するアクタ批判アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-12-28T05:02:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。