Fugu-MT 論文翻訳(概要): REVA-PO: Stabilizing Reinforcement Learning for Chest X-ray Report Generation

論文の概要: REVA-PO: Stabilizing Reinforcement Learning for Chest X-ray Report Generation

arxiv url: http://arxiv.org/abs/2607.10147v1
Date: Sat, 11 Jul 2026 06:15:03 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-14 15:40:48.323165
Title: REVA-PO: Stabilizing Reinforcement Learning for Chest X-ray Report Generation
Title（参考訳）: REVA-PO:胸部X線レポート生成のための強化学習の安定化
Abstract要約: 胸部X線レポート生成のためのレスポンシブウェイトおよびバリデーションアンコレッドポリシー最適化(REVA-PO)を提案する。 REVA-POは、応答重み付き正規化(RER)とバリデーション・アンコレッド・ポリシー・リセット(VAPR)を介して長期トレーニングを安定化する BLEU-4はMIMIC-CXRで5.1%、IU-Xrayで3.6%向上し、CheXpert F1とRadGraph F1のスコアはそれぞれ4.5%、12.8%向上した。
参考スコア（独自算出の注目度）: 20.509657233924575
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Automated chest X-ray report generation has recently benefited from reinforcement learning (RL) and large language models. However, RL training often suffers from instability or limited exploration due to fixed Kullback-Leibler (KL) regularization and a static reference policy that accumulates KL pressure over time. We propose Response-Weighted and Validation-Anchored Policy Optimization (REVA-PO), a RL framework that stabilizes long-term training via Response-Weighted Regularization (RER) and Validation-Anchored Policy Reset (VAPR). RER dynamically adjusts per-response KL weights based on advantage and reference-policy entropy, relaxing constraints for high-quality responses while tightening them for low-quality ones. Complementarily, VAPR periodically synchronizes the reference and current policies to the best validation checkpoint, resetting accumulated regularization pressure to expand the viable exploration space. To ensure a robust starting point, we employ a three-stage pipeline consisting of warm-up training, classifier-guided supervised fine-tuning, and RL. Extensive evaluations on MIMIC-CXR and IU-Xray demonstrate that REVA-PO sets new state-of-the-art benchmarks in both linguistic quality and clinical accuracy. Notably, BLEU-4 improves by 5.1% on MIMIC-CXR and 3.6% on IU-Xray, while CheXpert F1 and RadGraph F1 scores increase by 4.5% and 12.8%, respectively, over prior leading methods. The code is publicly available at https://github.com/LiGuo12/REVA_PO/.
Abstract（参考訳）: 胸部X線自動レポート生成は近年,強化学習(RL)と大規模言語モデルの恩恵を受けている。しかしながら、RLトレーニングは、固定されたKL正規化と時間とともにKL圧力を蓄積する静的参照ポリシーにより、不安定または限定的な探索に悩まされることが多い。本稿では、応答重み付き正規化(RER)とバリデーションアンコレッドポリシーリセット(VAPR)による長期トレーニングを安定化するRLフレームワークである、応答重み付きおよび検証アンコレッドポリシー最適化(REVA-PO)を提案する。 RERは、利点と参照ポリティクスのエントロピーに基づいて、応答毎のKL重みを動的に調整し、高品質な応答に対する制約を緩和し、低品質な応答に対してそれらを締め付ける。 VAPRは、定期的に参照と現在のポリシーを最高の検証チェックポイントに同期させ、蓄積された正規化圧力をリセットして、実行可能な探索空間を拡張する。頑健な開始点を確保するため,ウォームアップトレーニング,分類器誘導型微調整,RLという3段階のパイプラインを用いた。 MIMIC-CXRとIU-Xrayの広範囲な評価は、REVA-POが言語品質と臨床精度の両方で新しい最先端のベンチマークを設定できることを実証している。特に、BLEU-4はMIMIC-CXRで5.1%、IU-Xrayで3.6%改善され、CheXpert F1とRadGraph F1のスコアは、先行する手法に比べてそれぞれ4.5%、12.8%向上した。コードはhttps://github.com/LiGuo12/REVA_PO/で公開されている。

関連論文リスト

ARMOR: Stabilizing On-Policy LLM RL with Off-Policy Anchor Samples [65.74946647574696]
強化学習(RL)は,大規模言語モデル(LLM)の推論能力を大幅に向上させた。本研究では,この不安定性の重要源である過最適化について検討する。我々は,このパラダイムを受動的ペナルティからアクティブ標本安定化に移行するフレームワークARMORを提案する。
論文参考訳（メタデータ） (2026-07-11T21:22:46Z)
RL Forgets! Towards Continual Policy Optimization [57.4336338996653]
近年の研究では、強化学習が本質的に忘れやすいという信念から、教師付き微調整よりも強化学習が好まれている。 MRCL(Multimodal Reasoning Continual Learning benchmark)は、多種多様な、最近リリースされたマルチモーダルデータセットから構築された、マルチモーダル推論連続学習ベンチマークである。 MRCLの実験では、強化学習は継続訓練中に深刻な破滅的な忘れ込みに悩まされることが示されている。我々は,事前タスク動作KL目標に基づくリプレイフリーフレームワークであるContinual Policy Optimization (CPO)を提案する。
論文参考訳（メタデータ） (2026-07-05T15:46:11Z)
Test-Time Gradient Guidance of Flow Policies in Reinforcement Learning [50.738952715864116]
表現的連続制御ポリシは、シミュレーションされた実ロボット制御のための模倣学習のスケーリングにおける進歩のバックボーンを形成する。テスト時に完全にポリシー最適化を行うRLアルゴリズムであるQGF(Q-Guided Flow)を提案する。実証的には、QGFはシングルタスクおよびゴール条件のオフラインRLベンチマークにおいて、以前のテスト時間RLメソッドよりも優れている。
論文参考訳（メタデータ） (2026-06-09T16:45:57Z)
Baseline-Free Policy Optimization for Neural Combinatorial Optimization [1.2891210250935148]
グループ相対ポリシー最適化は、サンプリングされた軌道群内の利点を正規化することによって、ベースラインを完全に排除する。 GRPOは、強力なAMベースのマルチスタートベースラインであるPOMOの2%以内で、外部ベースラインを必要としないソリューション品質を実現する。これらの結果から,GRPO は NCO の有望なベースラインフリー代替品であり,特にベースライン依存トレーニングが脆弱な環境では有効であると考えられた。
論文参考訳（メタデータ） (2026-06-09T02:18:30Z)
Trust Region Q Adjoint Matching [54.05514246126841]
本稿では,経路空間KLを予め訓練されたフローポリシーで適応的に制御する安定なオフポリチック微調整アルゴリズムであるTrust Region Q-Adjoint Matching (TRQAM)を紹介する。 TRQAMは、オフラインRLとオフライン-オフラインRLの両方において、常に先行技術を上回っている。
論文参考訳（メタデータ） (2026-05-26T14:28:43Z)
Advantage Collapse in Group Relative Policy Optimization: Diagnosis and Mitigation [13.272542054938258]
非効率な勾配でトレーニングバッチの割合を定量化する最初の指標であるAdvantage Collapse Rate (ACR)を導入する。次に、仮想報酬サンプルを注入するGRPOの軽量拡張であるAdaptive Virtual Sample Policy Optimization (AVSPO)を提案する。 AVSPOはGRPOに対して58～63%の利害崩壊を減少させ、すべてのモデルスケールで4～6ポイントの一貫した精度向上をもたらす。
論文参考訳（メタデータ） (2026-05-20T12:57:37Z)
Off-Policy Value-Based Reinforcement Learning for Large Language Models [25.962820072445222]
ReValはベルマン更新に基づく手法で、内部の一貫性を捉える段階的な信号と、結果検証から導出される軌道レベルの信号を組み合わせる。 DeepSeek-R1-Distill-1.5Bでは、ReValはトレーニング効率を改善し、AIME24の2.7%、GRPOのGPQAの4.5%の改善を実現している。
論文参考訳（メタデータ） (2026-03-24T15:55:02Z)
A Step Back: Prefix Importance Ratio Stabilizes Policy Optimization [58.116300485427764]
強化学習のポストトレーニングは、大きな言語モデルにおける推論の振る舞いを引き出すことができる。トークンレベルの補正は、オフポリシーネスの度合いが大きい場合、不安定なトレーニングダイナミクスにつながることが多い。我々は,最小固定率 (MinPRO) を簡易かつ効果的に提案する。
論文参考訳（メタデータ） (2026-01-30T08:47:19Z)
EditGRPO: Reinforcement Learning with Post-Rollout Edits for Clinically Accurate Chest X-Ray Report Generation [26.170972612471683]
放射線学レポート生成には、高度な医用画像解析、効果的な時間的推論、正確なテキスト生成が必要である。本稿では,臨床動機による報酬生成を最適化する混合政治強化学習アルゴリズムであるEditGRPOを紹介する。
論文参考訳（メタデータ） (2025-09-26T18:19:00Z)
CPGD: Toward Stable Rule-based Reinforcement Learning for Language Models [11.295986905174635]
ルールベース強化学習(RL)は、ルールベース報酬を用いた言語モデル(LM)の推論能力を改善した。既存のRLメソッドは、大きなポリシー更新と不適切なクリッピングがトレーニングの崩壊につながるような、トレーニングの不安定さに悩まされることが多い。本稿では,政策学習の安定化を目的とした新しいアルゴリズムCPGDを提案する。
論文参考訳（メタデータ） (2025-05-18T17:44:53Z)
REBEL: Reinforcement Learning via Regressing Relative Rewards [59.68420022466047]
生成モデルの時代における最小限のRLアルゴリズムであるREBELを提案する。理論的には、自然ポリシーグラディエントのような基本的なRLアルゴリズムはREBELの変種と見なすことができる。我々はREBELが言語モデリングと画像生成に一貫したアプローチを提供し、PPOやDPOとより強くあるいは類似した性能を実現することを発見した。
論文参考訳（メタデータ） (2024-04-25T17:20:45Z)
BRAC+: Improved Behavior Regularized Actor Critic for Offline Reinforcement Learning [14.432131909590824]
オフライン強化学習は、以前に収集したデータセットを使用して効果的なポリシーをトレーニングすることを目的としている。標準的なオフ・ポリティクスRLアルゴリズムは、アウト・オブ・ディストリビューション(探索されていない)アクションの値を過大評価する傾向がある。動作の規則化によるオフライン強化学習を改善し,BRAC+を提案する。
論文参考訳（メタデータ） (2021-10-02T23:55:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。