論文の概要: Improving Generalization Robustness of Multimodal RLVR

• arxiv url: http://arxiv.org/abs/2608.08802v1
• Date: Sun, 09 Aug 2026 16:36:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:36.955464
• Title: Improving Generalization Robustness of Multimodal RLVR
• Title（参考訳）: マルチモーダルRLVRの一般化ロバスト性向上
• Abstract要約: Reinforcement Learning with Verifiable Rewardsは、大きな言語モデルをより正確にするが、利益は不安定である。 動的三項報酬と整合正則化器からなるPIRL(Prompt-Invariant RLVR)を提案する。 ストレステストでは、ベンチマークにおけるPIRLの平均精度はわずか$le 1%ほど低下し、GRPOは3%低下した。
• 参考スコア（独自算出の注目度）: 44.35945134924193
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement Learning with Verifiable Rewards (RLVR) makes Multimodal Large Language Models more accurate, but the gains are brittle: simply paraphrasing a question or changing the prompt template can degrade them, which challenges reliable deployment in high-stakes scenarios like medical VQA. We trace this to two issues of the standard RL objective. First, the binary verifier conflates format with content, so the reward signal cannot tell a wrong answer apart from a misformatted one. Second, the training distribution covers only a thin slice of the real-world prompts that the model might meet at deployment, so policies that perform well on the training distribution can behave differently under unseen prompts during test. Both failures call for a robust post-training method that helps the policy cover a broader distribution of semantically equivalent prompts, and we identify two measures that help achieve this objective: separating format from semantics in the reward, and applying policy invariance across perturbed prompts with equivalent semantics. We therefore propose Prompt-Invariant RLVR (PIRL), consisting of a dynamic trinary reward and a consistency regularizer based on an embedding-space adversary. Under stress testing, PIRL's average accuracy on benchmarks drops by only $\le 1\%$, where GRPO drops ~3%. On dynamic evaluation, PIRL also achieves the smallest performance drop.
• Abstract（参考訳）: RLVR(Reinforcement Learning with Verifiable Rewards)によって、マルチモーダルな大規模言語モデルはより正確になるが、その利益は不安定である。 これは標準RL目標の2つの問題に遡る。 まず、二分検証器は形式を内容と混同するため、報奨信号は不正な解答を誤形と区別できない。 第二に、トレーニングディストリビューションは、実世界のごくわずかのスライスのみをカバーしており、モデルがデプロイ時に適合する可能性があることを示唆しているため、トレーニングディストリビューションでうまく機能するポリシーは、テスト中に目に見えないプロンプトの下で異なる振る舞いをすることができる。 どちらの失敗も、ポリシーが意味論的に等価なプロンプトのより広範な分布をカバーするのに役立つ堅牢なポストトレーニング手法を要求しており、我々はこの目的を達成するのに役立つ2つの手段を識別する。 そこで,PIRL(Prompt-Invariant RLVR)を提案する。 ストレステストでは、ベンチマークにおけるPIRLの平均精度はわずか$\le 1\%$で、GRPOは~3%低下する。 動的評価では、PIRLは最小の性能低下も達成する。

関連論文リスト

• Verifier-Induced Support Reshaping in On-Policy Optimization [27.782412748608255]
  検証可能な報酬(RLVR)によるオンライン強化学習は、現在の目標を改善できる一方で、後の目標に対する行動の成功は、サンプリングや強化が極めて稀であることを示す。 我々は、この検証者によるサポートの再構築と呼び、有効な報奨支援を、固定されたロールアウト予算内で到達可能な軌道として定義する。
  論文  参考訳（メタデータ） (2026-07-31T19:05:43Z)
• When RLVR Shrinks the Reasoning Boundary: Diagnosing Pass@k Inversion [0.0]
  検証可能な報酬(RLVR)を用いた強化学習は、繰り返しサンプリング時にモデルを悪化させながら、一サンプル精度を向上させることができる。 トレーニング後、このポリシーはベースモデルよりも小さな問題を、大きな$k$で解決する可能性がある。 失敗は境界プロンプトに集中しており、ベースモデルにはサンプリングによって回復できる稀な正しい軌道が含まれており、有限のRLVRロールアウトグループに確実に現れるには小さすぎる。
  論文  参考訳（メタデータ） (2026-07-12T17:17:18Z)
• REVES: REvision and VErification--Augmented Training for Test-Time Scaling [53.197756110943395]
  本稿では,オンラインデータ/プロンプト拡張とポリシー最適化を交互に行う2段階反復フレームワークを提案する。 我々は、RLベースライン上の+6.5点と、標準マルチターントレーニングにおける+4.0点の利得を観察する。
  論文  参考訳（メタデータ） (2026-06-17T10:37:23Z)
• sGPO: Trading Inference FLOPs for Training Efficiency in RLVR [15.69155608127456]
  標準強化学習(Standard Reinforcement Learning with Verifiable Rewards, RLVR)トレーニングは、クエリ毎に一定のロールアウト予算を割り当てる。 簡単なクエリは、ポリシーがすでにそれを解決しているのに対して、解決不可能なクエリは、ポリシーがそれを解決していないためにシグナルを発生しないため、ほぼゼロに近いアドバンテージを生み出す。 本稿では,小予算の推論FLOPを,無駄な学習FLOPの大幅な削減のために取引する計算効率の高い戦略であるソートされたグループポリシー最適化(sGPO)を紹介する。
  論文  参考訳（メタデータ） (2026-06-07T21:47:31Z)
• Too Correct to Learn: Reinforcement Learning on Saturated Reasoning Data [55.84428098924793]
  構造保存探索を行うためのパラメータ自由復号法である Constrained Uniform Top-K Smpling (CUTS) を提案する。 グループ内の利点分散を増幅するために、エクスプロイトと探索的なロールアウトを相乗化するためのトレーニングフレームワークであるMixed-CUTSに統合する。 特にMixed-CUTSは、AIME25ベンチマークのPass@1の精度を標準のGRPOよりも15.1%向上している。
  論文  参考訳（メタデータ） (2026-04-20T16:43:28Z)
• R$^2$PO: Decoupling Training Trajectories from Inference Responses for LLM Reasoning [38.722039062040096]
  R$2$POは、トレーニングトラジェクトリを推論応答から切り離すためのポリシーの上に、軽量なResidual Rollout-Headを導入している。 その結果,MATH-500では平均精度が3.4%,APPSでは1.3%向上した。
  論文  参考訳（メタデータ） (2026-01-17T08:30:50Z)
• Rewarding the Unlikely: Lifting GRPO Beyond Distribution Sharpening [36.81125165911328]
  強化学習は、言語モデルの推論能力を改善する主要な要因として現れています。 本稿では,現在の強化学習アルゴリズムが,すでに解いている問題に関するベースモデルの分布を単に研ぎ澄ましているだけかどうかを考察する。 差分報酬はランクバイアスを緩和し、合成定理と実定理の両方の証明設定において、多種多様な$N$でpass@N$を改善することを示す。
  論文  参考訳（メタデータ） (2025-06-03T01:15:15Z)
• Reinforcing Video Reasoning with Focused Thinking [65.85683941058916]
  本稿では,集中的思考と深い報酬の粒度で視覚的推論を強化する新しいフレームワークであるTW-GRPOを提案する。 具体的には,高情報密度のトークンを優先するトークン重み付け機構を用いる。 また,シングルチョイスからマルチチョイスQAタスクにシフトすることで,RLトレーニングを再構築する。
  論文  参考訳（メタデータ） (2025-05-30T15:42:19Z)
• Self-regulating Prompts: Foundational Model Adaptation without Forgetting [112.66832145320434]
  本稿では,PromptSRCと呼ばれる自己正規化フレームワークを提案する。 PromptSRCはタスク固有の汎用表現とタスクに依存しない汎用表現の両方に最適化するプロンプトを導く。
  論文  参考訳（メタデータ） (2023-07-13T17:59:35Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。