論文の概要: From Visual Affinity to Learning Credit in Multimodal Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2610.32324v1
- Date: Fri, 23 Oct 2026 08:22:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 01:38:06.432944
- Title: From Visual Affinity to Learning Credit in Multimodal Reinforcement Learning
- Title（参考訳）: マルチモーダル強化学習における視覚親和性から学習信用へ
- Abstract要約: 検証可能な報酬(RLVR)による強化学習は推論を改善するが、すべてのトークンに対して単一の応答レベルの利点を均一に割り当てることは、視覚的な観察とその後の推論の役割を見落としている。
トークンレベルのクレジットカード代入から視覚連想計測を分離するプラグインフレームワークである textbfOutcome-Conditioned Visual Credit (OVC) を提案する。
- 参考スコア（独自算出の注目度）: 24.001023744709837
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reinforcement learning with verifiable rewards (RLVR) improves multimodal reasoning, but uniformly assigning a single response-level advantage to all tokens overlooks the distinct roles of visual observations and subsequent reasoning. Visual affinity alone is insufficient: predictive states may align with both image and prompt-context representations, and upweighting valid visual observations can amplify their negative-advantage updates when later reasoning fails. To address this issue, we propose \textbf{Outcome-Conditioned Visual Credit (OVC)}, a plug-in framework that separates visual-association measurement from token-level credit assignment and is adaptable to policy-optimization methods with uniform response-level advantage allocation. Relative Visual Encoding constructs a context-relative visual coordinate by contrasting each predictive state's affinity to image and prompt-context representations. Outcome-conditioned Evidence Calibration combines this coordinate with uncertainty-scaled predictive features and calibrates their contributions to outcome-discriminative evidence through mean contrasts between positive- and negative-advantage responses, scaled by regularized within-side variation. Visual association thus informs credit through observed outcome differences rather than directly determining update priority. Normalized Credit Allocation conditions the calibrated evidence on the response's advantage sign to produce positive token weights with unit global mean. These detached weights preserve advantage signs while modulating individual token-gradient contributions. OVC reuses existing rollouts without auxiliary reward models, process annotations, or inference-time modules. Instantiated through GSPO-token, OVC retains sequence-level clipping and consistently improves six-benchmark mean accuracy over GSPO across three models, with gains of 1.86-2.39 percentage points.
- Abstract（参考訳）: 検証可能な報酬(RLVR)による強化学習は、マルチモーダル推論を改善するが、全てのトークンに対して単一の応答レベルの利点を均一に割り当てることは、視覚的観察とその後の推論の異なる役割を見落としている。
視覚的親和性だけでは不十分であり、予測状態は画像とプロンプト・コンテクストの表現に一致し、有効な視覚的観察の重み付けは、後続の推論が失敗すると、彼らのネガティブ・アドバンテージの更新を増幅する。
この問題を解決するために,トークン単位のクレジット代入から視覚連想計測を分離するプラグインフレームワークである‘textbf{Outcome-Conditioned Visual Credit(OVC)’を提案する。
相対的視覚符号化は、各予測状態のイメージとプロンプト・コンテクスト表現との親和性を対比することにより、コンテキスト相対的な視覚座標を構成する。
アウトカム条件のエビデンス校正は、この座標を不確実なスケールの予測特徴と組み合わせ、正と負のアドバンテージの反応の平均コントラストを通じて結果の識別的エビデンスへの貢献を校正する。
これにより、ビジュアルアソシエーションは、更新優先度を直接決定するのではなく、観察結果の違いを通じてクレジットを通知する。
正規化クレジット割当条件では、応答の優位性を示す正のトークン重みを単位のグローバル平均で生成する正の証拠を校正する。
これらの分離された重みは、個々のトークンの段階的な寄与を調節しながら有利な兆候を保っている。
OVCは補助的な報酬モデル、プロセスアノテーション、推論時モジュールなしで既存のロールアウトを再利用する。
OVCはGSPO-tokenを通じて確立され、シーケンスレベルのクリッピングを維持し、3つのモデルでGSPOの平均精度を6ベンチマークで改善し、1.86-2.39ポイントを獲得した。
関連論文リスト
- Enhancing Multimodal RLVR with Pairwise Token Contrast and Adaptive Trajectory Confidence [10.528106850265091]
Pairwise token contrastとAdaptive trajectory ConfidencEを提案する。
PACEは3つのバックボーンで最高の平均精度を達成し、評価された全てのマルチモーダル推論ベンチマークで最初にランク付けする。
論文 参考訳（メタデータ） (2026-10-15T10:55:47Z) - VAttnPO: Visual Attention-Guided Policy Optimization [32.80475611792639]
VAttnPOは、トークンレベルの信用を洗練するために、応答条件付き視覚的注意を使用する。
凍結した古いポリシーは、既知の正解を強制する教師による視覚的参照を構築する。
軌道中心、相対位置重み付け、信用バランスは、この合意をゼロ平均位置対応補正に変換する。
論文 参考訳（メタデータ） (2026-10-12T13:04:45Z) - Beyond Saying Less: Fine-Grained Alignment for Informative and Faithful Vision-Language Models [71.46915245859357]
物体幻覚は、大きな視覚言語モデルにとって依然として大きな課題である。
本稿では,データレベルでの高密度報酬信号と,アルゴリズムレベルでの正確な信用割当を結合する微粒化アライメントフレームワークを提案する。
本手法は, 識別評価において, 顕著な性能向上を図りながら, 生成タスクにおける高情報かつ忠実な記述を生成する。
論文 参考訳（メタデータ） (2026-09-28T14:37:33Z) - TTRSD: Test-Time Reinforcement Learning with Self-Distillation for Vision-Language Models [27.31606612106555]
テスト時強化学習により、未ラベル入力を用いて視覚言語モデルに適応することができる。
我々は,多視点応答レベル自己蒸留と視覚的コントラストトークン選択を組み合わせたテスト時強化学習フレームワークTTRSDを提案する。
論文 参考訳（メタデータ） (2026-09-27T09:49:39Z) - Harnessing Image Question Dependence for Better VLM Test-time Reinforcement Learning [66.13367818892503]
Vlm 適応性を向上させるために画像探索依存を利用したテスト時強化学習フレームワーク TTIQ を提案する。
TTIQの教師は、元の画像検索ペアとその画像と質問対応のバリエーションの下で、各サンプル応答を強制する。
イメージと質問への依存と信頼を組み合わせることで、共同で接地された応答を好む応答レベルの報酬を構築する。
論文 参考訳（メタデータ） (2026-09-09T22:54:15Z) - Calibrate Before Reason: Robust Visual Token Reduction against Semantic Drift in VLMs [26.936352183867854]
CaReは,1)多方向摂動下で安定なモデル側の影響を持つアンカーを識別する摂動ロバストアンカリング,2)未選択トークンから信頼性の高い校正信号を抽出しアンカーに注入する信頼性ゲートトケンの2つの相互補完モジュールから構成される。
視覚トークンの94.4%をプルーニングする一方で、本手法は元のフルトーケン性能の96.4%を保持し、未使用バニラモデルと比較して最大2.30倍高速なエンドツーエンド推論速度を実現する。
論文 参考訳（メタデータ） (2026-07-30T05:36:29Z) - [CLS] is Not Enough: Multi-Label Recognition via Patch-Level Inference and Adaptive Aggregation [20.637119409165418]
PIAAは、アダプティブアグリゲーション(Adaptive Aggregation)によって、パッチレベルの推論として予測を定式化する。
パッチレベルのスコアを最終的なマルチラベル予測に集約するアダプティブアグリゲーションモジュールを導入する。
実験の結果,提案手法は最小限の余剰計算で強い改善を達成できることがわかった。
論文 参考訳（メタデータ） (2026-05-25T13:19:12Z) - PromptCD: Test-Time Behavior Enhancement via Polarity-Prompt Contrastive Decoding [85.22047087898311]
本稿では,より広範な拡張設定へのコントラストデコーディングを一般化するテスト時動作制御手法であるPolarity-Prompt Contrastive Decoding(PromptCD)を紹介する。
PromptCDは、目標行動のためのペアの正と負の導出プロンプトを構築し、望ましい結果を強化するためにモデル応答を対比する。
3H"アライメントの目的に関する実験では、一貫性と実質的な改善が示されている。
論文 参考訳（メタデータ） (2026-02-24T08:56:52Z) - Look As You Think: Unifying Reasoning and Visual Evidence Attribution for Verifiable Document RAG via Reinforcement Learning [55.232400251303794]
Look As You Think (LAT)は、モデルをトレーニングし、一貫した帰属性を持った検証可能な推論パスを生成するための強化学習フレームワークである。
LATはシングルイメージとマルチイメージの両方でバニラモデルを一貫して改善し、平均ゲインは8.23%、IoU@0.5では47.0%となる。
論文 参考訳（メタデータ） (2025-11-15T02:50:23Z) - "Principal Components" Enable A New Language of Images [79.45806370905775]
証明可能なPCAのような構造を潜在トークン空間に組み込む新しい視覚トークン化フレームワークを導入する。
提案手法は、最先端の再構築性能を実現し、人間の視覚システムとの整合性を向上する。
論文 参考訳（メタデータ） (2025-03-11T17:59:41Z) - Visual Alignment Constraint for Continuous Sign Language Recognition [74.26707067455837]
ビジョンベースの継続的署名言語認識は、画像シーケンスから未分割ジェスチャーを認識することを目的とする。
本研究は,最近のCTCに基づくCSLRにおける過剰適合問題を再考し,特徴抽出器の訓練不足によるものである。
視覚アライメント制約(vac)により、よりアライメントの監督により特徴抽出器を強化する。
論文 参考訳（メタデータ） (2021-04-06T07:24:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。