論文の概要: Be Faithful When Response: Returning Fluent and Grounded Answers for Vision-Language Models Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2606.29984v1
• Date: Mon, 29 Jun 2026 08:58:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:16.139037
• Title: Be Faithful When Response: Returning Fluent and Grounded Answers for Vision-Language Models Reinforcement Learning
• Title（参考訳）: 反応に忠実である:視覚言語モデル強化学習のためのフルエントとグラウンドドの回答を返す
• Abstract要約: 強化学習(Reinforcement Learning, RL)は、視覚言語モデル(VLM)の推論能力を改善するための重要なパラダイムである。 まず,6つの一般的なVQAベンチマークから,視覚的・言語的因果関係を明確化してサンプルをキュレートするFWS戦略を提案する。 VLMベースの裁判官は、データセットをさらに浄化し、強力な因果一貫性と視覚的忠実性を保証するために使用される。 実験の結果,このような忠実な指導は回答の精度を向上し,RL訓練を安定させ,視覚的に支持できない推論を減少させることがわかった。
• 参考スコア（独自算出の注目度）: 12.622982203412478
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Reinforcement Learning (RL) is an important paradigm for improving the reasoning capabilities of Vision-Language Models (VLMs). However, directly applying RL to rollout multimodal reasoning can lead to instability, due to the exploitation of language priors, the neglect of visual evidence, and the generation of reasoning traces that are fluent yet not visually grounded. The question arises: Can initially steer the policy toward visually faithful reasoning regime before applying reinforcement learning? To this end, we propose a Faithful Warm-Start (FWS) strategy that first curates samples with explicit vision-language causal relationships from six general VQA benchmarks to construct the FaithfulQA dataset, where each of the image-question pairs gains a certain degree of visual observations, question requirements, commonsense knowledge, domain knowledge, and the final answer. Subsequently, a VLM-based judge is employed to further purify the dataset, ensuring strong causal consistency and visual faithfulness. This warm-start stage equips the model with the capability to understand causally grounded vision-language patterns before subsequent RL optimization under sparse answer-level rewards. Experimental results show that such faithful supervision improves answer accuracy, stabilizes RL training, and reduces visually unsupported reasoning.
• Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)は、視覚言語モデル(VLM)の推論能力を改善するための重要なパラダイムである。 しかし、マルチモーダル推論のロールアウトにRLを直接適用することは、言語先行の搾取、視覚的証拠の無視、そして視覚的に根拠のない流動性のない推論トレースの生成など、不安定性を引き起こす可能性がある。 まずは、強化学習を適用する前に、視覚的に忠実な推論体制の方針を定めることができるか? この目的のために、まず6つの一般的なVQAベンチマークからサンプルを明示的な視覚言語因果関係でキュレートして、FithfulQAデータセットを構築するFithful Warm-Start(FWS)戦略を提案する。 その後、VLMベースの裁判官がデータセットをさらに浄化し、強力な因果一貫性と視覚的忠実性を保証する。 このウォームスタートステージは、疎解レベルの報酬の下で、後続のRL最適化の前に因果的に基底付けられた視覚言語パターンを理解する能力をモデルに装備する。 実験の結果,このような忠実な指導は回答の精度を向上し,RL訓練を安定させ,視覚的に支持できない推論を減少させることがわかった。

関連論文リスト

• Harnessing Image Question Dependence for Better VLM Test-time Reinforcement Learning [66.13367818892503]
  Vlm 適応性を向上させるために画像探索依存を利用したテスト時強化学習フレームワーク TTIQ を提案する。 TTIQの教師は、元の画像検索ペアとその画像と質問対応のバリエーションの下で、各サンプル応答を強制する。 イメージと質問への依存と信頼を組み合わせることで、共同で接地された応答を好む応答レベルの報酬を構築する。
  論文  参考訳（メタデータ） (2026-09-09T22:54:15Z)
• PDCR: Perception-Decomposed Confidence Reward for Vision-Language Reasoning [80.94559742826083]
  Reinforcement Learning with Verifiable Rewards (RLVR) は伝統的に、粗末で結果に基づく信号に依存している。 近年の研究では,高コストな外部モデルを必要としないステップレベルのガイダンスを提供することで,詳細なモデル固有の信号を提供することで,言語推論のトレーニングを効果的に向上することが示された。 一助文には有効であるが,この大域的な報酬を視覚言語推論(V-L)に適用することは準最適戦略である。 本稿では、報酬構造とタスクの不均一な性質を整合させることにより、この問題を解決するフレームワークであるパーセプション分解信頼回復(PDCR:Perception-Decomposed Confidence Reward)を提案する。
  論文  参考訳（メタデータ） (2026-05-13T12:55:18Z)
• Beyond Where to Look: Trajectory-Guided Reinforcement Learning for Multimodal RLVR [30.94808389410323]
  Trajectory-Guided Reinforcement Learningは、視覚的証拠をきめ細かな推論プロセスに統合するためのポリシーモデルを導く。 複数のマルチモーダル推論ベンチマークの実験は、TGRLが一貫して推論性能を改善することを示した。
  論文  参考訳（メタデータ） (2026-03-27T07:18:18Z)
• Saliency-Aware Multi-Route Thinking: Revisiting Vision-Language Reasoning [50.62037276161025]
  視覚言語モデル(VLM)は、視覚とテキストのモダリティを共同で活用することを目的としている。 主な障害は、視覚的な入力は通常、生成開始時に1回だけ提供されることである。 EmphSaliency-Aware Principle (SAP) の選択を提案する。
  論文  参考訳（メタデータ） (2026-02-18T18:49:56Z)
• See, Think, Learn: A Self-Taught Multimodal Reasoner [3.443084677278651]
  本稿では,See-Think-Learnというシンプルな自己学習フレームワークを提案する。 STLの中核となるのは、モデルが考える前に見ることを奨励する構造化推論テンプレートである。 モデルが正しい応答と誤解を招く応答を区別する能力を高めるために、負の有理性でトレーニングデータを増強する。
  論文  参考訳（メタデータ） (2025-12-02T06:30:10Z)
• Perceptual-Evidence Anchored Reinforced Learning for Multimodal Reasoning [29.78411369746505]
  PEARLは二重ブランチの知覚推論の相乗効果であり、視覚的証拠に明示的に固定することで多モーダル推論を強化する。 PEARLはマルチモーダル推論ベンチマークにおいて、ベースラインよりも+9.7%改善し、MathVerseではGRPOよりも+6.6%向上した。
  論文  参考訳（メタデータ） (2025-11-23T13:15:58Z)
• Unveiling Chain of Step Reasoning for Vision-Language Models with Fine-grained Rewards [48.55501117313608]
  本稿では,視覚言語モデルにおけるステップ推論の連鎖について述べる。 ステップレベルの推論データ、プロセス報酬モデル(PRM)、強化学習トレーニングを含む、シンプルで効果的で完全に透明なフレームワークを提案する。 本稿では、視覚言語モデルのベースラインとして機能し、より複雑なマルチモーダル推論に関する洞察を提供する。
  論文  参考訳（メタデータ） (2025-09-23T13:47:32Z)
• Semi-off-Policy Reinforcement Learning for Vision-Language Slow-Thinking Reasoning [68.25125496950928]
  本稿では、視覚言語によるスローtHInking reAsoningのためのシンプルでスケーラブルなセミオフポリシーRLであるSOPHIAを提案する。 SOPHIAは、訓練可能なLVLMからのオンラインの視覚的理解と、言語モデルからの非政治的なスロー思考推論を組み合わせることで、セミ・オフ・ポリティクスの行動モデルを構築している。 8Bおよび38BサイズのInternVL2.5およびInternVL3.0を用いた実験はSOPHIAの有効性を示した。
  論文  参考訳（メタデータ） (2025-07-22T17:59:34Z)
• VL-GenRM: Enhancing Vision-Language Verification via Vision Experts and Iterative Training [23.391643634478587]
  Vision-Language Reward Model (VL-RM) は、構造化されたフィードバックを提供することでVLモデルを整列させる鍵となる。 高品質のトレーニングデータがすでに強力なVLモデルに依存しているため、ブートストラップジレンマが発生する。 本稿では,視覚の専門家,思考の合理性,およびMarginベースのリジェクションサンプリングを活用した反復的トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-16T18:10:51Z)
• Exploring the Effect of Reinforcement Learning on Video Understanding: Insights from SEED-Bench-R1 [53.894789613838654]
  ビデオ理解におけるMLLMのポストトレーニング手法を評価するためのベンチマークであるSEED-Bench-R1を紹介する。 複雑な現実世界のビデオや、複数の質問の形式での複雑な日常的な計画タスクも含んでいる。 Qwen2-VL-Instruct-7Bをベースモデルとして、RLと教師付き微調整(SFT)を比較した。 我々の詳細な分析では、RLは視覚知覚を増強するが、しばしばコヒーレント推論連鎖を減少させる。
  論文  参考訳（メタデータ） (2025-03-31T17:55:23Z)
• OpenVLThinker: Complex Vision-Language Reasoning via Iterative SFT-RL Cycles [91.88062410741833]
  我々はOpenVLThinkerを紹介した。OpenVLThinkerはオープンソースの大規模視覚言語モデル(LVLM)の1つである。 OpenVLThinker-7Bは、数学的および一般的な推論を必要とする6つのベンチマークで一貫して性能を向上することを示す。
  論文  参考訳（メタデータ） (2025-03-21T17:52:43Z)
• Improve Vision Language Model Chain-of-thought Reasoning [86.83335752119741]
  視覚言語モデル(VLM)におけるチェーン・オブ・シント(CoT)推論は、解釈可能性と信頼性を向上させるために不可欠である。 我々は,より詳細な回答を必要とする推論タスクに対して,短時間でVLMを訓練することはよくないことを示す。
  論文  参考訳（メタデータ） (2024-10-21T17:00:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。