論文の概要: GRIT: Gradient Masking for Visually Misgrounded Tokens in Text-Rich Reasoning

• arxiv url: http://arxiv.org/abs/2610.41629v1
• Date: Fri, 30 Oct 2026 12:05:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.697089
• Title: GRIT: Gradient Masking for Visually Misgrounded Tokens in Text-Rich Reasoning
• Title（参考訳）: GRIT:テキストリッチ推論における視覚的誤認識のためのグラディエントマスキング
• Abstract要約: 検証可能な報酬付き強化学習(RLVR)が近年,視覚言語モデル(VLM)に拡張されている。 中間段階において視覚情報が誤認識されているにもかかわらず、モデルはしばしば正しい最終回答に達する。 標準のRLVRは最終回答の正しさにのみ報いるため、適切な根拠と誤った根拠の推論を区別することができない。 CVMRの影響を軽減するために,RLVRに視覚的グラウンドを組み込んだトレーニングフレームワークGRITを提案する。
• 参考スコア（独自算出の注目度）: 10.969177124783442
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning with verifiable rewards (RLVR) has recently been extended to vision-language models (VLMs), yet its effectiveness remains limited for text-rich reasoning tasks. We highlight a key factor contributing to this limitation: models frequently arrive at correct final answers despite misperceiving visual information during intermediate steps. We define this phenomenon as Correct-but-Visually-Misgrounded Reasoning (CVMR). Because standard RLVR rewards only final-answer correctness, it fails to differentiate between properly grounded and misgrounded reasoning, reinforcing both equally. Through token-level analysis, we reveal that CVMR tokens exhibit distinct attention patterns that differ systematically from well-grounded ones. Based on this observation, we propose GRIT, a training framework that incorporates visual grounding into RLVR to mitigate the impact of CVMR. Furthermore, to address the lack of text-rich reasoning benchmarks that allow for systematic evaluation across text length and reasoning depth, we introduce GRIT-Bench. Experiments demonstrate that GRIT significantly improves both reasoning accuracy and grounding fidelity over existing RLVR methods.
• Abstract（参考訳）: 検証可能な報酬付き強化学習(RLVR)は近年,視覚言語モデル(VLM)に拡張されている。 中間段階において視覚情報が誤認識されているにもかかわらず、モデルはしばしば正しい最終回答に達する。 本稿では,この現象をCVMR(Correct-but-Visually-Misgrounded Reasoning)と定義する。 標準のRLVRは最終回答の正しさにのみ報いるため、正しい根拠と誤った根拠の推論を区別できず、両者を等しく補強する。 トークンレベルの分析により,CVMRトークンは,地上のものと体系的に異なる注意パターンを示すことが明らかとなった。 本研究は, CVMR の影響を軽減するために, RLVR に視覚的グラウンドを組み込んだトレーニングフレームワーク GRIT を提案する。 さらに,テキスト長と推論深度を体系的に評価できるテキストリッチ推論ベンチマークの欠如に対処するため,GRIT-Benchを導入する。 実験により、GRITは既存のRLVR法よりも推論精度と接地精度の両方を著しく改善することが示された。

関連論文リスト

• Grounding Multimodal Reasoning with Evidence-Ablated Negatives [51.32412577968305]
  検証可能な報酬(RLVR)による強化学習は,マルチモーダル推論を改善する強力なツールとなっている。 標準結果監視は、言語前処理やデータセットのショートカットを利用して肯定的な報酬を受けることができるため、クレジット割り当ての不明瞭さに悩まされる。 これは、効果的な負の反応は、抑制すべきショートカットを露呈しながら、現在のポリシーの下では検証可能であるべきであるため、高品質な負の反応を批判する。 本稿では、EVIDence-Ablated Negativesを利用した多モーダル強化学習フレームワークEVANを提案する。
  論文  参考訳（メタデータ） (2026-10-29T02:54:45Z)
• Outcome Rewards Do Not Guarantee Verifiable or Causally Important Reasoning [42.998601712623525]
  RLVRは、一般的に考えられているように、モデルが推論に依存しているとは限らないことを示す。 この問題は、訓練後の手順に簡単な修正を加えて修正することができる。
  論文  参考訳（メタデータ） (2026-04-23T21:01:34Z)
• LongRLVR: Long-Context Reinforcement Learning Requires Verifiable Context Rewards [51.45138356629732]
  我々は,疎解報酬を高密度で検証可能な文脈報酬で増強するためにLongRLVRを導入する。 この補助信号は、正しい接地情報を選択するためのモデルを直接インセンティブ化する。 LongRLVRは、すべてのモデルとベンチマークで標準のRLVRよりも一貫して、大幅に優れています。
  論文  参考訳（メタデータ） (2026-03-02T18:07:53Z)
• From Verifiable Dot to Reward Chain: Harnessing Verifiable Reference-based Rewards for Reinforcement Learning of Open-ended Generation [52.62655622099456]
  検証基準ベース報酬(RLVRR)を用いた強化学習を提案する。 最後の答えをチェックする代わりに、RLVRRは高品質な参照(すなわち報酬連鎖)から順序付けられた言語信号を抽出する。 このようにして、RLVRRは報酬を2つの次元に分解する。
  論文  参考訳（メタデータ） (2026-01-26T14:39:58Z)
• More Than the Final Answer: Improving Visual Extraction and Logical Consistency in Vision-Language Models [74.10138874771852]
  RLVR上で視覚知覚とテキスト推論を別々に改善する分離されたフレームワークであるPeRL-VL(Perception and Reasoning Learning for Vision-Language Models)を提案する。 知覚のために、PeRL-VLはVLMに基づく説明報酬を導入し、モデルの自己生成した画像記述を忠実さと満足度で評価する。 推論のために、PeRL-VLは論理に富んだチェーン・オブ・シントデータに関するテキストのみの推論SFTステージを追加し、コヒーレンスと論理的一貫性を視覚と独立に強化する。
  論文  参考訳（メタデータ） (2025-12-13T23:06:18Z)
• Limits of Generalization in RLVR: Two Case Studies in Mathematical Reasoning [3.437656066916039]
  Reinforcement with Verifiable Rewards (RLVR)は、そのような機能を強化するための有望なアプローチとして登場した。 完全検証解の2つの問題についてRLVRについて検討する。 RLVRは評価基準を改善するが、しばしば新たな推論戦略を得るよりも、表層学習指標を強化することで改善する。
  論文  参考訳（メタデータ） (2025-10-30T23:16:02Z)
• Reinforcement Learning with Verifiable Rewards Implicitly Incentivizes Correct Reasoning in Base LLMs [35.27561531876348]
  本稿では,LLVRを用いた強化学習が大規模言語モデル(LLM)に及ぼす影響を体系的に検討する。 RLVRは数学的タスクとコーディングタスクの両方の推論境界を拡張可能であることを示す。 本稿では,RLVRのインセンティブメカニズムを説明する理論的枠組みについて述べる。
  論文  参考訳（メタデータ） (2025-06-17T07:06:56Z)
• VisuRiddles: Fine-grained Perception is a Primary Bottleneck for Multimodal Large Language Models in Abstract Visual Reasoning [70.44416154144001]
  マルチモーダル大規模言語モデル(MLLM)の最近の進歩は、多くの推論タスクにおいて、その性能を著しく向上させてきた。 AVR(Abstract Visual Reasoning)は、抽象グラフィックの知覚に制限があるため、依然として重要な課題である。 PRSのベンチマークであるVisuRiddlesを提案し、モデルの推論能力を評価するために精巧に構築されたタスクを特徴付ける。 第二に、パーセプチュアル・リドル・シンセサイザー (PRS) を導入する。
  論文  参考訳（メタデータ） (2025-06-03T07:24:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。