論文の概要: Perception or Reasoning? Diagnosing and Tackling Reinforcement Learning Bottlenecks in VLMs

• arxiv url: http://arxiv.org/abs/2610.21380v1
• Date: Thu, 15 Oct 2026 07:00:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.241966
• Title: Perception or Reasoning? Diagnosing and Tackling Reinforcement Learning Bottlenecks in VLMs
• Title（参考訳）: 知覚と推論 : VLMにおける強化学習の診断と対処
• Abstract要約: 強化学習は言語モデルの推論に強い利益をもたらしたが、視覚的タスクの改善は、一貫性が低いままである。 本稿では,各モデルにおける知覚・推論ヘッドルームの残量を測定するパーセプションと推論属性(PARA)について紹介する。 GRADは, 各グループで最高のロールアウトを用いて, より弱いロールアウトの視覚的注意を直接誘導するグループ相対的注意蒸留法である。
• 参考スコア（独自算出の注目度）: 36.937467219092106
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning has brought strong gains to language model reasoning, but its improvements on visual tasks remain less consistent. One difficulty is that visual task failures can arise from different sources: the same benchmark may be limited by perception for one model and by reasoning for another. We introduce Perception and Reasoning Attribution (PARA), which measures the remaining perceptual and reasoning headroom of each model--benchmark pair by comparing how many current errors are recovered with more accurate visual information versus a stronger reasoner. Across 4 vision-language models and 17 multimodal benchmarks, PARA broadly agrees with the expected characteristics of existing benchmarks while revealing substantial model-specific variation. More importantly, it shows that RL gains become smaller as perceptual headroom increases, but larger when reasoning explains more of the recoverable errors, suggesting that current RL exploits reasoning headroom more effectively than perceptual headroom. Motivated by this gap, we analyze how existing RL objectives affect visual perception and find that reward- and token-level signals influence visual attention only indirectly. We therefore propose GRAD, a group-relative attention distillation objective that uses the best rollout in each group to directly guide the visual attention of weaker rollouts. GRAD consistently improves performance across two model scales and seven benchmarks, and further complements existing RL methods.
• Abstract（参考訳）: 強化学習は言語モデルの推論に強い利益をもたらしたが、視覚的タスクの改善は、一貫性が低いままである。 同じベンチマークは、あるモデルの認識と別のモデルの推論によって制限される可能性がある。 本稿では,各モデルにおける知覚と推論の残余を計測するパーセプションと推論属性(PARA)について紹介する。 4つのヴィジュアル言語モデルと17のマルチモーダルベンチマークにおいて、PARAは既存のベンチマークの期待される特性に広く同意し、相当なモデル固有のバリエーションを明らかにしている。 さらに重要なことは、RLは知覚的ヘッドルームの増加に伴って増大するが、推論が回復可能なエラーをより多く説明する場合は、現在のRLは知覚的ヘッドルームよりも効果的に推論ヘッドルームを活用することが示唆される。 このギャップによって、既存のRLの目的が視覚知覚にどのように影響するかを分析し、報酬レベルおよびトークンレベルの信号が視覚的注意にのみ間接的に影響を及ぼすことを示す。 そこで本研究では,各グループで最高のロールアウトを用いて,より弱いロールアウトの視覚的注意を直接誘導するグループ相対的な注意蒸留目標であるGRADを提案する。 GRADは2つのモデルスケールと7つのベンチマークで継続的にパフォーマンスを改善し、既存のRLメソッドを補完する。

関連論文リスト

• Perceive-to-Reason: Decoupling Perception and Reasoning for Fine-Grained Visual Reasoning [73.40085256022111]
  P2R(Perceive-to-Reason)は、2段階のプロセスとして微細な視覚的推論を定式化する統合フレームワークである。 P2RはPerceiverとして質問関連エビデンスをローカライズし、アノテートされた画像と収穫された領域に基づいて質問をReasonerとして答える。 PRA-GRPOは、認識重視と推論重視の更新を交互に行うロールアウェア強化学習戦略である。
  論文  参考訳（メタデータ） (2026-07-01T17:24:26Z)
• Beyond Where to Look: Trajectory-Guided Reinforcement Learning for Multimodal RLVR [30.94808389410323]
  Trajectory-Guided Reinforcement Learningは、視覚的証拠をきめ細かな推論プロセスに統合するためのポリシーモデルを導く。 複数のマルチモーダル推論ベンチマークの実験は、TGRLが一貫して推論性能を改善することを示した。
  論文  参考訳（メタデータ） (2026-03-27T07:18:18Z)
• Counteracting Matthew Effect in Self-Improvement of LVLMs through Head-Tail Re-balancing [70.35701681177655]
  自己改善は、大きな視覚言語モデルの推論能力を向上するための主流パラダイムとして現れてきた。 本研究では,探索学習による自己改善プロセスにおいて,頭部再バランスを実現するための4つの効率的な戦略を提案する。 我々の手法は視覚的推論能力を常に改善し、バニラ自己改善を平均3.86ポイント上回る。
  論文  参考訳（メタデータ） (2025-10-30T13:26:58Z)
• Unleashing Perception-Time Scaling to Multimodal Reasoning Models [60.578179197783754]
  推論時間スケーリングの最近の進歩は、LVLM(Large Vision-Language Models)の推論能力を大幅に向上させた。 この成功に触発されて、同様の戦略がマルチモーダル推論に適用されたが、視覚的知覚への影響は未だ不明である。 本稿では,トークンに富む知覚を促進する新しいパラダイムである知覚時間スケーリング(PTS)を提案し,複雑な知覚問題を中間的抽出可能なサブプロブレムに分解する。
  論文  参考訳（メタデータ） (2025-10-10T03:17:52Z)
• More Thought, Less Accuracy? On the Dual Nature of Reasoning in Vision-Language Models [17.431298099935344]
  大規模言語モデル(LLM)において、推論が重要な機能として現れている。 近年の研究では、視覚言語モデル(VLM)への推論の拡張が試みられている。 本研究は、マルチモーダル推論の二重性を明らかにし、他の基本的な視覚的問題に対する認識障害につながった。 本稿では,視覚的接地軌道に対する推論過程を明確に把握する,シンプルかつ効果的な手法であるビジョン・アンコレッド・ポリシー・オプティマイズ(VAPO)を提案する。
  論文  参考訳（メタデータ） (2025-09-30T06:37:47Z)
• Reasoning Models Hallucinate More: Factuality-Aware Reinforcement Learning for Large Reasoning Models [83.24079543652253]
  大規模言語モデル(LLM)は、強化学習(RL)最適化を通じて、推論タスクにおいて著しく進歩している。 しかし、推論指向RL微調整は幻覚の頻度を著しく高めている。 本稿では,明示的事実性検証を取り入れた革新的なRL微調整アルゴリズムであるFSPOを提案する。
  論文  参考訳（メタデータ） (2025-05-30T14:23:32Z)
• More Thinking, Less Seeing? Assessing Amplified Hallucination in Multimodal Reasoning Models [43.465268635499754]
  テストタイム計算は、拡張推論チェーンを生成するために、大きな言語モデルに権限を与えた。 世代が長くなるにつれて、モデルは画像付きコンテンツから遠ざかっていき、言語優先に大きく依存する傾向にある。
  論文  参考訳（メタデータ） (2025-05-23T05:08:40Z)
• OpenVLThinker: Complex Vision-Language Reasoning via Iterative SFT-RL Cycles [91.88062410741833]
  我々はOpenVLThinkerを紹介した。OpenVLThinkerはオープンソースの大規模視覚言語モデル(LVLM)の1つである。 OpenVLThinker-7Bは、数学的および一般的な推論を必要とする6つのベンチマークで一貫して性能を向上することを示す。
  論文  参考訳（メタデータ） (2025-03-21T17:52:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。