論文の概要: RL Teaches VLMs Where to Attend but Not How to Perceive

• arxiv url: http://arxiv.org/abs/2610.23983v1
• Date: Wed, 14 Oct 2026 07:52:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-26 11:59:34.475964
• Title: RL Teaches VLMs Where to Attend but Not How to Perceive
• Title（参考訳）: RL、VLMに注意を喚起。しかし知覚の仕方はない
• Abstract要約: 本研究では,強化学習による課題・課題の獲得が,基礎的な視覚的質問応答の改善を伴うかどうかを考察する。 環境に特有なVQAタスクを設計し、視覚的理解の改善を明らかにする。 固定された注意バイアスを用いた軽量なプラグアンドプレイ介入を導入し、視覚的トークンへの注意がVQAの利得に寄与するかどうかを検証する。
• 参考スコア（独自算出の注目度）: 7.988178250851225
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although reinforcement learning (RL) effectively trains Vision-Language Model (VLM) agents, the mechanisms behind these capability gains are poorly understood. Across four diverse agent environments, we investigate whether the task-success gains from multi-turn RL are accompanied by improved grounded visual question answering about the environment. To assess this, we design environment-specific grounded VQA tasks that reveal improvements in grounded visual understanding. Representational probing shows that vision-encoder probe accuracy remains relatively stable, while LLM-layer probe accuracy improves. Attention analysis further reveals that LLM layers pay more attention to visual tokens during RL training. To test whether increased attention to visual tokens contributes to VQA gains, we introduce a lightweight plug-and-play intervention using a fixed attention bias. Without updating model parameters or computing gradients, this intervention partially restores VQA gains on the untrained model. These results reveal better utilization of visual information as a key mechanism behind the gains from RL.
• Abstract（参考訳）: 強化学習(RL)は視覚言語モデル(VLM)エージェントを効果的に訓練するが、これらの能力向上のメカニズムは理解されていない。 4つの多様なエージェント環境において,マルチターンRLからのタスク・サクセス・ゲインが,環境に関する基礎的な視覚的質問に付随するかどうかを調査する。 これを評価するため,環境特異的なVQAタスクを設計し,基礎的視覚的理解の改善を明らかにする。 表現型プローブでは、視覚エンコーダプローブの精度は比較的安定であり、LCM層プローブの精度は向上している。 注意分析により、LLM層はRLトレーニング中により視覚的トークンに注意を払うことが明らかとなった。 視覚的トークンへの注目がVQAゲインに寄与するかどうかを検証するために,固定された注意バイアスを用いた軽量なプラグアンドプレイ介入を導入する。 モデルパラメータや計算勾配を更新せずに、この介入はトレーニングされていないモデルでVQAゲインを部分的に復元する。 これらの結果から,RLのゲインの背後にある重要なメカニズムとして,視覚情報の利用性が向上したことが明らかとなった。

関連論文リスト

• Improving Vision-language Models with Perception-centric Process Reward Models [94.51962346430248]
  トークンレベルのエラーグラウンドを可能にするプロセス報酬モデル(PRM)であるPercevalを提案する。 Percevalは、知覚集約的な教師付きトレーニングデータで訓練される。 次に、ポリシーモデルをトレーニングするために、PercevalをRLトレーニングプロセスに統合します。
  論文  参考訳（メタデータ） (2026-04-27T15:08:02Z)
• Reflect to Inform: Boosting Multimodal Reasoning via Information-Gain-Driven Verification [55.357038267439684]
  Visual Re-Examination (VRE)は、MLLMが視覚的な入力を追加することなく推論中に自律的に視覚的イントロスペクションを実行することができる自己進化型トレーニングフレームワークである。 VREは推論精度と知覚信頼性を継続的に改善し、特にロングチェーン環境では幻覚を著しく低減する。
  論文  参考訳（メタデータ） (2026-03-27T12:22:13Z)
• SSL4RL: Revisiting Self-supervised Learning as Intrinsic Reward for Visual-Language Reasoning [88.9014727048442]
  SSL4RLは、自己教師付き学習タスクをRLベースの微調整のための検証可能な報酬の源として活用する、新しいフレームワークである。 提案手法では,イメージローテーションの予測やマスク付きパッチの再構築といったSSLの目的を,高密度で自動的な報酬信号に変換する。 実験の結果、SSL4RLは視覚中心の推論ベンチマークと視覚言語推論ベンチマークの両方のパフォーマンスを大幅に改善することが示された。
  論文  参考訳（メタデータ） (2025-10-18T09:22:40Z)
• Exploring the Effect of Reinforcement Learning on Video Understanding: Insights from SEED-Bench-R1 [53.894789613838654]
  ビデオ理解におけるMLLMのポストトレーニング手法を評価するためのベンチマークであるSEED-Bench-R1を紹介する。 複雑な現実世界のビデオや、複数の質問の形式での複雑な日常的な計画タスクも含んでいる。 Qwen2-VL-Instruct-7Bをベースモデルとして、RLと教師付き微調整(SFT)を比較した。 我々の詳細な分析では、RLは視覚知覚を増強するが、しばしばコヒーレント推論連鎖を減少させる。
  論文  参考訳（メタデータ） (2025-03-31T17:55:23Z)
• OpenVLThinker: Complex Vision-Language Reasoning via Iterative SFT-RL Cycles [91.88062410741833]
  我々はOpenVLThinkerを紹介した。OpenVLThinkerはオープンソースの大規模視覚言語モデル(LVLM)の1つである。 OpenVLThinker-7Bは、数学的および一般的な推論を必要とする6つのベンチマークで一貫して性能を向上することを示す。
  論文  参考訳（メタデータ） (2025-03-21T17:52:43Z)
• Offline RLAIF: Piloting VLM Feedback for RL via SFO [4.391505380846452]
  VLM(Vision-Language Models)は、アクション条件のトレーニングデータがないため、制御タスクを解く能力に制限がある。 AIフィードバックからの強化学習における重要な課題は、VLM由来の信号を学習プロセスに統合する方法を決定することだ。
  論文  参考訳（メタデータ） (2025-03-02T23:52:46Z)
• Elevating Visual Perception in Multimodal LLMs with Visual Embedding Distillation [109.5893580175657]
  近年,MLLMの開発における標準的な実践は,視覚エンコーダの機能をLLMに供給し,自然言語による指導を施すことである。 このアプローチは、しばしばモデルが言語理解に傾き、データに存在するリッチな視覚知覚信号を損なう。 本稿では,視覚知識をエキスパートビジョンエンコーダからLLMの隠れ表現に注入する最初のアプローチであるVisPer-LMを提案する。
  論文  参考訳（メタデータ） (2024-12-12T18:55:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。