論文の概要: Thinking with Visual Grounding

• arxiv url: http://arxiv.org/abs/2606.16122v1
• Date: Mon, 15 Jun 2026 02:28:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:34.038009
• Title: Thinking with Visual Grounding
• Title（参考訳）: ビジュアルグラウンドで考える
• Authors: Junkai Zhang, Yihe Deng, Kai-Wei Chang, Wei Wang,
• Abstract要約: 本稿では,各ステップで使用される視覚的エビデンスを明示的ポイントやボックスグラウンドで,モデルが自然言語思考をインターリーブする推論プロセスである視覚的グラウンドド・シンキングを紹介する。 この動作をトレーニングするために,正確な視覚的推論トレースを抽出するスケーラブルな合成パイプラインを構築した。 本稿では,回答正当性報酬と,生成したオブジェクト参照が正しい画像証拠と一致するか否かをスコアする密接なグラウンド化報酬を組み合わせたグラウンド化対応強化学習を提案する。
• 参考スコア（独自算出の注目度）: 55.778136782175615
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Visual thinking should not only sound right; it should show its evidence. While recent vision-language models (VLMs) can produce natural-language reasoning traces, these traces often leave the supporting image regions implicit, making them hard to verify and difficult to supervise. We introduce visually grounded thinking, a reasoning process in which models interleave natural-language thoughts with explicit point or box groundings of the visual evidence used at each step. This lets the model express intermediate reasoning in language while grounding key objects in the image regions they refer to. To train this behavior, we construct a scalable synthesis pipeline that distills correct visual reasoning traces, extracts the visual objects required by the traces, grounds them with a SAM3-based agent, and derives aligned point and box supervision from the resulting masks. We further propose grounding-aware reinforcement learning, which combines answer correctness rewards with dense grounding rewards that score whether generated object references match the correct image evidence. Across two counting benchmarks and four spatial reasoning benchmarks, adding visually grounded thinking to Gemma3-4B-IT consistently improves performance over the original model and the non-grounded thinking baseline. On spatial reasoning, the visually grounded thinking 4B models match, and in some cases surpass, Gemma3-27B-IT from the same model family. Our analysis shows that point grounding is well suited to counting, while box grounding benefits most from explicit grounding rewards on spatial tasks. Overall, our results show that VLMs think better when their intermediate thoughts are tied to the image regions that make them true.
• Abstract（参考訳）: 視覚的思考は正しいだけでなく、その証拠を示すべきです。 最近の視覚言語モデル(VLM)は自然言語の推論トレースを生成することができるが、これらのトレースはサポート画像領域を暗黙的に残すことが多く、検証が難しく、監視が難しい。 本稿では,各ステップで使用される視覚的エビデンスを明示的ポイントやボックスグラウンドで,モデルが自然言語思考をインターリーブする推論プロセスである視覚的グラウンドド・シンキングを紹介する。 これにより、モデルが言語で中間的推論を表現し、参照する画像領域のキーオブジェクトをグラウンド化することができる。 この動作をトレーニングするために、我々は、正確な視覚的推論トレースを抽出し、トレースに必要な視覚オブジェクトを抽出し、SAM3ベースのエージェントでグラウンドし、その結果のマスクから整列点とボックスの監督を導出するスケーラブルな合成パイプラインを構築した。 さらに,回答正当性報酬と,生成したオブジェクト参照が正しい画像証拠と一致するか否かをスコアする密接なグラウンド化報酬を組み合わせたグラウンド化対応強化学習を提案する。 2つの計数ベンチマークと4つの空間的推論ベンチマークにより、Gemma3-4B-ITに視覚的基盤的思考を追加することにより、元のモデルと非基底的思考ベースラインよりも一貫してパフォーマンスが向上する。 空間的推論では、4Bモデルが一致し、同じモデルファミリーのGemma3-27B-ITを超える場合もある。 解析の結果、点定位はカウントに適しており、ボックス定位は空間的タスクに対する明確な接地報酬から最も恩恵を受けることがわかった。 以上の結果から,VLMは画像領域に関連付けられている場合,より良く考えることができることがわかった。

関連論文リスト

• Visual Reasoning Tracer: Object-Level Grounded Reasoning Benchmark [112.46338388724116]
  このタスクでは、ターゲットオブジェクトをローカライズするだけでなく、推論パスを形成する中間オブジェクトを明示的に予測する必要がある。 この分野での研究を進めるために,(1)視覚的推論を評価するための人為的注釈付きベンチマークであるVRT-Bench,(2)推論トレースの質を評価するための新しい指標であるVRT-80k,(3)推論モデルトレーニングのための大規模データセットであるVRT-80kが提案されている。
  論文  参考訳（メタデータ） (2025-12-04T18:55:34Z)
• BLINK-Twice: You see, but do you observe? A Reasoning Benchmark on Visual Perception [67.89135437537179]
  我々は視覚中心の推論ベンチマークであるBLINK-Twiceを紹介した。 外部の知識に頼るのではなく、私たちのタスクは視覚的コンテンツのみから推論するモデルを必要とします。 事前の知覚ベンチマークと比較すると、浅い知覚を超越し、きめ細かい観察と分析的推論を必要とする。
  論文  参考訳（メタデータ） (2025-10-10T13:14:13Z)
• Traceable Evidence Enhanced Visual Grounded Reasoning: Evaluation and Methodology [87.65242416688146]
  TreeBenchは、ビジュアルグラウンド推論の診断ベンチマークである。 TreeVGRは、強化学習と共同でローカライゼーションと推論を監督する訓練パラダイムである。
  論文  参考訳（メタデータ） (2025-07-10T17:59:58Z)
• Grounded Reinforcement Learning for Visual Reasoning [51.94871616778874]
  我々は、強化学習で訓練された視覚言語モデルViGoRL(Visually Grounded Reinforcement Learning)を紹介する。 人間の視覚的意思決定にインスパイアされたViGoRLは、空間的に根拠のある推論トレースを生成することを学ぶ。 この結果から,RLは汎用的な視覚的推論を用いたモデル入力の強力なパラダイムであることが示唆された。
  論文  参考訳（メタデータ） (2025-05-29T17:20:26Z)
• v1: Learning to Point Visual Tokens for Multimodal Grounded Reasoning [27.688428439248607]
  簡単なポイント・アンド・コピーアプローチによるアクティブな視覚的参照を可能にする軽量な拡張であるv1を紹介する。 これにより、モデルは関連するイメージパッチを特定し、埋め込みを推論ストリームにコピーすることができる。 我々のポインティング戦略では、MLLMはセマンティックな表現をキーとして直接イメージパッチを選択でき、知覚的証拠はモデルの推論と同じ空間に埋め込まれている。
  論文  参考訳（メタデータ） (2025-05-24T19:30:47Z)
• Object-Centric Diagnosis of Visual Reasoning [118.36750454795428]
  本稿では,地平とロバスト性に基づく視覚的推論の体系的対象中心の診断について述べる。 我々は,グラフ推論機械という診断モデルを開発した。 本モデルは、純粋に象徴的な視覚的表現を確率的シーングラフに置き換え、教師の強制訓練をビジュアル推論モジュールに適用する。
  論文  参考訳（メタデータ） (2020-12-21T18:59:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。