論文の概要: ReGround: Restoring Visual Grounding in Multi-Step Reasoning through Self-Diagnosis and Visual Re-Examination

• arxiv url: http://arxiv.org/abs/2608.04385v1
• Date: Wed, 05 Aug 2026 02:41:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-06 14:48:43.695344
• Title: ReGround: Restoring Visual Grounding in Multi-Step Reasoning through Self-Diagnosis and Visual Re-Examination
• Title（参考訳）: ReGround: 自己診断と再検査によるマルチステップ推論における視覚的グラウンドの復元
• Authors: Lei Peng, Shuai Lv, Wei Hu,
• Abstract要約: ReGroundはビジョンランゲージモデル(Vision-Language Models)を教えるフレームワークで、失敗を自己診断し、視覚的エビデンスを選択的に再検査する。 画像再注入と目標自己診断の2つの相補的な要素が必要であることが判明した。
• 参考スコア（独自算出の注目度）: 9.288297528741332
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-Language Models (VLMs) often lose visual grounding during multi-step reasoning: as reasoning chains grow longer, later inference steps rely increasingly on language priors rather than image evidence. We identify a consistent benchmark-level signature associated with this degradation: across 2,510 re-examined samples from four benchmarks, attention entropy over image tokens typically decreases during Round 1 and rises again after image re-injection. However, we find that effective visual re-examination requires two complementary ingredients: image re-injection and targeted self-diagnosis. Without targeted diagnosis, re-examination can even hurt performance, whereas accurate self-diagnosis yields substantial gains -- a swing of several points on key benchmarks, indicating that diagnostic quality is a key factor in whether re-examination helps or hurts in our setting. We present ReGround, a two-stage framework that teaches VLMs to self-diagnose grounding failures and selectively re-examine visual evidence, without architectural modifications or external tools. Through capability bootstrapping, a stronger variant from the same model family provides diagnostic scaffolding only during data construction, while the policy model learns to diagnose autonomously at inference time and retains most of the assisted gains. Experiments on eight benchmarks across two VLM backbones demonstrate consistent gains, especially on visually intensive multi-step reasoning tasks, while incurring only modest inference overhead relative to tool-augmented baselines. Project page: https://sespoir.github.io/reground-page/ . Code: https://github.com/sespoir/ReGround .
• Abstract（参考訳）: 視覚言語モデル(VLM)は、多段階の推論において視覚的基盤を失うことが多く、推論チェーンが長くなるにつれて、後の推論ステップは画像証拠よりも言語優先にますます依存する。 4つのベンチマークから再検査された2,510個のサンプルに対して、画像トークンに対する注目エントロピーは、ラウンド1で減少し、イメージ再注入後に再び上昇する。 しかし,画像の再注入と自己診断の2つの相補的な要素が必要であることが判明した。 対象とする診断がなければ、再検査はパフォーマンスを損なうことさえあるが、正確な自己診断は、重要なベンチマークでいくつかのポイントを振り返ると、再検査が我々の設定に役立っているか、傷つくかにおいて、診断品質が重要な要素であることを示している。 アーキテクチャの変更や外部ツールを使わずに,VLMに欠陥を自己診断し,視覚的エビデンスを選択的に再検査する2段階のフレームワークであるReGroundを紹介する。 機能ブートストレッピングを通じて、同じモデルファミリーのより強力なバリエーションは、データ構築時にのみ診断足場を提供する一方で、ポリシーモデルは、推論時に自律的に診断し、補助利得のほとんどを保持することを学習する。 2つのVLMバックボーンにまたがる8つのベンチマーク実験では、特に視覚的に集中的な多段階推論タスクにおいて、ツール拡張ベースラインに対してわずかに推測オーバーヘッドしか発生せず、一貫した利得を示す。 プロジェクトページ: https://sespoir.github.io/reground-page/ コード: https://github.com/sespoir/ReGround

関連論文リスト

• Seeing or Knowing? Visual Context Sensitivity in Multimodal Large Language Models [14.5102059776721]
  MLLM(Multimodal Large Language Models)は、事前訓練された言語モデルの豊富な事前情報と視覚入力を統合することで、高い性能を達成する。 しかし、視覚的な証拠が事前訓練された知識と矛盾する場合、視覚中心のタスクでは失敗することが多い。 2つの診断パラダイムを用いてこれらの障害を探索する。(1)視覚情報が利用可能かどうかの探索、(2)画像再構成、(2)マルチモーダルコンテキスト感度の測定である。
  論文  参考訳（メタデータ） (2026-07-28T22:52:34Z)
• Diagnosing Visual Ignorance in Vision-Language Models [29.2851901986069]
  VLM(Vision-Language Models)は、しばしば言語先行に頼り、視覚的証拠に弱く根ざした自信ある答えを生み出す。 本研究では,機械的視点と行動的視点の両方から言語優先性について検討する。 言語優先の信頼性は、モデル内部とベンチマークの妥当性の両方に影響を及ぼす体系的なルーティング障害であることがわかった。
  論文  参考訳（メタデータ） (2026-06-05T04:16:01Z)
• ReVSI: Rebuilding Visual Spatial Intelligence Evaluation for Accurate Assessment of VLM 3D Reasoning [59.558706734431276]
  空間知能の現在の評価は、現代の視覚言語モデル(VLM)設定下で体系的に無効にすることができる。 本稿では,各QAペアが実際の入力の下で応答可能で正しいことを保証するためのベンチマークとプロトコルであるReVSIを紹介する。
  論文  参考訳（メタデータ） (2026-04-27T10:45:51Z)
• Reflect to Inform: Boosting Multimodal Reasoning via Information-Gain-Driven Verification [55.357038267439684]
  Visual Re-Examination (VRE)は、MLLMが視覚的な入力を追加することなく推論中に自律的に視覚的イントロスペクションを実行することができる自己進化型トレーニングフレームワークである。 VREは推論精度と知覚信頼性を継続的に改善し、特にロングチェーン環境では幻覚を著しく低減する。
  論文  参考訳（メタデータ） (2026-03-27T12:22:13Z)
• Beyond Accuracy: Evaluating Grounded Visual Evidence in Thinking with Images [34.324634481264034]
  我々は、忠実な視覚的推論を評価するために設計されたプロセス検証可能なベンチマークであるViEBenchを提案する。 専門家による視覚的エビデンスを含む200個の高解像度画像を合成し、ViEBenchは難易度でタスクを知覚と推論の次元に分類する。 実験の結果,(1)VLMは無関係な領域に接するにもかかわらず,正しい最終回答を導き出すことができ,(2)正しい証拠を見つけることはできるが,正確な結論に至らなかった。
  論文  参考訳（メタデータ） (2026-01-14T07:25:15Z)
• Route, Retrieve, Reflect, Repair: Self-Improving Agentic Framework for Visual Detection and Linguistic Reasoning in Medical Imaging [3.6136448489318695]
  医用イメージングを4つの協調エージェントに分解するエージェントフレームワークであるR4を提案する。 R4 は LLM-as-a-Judge のスコアを約 +1.7-2.5 で、mAP50 は 2.5-+3.5 の絶対点を強い単VLM ベースライン上で連続的に引き上げる。
  論文  参考訳（メタデータ） (2026-01-13T03:44:06Z)
• More Images, More Problems? A Controlled Analysis of VLM Failure Modes [80.64323947730905]
  大規模視覚言語モデル (LVLM) は目覚ましい能力を示しているが、複数の画像に対する理解と推論の能力は未解明のままである。 LVLMのマルチイメージ能力を厳格に評価する新しいベンチマークMIMICを紹介する。
  論文  参考訳（メタデータ） (2026-01-12T18:45:13Z)
• VisRAG 2.0: Evidence-Guided Multi-Image Reasoning in Visual Retrieval-Augmented Generation [64.82775032985485]
  視覚検索強化世代(VRAG)は視覚言語モデル(VLM)を外的視覚知識で拡張し、基礎推論を行い幻覚を減らす。 しかし、現在のVRAGシステムは、複数の画像に対して確実な認識と証拠の統合に失敗し、根拠の弱さと誤った結論に繋がることが多い。 EVisRAGは,エビデンス誘導型マルチイメージで推論を学習し,この問題に対処するエンド・ツー・エンドのフレームワークである。
  論文  参考訳（メタデータ） (2025-10-10T13:34:23Z)
• Envisioning Beyond the Pixels: Benchmarking Reasoning-Informed Visual Editing [84.16442052968615]
  RISEBenchはReasoning-Informed ViSual Editing (RISE)の最初のベンチマークである。 RISEBenchは、時間、因果、空間、論理的推論の4つの主要な推論カテゴリに焦点を当てている。 オープンソースモデルとプロプライエタリモデルの両方を含む,9つの目立った視覚編集モデルを評価する実験を行った。
  論文  参考訳（メタデータ） (2025-04-03T17:59:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。