論文の概要: Seeing What Is Actually There: PriVE-Bench and PriVE-Tools for Counterfactual Evaluation of Agentic Visual Evidence in VLMs

• arxiv url: http://arxiv.org/abs/2607.16311v1
• Date: Tue, 14 Jul 2026 16:45:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-21 18:48:37.106306
• Title: Seeing What Is Actually There: PriVE-Bench and PriVE-Tools for Counterfactual Evaluation of Agentic Visual Evidence in VLMs
• Title（参考訳）: 実際に何が起きているか: VLMにおけるエージェント的視覚的証拠の非現実的評価のためのPrive-BenchとPrive-Tools
• Abstract要約: 視覚言語モデル(VLM)は、画像自体に予測を基礎付けるのではなく、学習した言語やカテゴリの事前情報を用いて視覚的な疑問に答えることが多い。 プリヴェベンチ(PriVE-Bench)は、プリヴェベンチ(Preside-vs-Visual Evidence Benchmark)で、プリヴェベンチ(Preside-vs-Visual Evidence Benchmark)と、プリヴェベンチ(PriVE-Bench)と、プリヴェベンチ(Preside-vs-Visual Evidence Benchmark)と、プリヴェベンチ(PriVE-Bench)の2つの元画像と反ファクト画像を用いて、事前一貫性の誤りとを区別する。 また,PriVE-Toolsも導入した。PriVE-Toolsは,ツール由来の視覚的エビデンスにより,同一の対物衝突による接地感が向上するかどうかを評価する,エージェントビジョンにインスパイアされた制御拡張である。
• 参考スコア（独自算出の注目度）: 14.028133377242701
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-language models (VLMs) often answer visual questions using learned language and category priors rather than grounding their predictions in the image itself. Counterfactual images provide a natural diagnostic setting for this failure mode: when visible evidence contradicts what is usually true, a grounded model should answer from the pixels, while a prior-following model will produce a canonical but visually incorrect response. However, existing counterfactual benchmarks mainly ask whether such prior-following behavior exists. In this paper, we ask a further question motivated by the rise of tool-augmented and agentic vision systems: can additional visual evidence views help VLMs reason against their priors? We introduce PriVE-Bench, a Prior-vs-Visual Evidence Benchmark that uses paired original and counterfactual images to distinguish visually grounded answers from prior-consistent errors. We further introduce PriVE-Tools, a controlled agentic-vision-inspired extension that evaluates whether tool-derived visual evidence -- including bounding boxes, crops, zoom panels, and contours -- improves grounding under the same counterfactual conflicts. Across open- and closed-source VLMs, we compare raw, paired-image, and tool-conditioned inputs using accuracy, prior-following error rate, and other-response rate. Our results show that visual evidence tools can help in some settings, especially when models can use localized evidence effectively, but they are not a universal remedy: several models continue to follow language and category priors even when relevant visual evidence is explicitly provided.
• Abstract（参考訳）: 視覚言語モデル(VLM)は、画像自体に予測を基礎付けるのではなく、学習した言語やカテゴリの事前情報を用いて視覚的な疑問に答えることが多い。 視覚的エビデンスが通常真実と矛盾する場合、接地されたモデルがピクセルから応答し、事前フォローするモデルが標準的だが視覚的に正しくない応答を生成する。 しかし、既存のカウンターファクトのベンチマークは主に、そのような事前フォロー動作が存在するかどうかを問うものである。 本稿では,ツール強化型およびエージェント型視覚システムの台頭を動機とする,新たな視覚的エビデンス・ビューが,VLMの先駆者に対する推論に有効か,という疑問を提起する。 プリヴェベンチ(PriVE-Bench)は、プリヴェベンチ(Preside-vs-Visual Evidence Benchmark)で、プリヴェベンチ(Preside-vs-Visual Evidence Benchmark)と、プリヴェベンチ(PriVE-Bench)と、プリヴェベンチ(Preside-vs-Visual Evidence Benchmark)と、プリヴェベンチ(PriVE-Bench)の2つの元画像と反ファクト画像を用いて、事前一貫性の誤りとを区別する。 さらに、PriVE-Toolsというコントロールされたエージェントビジョンにインスパイアされた拡張を導入し、ツール由来の視覚的エビデンス(バウンディングボックス、作物、ズームパネル、輪郭など)が、同じ反ファクト的な競合の下での接地を改善しているかどうかを評価する。 オープンソースおよびクローズドソースVLM全体で、精度、事前追従誤差率、その他の応答率を用いて、生画像、ペア画像、ツール条件入力を比較した。 視覚的エビデンスツールは,特にモデルが局所的エビデンスを効果的に活用できる場合に有効であることを示すが,これらは普遍的な治療法ではない。

関連論文リスト

• Seeing or Knowing? Visual Context Sensitivity in Multimodal Large Language Models [14.5102059776721]
  MLLM(Multimodal Large Language Models)は、事前訓練された言語モデルの豊富な事前情報と視覚入力を統合することで、高い性能を達成する。 しかし、視覚的な証拠が事前訓練された知識と矛盾する場合、視覚中心のタスクでは失敗することが多い。 2つの診断パラダイムを用いてこれらの障害を探索する。(1)視覚情報が利用可能かどうかの探索、(2)画像再構成、(2)マルチモーダルコンテキスト感度の測定である。
  論文  参考訳（メタデータ） (2026-07-28T22:52:34Z)
• MissingBench-Verified: Probing Vision-Language Models' Inability to Detect Missing Object Parts [10.608824155356377]
  MissingBench-Verifiedは、特定の、実用的なシナリオを評価するために設計されたベンチマークである。 外部のツールエビデンスがモデルの視覚的知覚と明確に矛盾している場合でも、一貫性のある、重要な失敗率を観察します。 ツールアシスト検証、自律的な視覚的推論、推論期間の延長、より簡単なデータセットの微調整など、既存の緩和戦略は無視できる改善を提供する。
  論文  参考訳（メタデータ） (2026-07-21T03:43:50Z)
• Does It Fail to See or Fail to Know? Attributing Errors in Vision-Language Models [33.564453692157095]
  不確実性は、モデルが失敗する可能性を示すだけでなく、なぜ不確実かも診断すべきである。 そこで本研究では,障害発生源の予測に前世代の信号が有効かどうかを検証し,障害発生モードを解消するための統一的なフレームワークを提案する。 我々の主な発見は、認識関連障害が視覚的トーケン表現によって最もよく捉えられるのに対して、認識後に残る障害は、素早い条件で隠された状態によってよりよく捉えられることである。
  論文  参考訳（メタデータ） (2026-07-06T05:11:45Z)
• CounterCount: A Diagnostic Framework for Counting Bias in Vision Language Models [44.585250047959924]
  VLM(Vision-Language Models)はマルチモーダル推論において優れているが、その答えが視覚的証拠に根ざされているか、あるいは学習言語や世界の先駆者によって駆動されているかは定かではない。 本稿では,VLMにおけるデファクトカウントの診断フレームワークであるCounterCountを紹介する。 これらの失敗は、欠落または曖昧な視覚的証拠によるものではなく、無関係な視覚的トークンへの注意を過小評価するモデルによるものであることを示す。
  論文  参考訳（メタデータ） (2026-05-18T04:00:05Z)
• Are VLMs Seeing or Just Saying? Uncovering the Illusion of Visual Re-examination [39.713386491199884]
  VLM(Vision-Language Models)は、しばしば推論中に「図をもう一度確認する」といった自己表現的なステートメントを生成する。 このようなステートメントは、真の視覚的再検査を引き起こすのか、それとも単にテキストパターンを学んだだけなのか? 我々は、イメージスワップ探索フレームワークであるVisualSwapを通してこれを調査する。
  論文  参考訳（メタデータ） (2026-05-15T11:31:14Z)
• ReVSI: Rebuilding Visual Spatial Intelligence Evaluation for Accurate Assessment of VLM 3D Reasoning [59.558706734431276]
  空間知能の現在の評価は、現代の視覚言語モデル(VLM)設定下で体系的に無効にすることができる。 本稿では,各QAペアが実際の入力の下で応答可能で正しいことを保証するためのベンチマークとプロトコルであるReVSIを紹介する。
  論文  参考訳（メタデータ） (2026-04-27T10:45:51Z)
• Improving Visual Reasoning with Iterative Evidence Refinement [41.18410988040976]
  視覚言語モデル(VLM)は、画像の上に推論する能力がますます高まっている。 しかし、堅牢な視覚的推論は、基礎となる視覚的証拠において、しばしば中間的なステップを再定義する必要がある。 本稿では、内部表現による画像証拠の再挿入をモデルに訓練するエンド・ツー・エンドのセルフリビジョン・フレームワークであるSIEVEを提案する。
  論文  参考訳（メタデータ） (2026-03-14T21:08:21Z)
• Through the Lens of Contrast: Self-Improving Visual Reasoning in VLMs [60.93949629734977]
  モデル生成論理における幻覚を軽減するために,視覚コントラスト型自己学習共振器(VC-STaR)を提案する。 多様なVQAデータセットを収集し、マルチモーダルな類似性に応じてコントラストペアをキュレートし、VC-STaRを用いて合理性を生成する。 大規模な実験によると、VC-STaRは既存の自己改善アプローチを上回るだけでなく、SoTA視覚推論データセットで微調整されたモデルを上回る。
  論文  参考訳（メタデータ） (2026-03-03T03:18:31Z)
• Thinking with Deltas: Incentivizing Reinforcement Learning via Differential Visual Reasoning Policy [75.66913260900726]
  検証可能なリワードによる強化学習は、大規模言語モデルにおいてかなり高度な推論能力を持っている。 既存のパラダイムは、テキスト中心の成果報酬によって推進され、モデルが視覚的知覚をバイパスすることを奨励します。 我々はtextbfDifferential Visual Reasoning Policy によって駆動されるフレームワーク Deltas を用いた textbfThinking を提案する。
  論文  参考訳（メタデータ） (2026-01-11T08:25:34Z)
• Visually Prompted Benchmarks Are Surprisingly Fragile [82.98001690512461]
  VLMを評価する上で重要な課題は、視覚コンテンツをテキストから独立して分析する能力をテストすることである。 ビジュアルマーカーの設計やデータセットサイズなど,ベンチマーク設定の詳細が,モデルパフォーマンスやリーダボードのランキングに大きく影響していることを実証する。 この不安定性を軽減するため、既存のデータセットをキュレートして16のビジュアルマーカーのバリエーションを備えた、より大きな視覚的にトリガーされたベンチマークであるVPBenchを作成します。
  論文  参考訳（メタデータ） (2025-12-19T18:26:58Z)
• Seeing to Act, Prompting to Specify: A Bayesian Factorization of Vision Language Action Policy [59.44168425139687]
  BayesVLA(ベイズVLA)は、前もってポリシーを視覚的アクションに分解し、ルック・トゥ・アクティベーションと言語条件付き可能性をサポートし、即時特定を可能にするベイズ因子化である。 実験は、既存の方法と比較して、目に見えない命令、オブジェクト、環境に対して優れた一般化を示す。
  論文  参考訳（メタデータ） (2025-12-12T01:59:23Z)
• Draft and Refine with Visual Experts [18.983324604452118]
  LVLM(Large Vision-Language Models)は、視覚的証拠ではなく、言語的先行に強く依存しているため、根拠のない、あるいは幻覚的な応答を生成する。 本稿では,質問条件付き利用指標によって駆動されるエージェントフレームワークであるDraft and Refine(DnR)を提案する。
  論文  参考訳（メタデータ） (2025-11-14T06:50:14Z)
• VisRAG 2.0: Evidence-Guided Multi-Image Reasoning in Visual Retrieval-Augmented Generation [64.82775032985485]
  視覚検索強化世代(VRAG)は視覚言語モデル(VLM)を外的視覚知識で拡張し、基礎推論を行い幻覚を減らす。 しかし、現在のVRAGシステムは、複数の画像に対して確実な認識と証拠の統合に失敗し、根拠の弱さと誤った結論に繋がることが多い。 EVisRAGは,エビデンス誘導型マルチイメージで推論を学習し,この問題に対処するエンド・ツー・エンドのフレームワークである。
  論文  参考訳（メタデータ） (2025-10-10T13:34:23Z)
• BLINK-Twice: You see, but do you observe? A Reasoning Benchmark on Visual Perception [67.89135437537179]
  我々は視覚中心の推論ベンチマークであるBLINK-Twiceを紹介した。 外部の知識に頼るのではなく、私たちのタスクは視覚的コンテンツのみから推論するモデルを必要とします。 事前の知覚ベンチマークと比較すると、浅い知覚を超越し、きめ細かい観察と分析的推論を必要とする。
  論文  参考訳（メタデータ） (2025-10-10T13:14:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。