論文の概要: Beyond Accuracy: Evaluating Grounded Visual Evidence in Thinking with Images

• arxiv url: http://arxiv.org/abs/2601.11633v1
• Date: Wed, 14 Jan 2026 07:25:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-21 22:47:22.232475
• Title: Beyond Accuracy: Evaluating Grounded Visual Evidence in Thinking with Images
• Title（参考訳）: 正確性を超えて:画像を用いた思考における基盤的視覚的エビデンスの評価
• Abstract要約: 我々は、忠実な視覚的推論を評価するために設計されたプロセス検証可能なベンチマークであるViEBenchを提案する。 専門家による視覚的エビデンスを含む200個の高解像度画像を合成し、ViEBenchは難易度でタスクを知覚と推論の次元に分類する。 実験の結果,(1)VLMは無関係な領域に接するにもかかわらず,正しい最終回答を導き出すことができ,(2)正しい証拠を見つけることはできるが,正確な結論に至らなかった。
• 参考スコア（独自算出の注目度）: 34.324634481264034
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the remarkable progress of Vision-Language Models (VLMs) in adopting "Thinking-with-Images" capabilities, accurately evaluating the authenticity of their reasoning process remains a critical challenge. Existing benchmarks mainly rely on outcome-oriented accuracy, lacking the capability to assess whether models can accurately leverage fine-grained visual cues for multi-step reasoning. To address these limitations, we propose ViEBench, a process-verifiable benchmark designed to evaluate faithful visual reasoning. Comprising 200 multi-scenario high-resolution images with expert-annotated visual evidence, ViEBench uniquely categorizes tasks by difficulty into perception and reasoning dimensions, where reasoning tasks require utilizing localized visual details with prior knowledge. To establish comprehensive evaluation criteria, we introduce a dual-axis matrix that provides fine-grained metrics through four diagnostic quadrants, enabling transparent diagnosis of model behavior across varying task complexities. Our experiments yield several interesting observations: (1) VLMs can sometimes produce correct final answers despite grounding on irrelevant regions, and (2) they may successfully locate the correct evidence but still fail to utilize it to reach accurate conclusions. Our findings demonstrate that ViEBench can serve as a more explainable and practical benchmark for comprehensively evaluating the effectiveness agentic VLMs. The codes will be released at: https://github.com/Xuchen-Li/ViEBench.
• Abstract（参考訳）: シンキング・ウィズ・イメージ(Thinking-with-Images)機能の採用における視覚言語モデル(VLM)の顕著な進歩にもかかわらず、それらの推論プロセスの信頼性を正確に評価することは重要な課題である。 既存のベンチマークは主に結果指向の精度に依存しており、モデルがマルチステップ推論のためにきめ細かい視覚的手がかりを正確に活用できるかどうかを評価する能力が欠如している。 これらの制約に対処するために、忠実な視覚的推論を評価するために設計されたプロセス検証ベンチマークであるViEBenchを提案する。 専門家による視覚的エビデンスを持つ200個の高解像度画像を合成し、ViEBenchは難易度によってタスクを認識と推論の次元に分類する。 包括的評価基準を確立するために,4つの診断クアドラントを通した詳細な測定値を提供する2軸行列を導入し,タスクの複雑さの異なるモデル行動の透過的な診断を可能にした。 実験の結果,(1)VLMは無関係な領域に接して正しい最終回答を得られること,(2)正しい証拠を見つけることはできるが,正確な結論に至らないこと,など,興味深い結果が得られた。 以上の結果から, ViEBench は, エージェント VLM の有効性を総合的に評価する上で, より説明可能な, 実用的なベンチマークとなる可能性が示唆された。 コードは、https://github.com/Xuchen-Li/ViEBench.comでリリースされる。

関連論文リスト

• Benchmarking Large Vision-Language Models on Fine-Grained Image Tasks: From Evaluation to Diagnosis [63.49939245944781]
  我々は1100万の質問と0.28万の画像を含む総合的なきめ細かい評価ベンチマークであるFG-BMKを紹介する。 現在のLVLMは、視覚的表現、セマンティックグラウンドディング、モダリティアライメント、カテゴリーレベルの知識において、相互に絡み合ったボトルネックから生じる障害を伴って、微粒化認識器が不十分なままである。
  論文  参考訳（メタデータ） (2026-06-17T13:23:26Z)
• Seeing Isn't Knowing: Do VLMs Know When Not to Answer Spatial Questions (and Why)? [72.2500547961037]
  空間推論は視覚言語モデル(VLM)が現実世界の環境に展開する基本的な能力である。 対象情報を隠蔽するオクルージョン(Occlusion)と、誤解を招く視覚的手がかりを生成する視点曖昧性(spective ambiguity)の2つのタイプの観察課題を紹介した。 各構成について、クリーンな観察では答えられるが、導入した課題では無視する必要がある空間的質問を設計する。
  論文  参考訳（メタデータ） (2026-05-28T20:44:47Z)
• Seeing without Looking: Do Vision-Language Benchmarks Really Test Vision? [10.315515647818009]
  ベンチマーク精度はしばしば、視覚言語モデルにおける基底的な視覚的理解を反映していると仮定される。 我々は、このミスマッチをオープンソースの視覚言語モデルで体系的に研究する。 VLMは視覚入力を取り入れているが、その予測はきめ細かい視覚的証拠の喪失にはあまり敏感ではない。
  論文  参考訳（メタデータ） (2026-05-21T17:35:04Z)
• VISTAQA: Benchmarking Joint Visual Question Answering and Pixel-Level Evidence [26.0945130521806]
  既存のベンチマークでは、テキストによる回答の正当性または画素レベルのローカライゼーションを分離して評価している。 本稿では,視覚的質問応答に基づく自由形式の回答正当性と画素レベルの証拠を共同評価するためのベンチマークであるVISTAQAを紹介する。 GROVEは, テキストの精度と接地品質を, サンプルごとの幾何平均で組み合わせることで, 関節の正しさを強制する指標である。
  論文  参考訳（メタデータ） (2026-05-20T03:44:06Z)
• Seek-and-Solve: Benchmarking MLLMs for Visual Clue-Driven Reasoning in Daily Scenarios [56.703500104126014]
  DailyClueは、日々のシナリオで視覚的な手がかり駆動推論のために設計されたベンチマークである。 本研究は,(1) 日常活動の厳格化,(2) 問合せ設計の課題,という2つの基本原則で導かれる。 本分析は,視覚的手がかりの正確な同定が堅牢な推論に不可欠であることを強調し,いくつかの重要な知見を明らかにした。
  論文  参考訳（メタデータ） (2026-04-15T16:22:10Z)
• LTD-Bench: Evaluating Large Language Models by Letting Them Draw [57.237152905238084]
  LTD-Benchは、大規模言語モデル(LLM)のブレークスルーベンチマークである。 LLMの評価を抽象的なスコアから直接観察可能な視覚出力に変換する。 LTD-Benchの視覚出力は強力な診断分析を可能にし、モデル類似性を調べるための潜在的アプローチを提供する。
  論文  参考訳（メタデータ） (2025-11-04T08:11:23Z)
• Demystifying deep search: a holistic evaluation with hint-free multi-hop questions and factorised metrics [89.1999907891494]
  We present WebDetective, a benchmark of hint-free multi-hop questions with a control Wikipedia sandbox。 25の最先端モデルに対する我々の評価は、すべてのアーキテクチャにまたがる体系的な弱点を明らかにしている。 私たちはエージェントワークフローであるEvidenceLoopを開発し、ベンチマークが特定する課題を明示的にターゲットしています。
  論文  参考訳（メタデータ） (2025-10-01T07:59:03Z)
• Probing Vision-Language Understanding through the Visual Entailment Task: promises and pitfalls [0.10923877073891446]
  本研究では、マルチモーダル言語モデルにおける視覚言語理解の信頼性調査として、視覚的エンタテインメントタスクが果たす役割について検討する。 ゼロショット、少数ショット、微調整の設定で実験を行い、プロンプトデザインなどの要因がVEのパフォーマンスに与える影響について検討する。 微細チューニングは強い結果をもたらし、E-SNLI-VEデータセットで83.3%の精度を達成し、最先端のOFA-Xモデルを上回っている。
  論文  参考訳（メタデータ） (2025-07-23T12:46:51Z)
• VLMs have Tunnel Vision: Evaluating Nonlocal Visual Reasoning in Leading VLMs [18.349695067647012]
  ビジュアル言語モデルは、VQAやチャート理解といった複雑なビジュアルタスクに優れていますが、最近の研究は、単純なテストで苦労していることを示唆しています。 非局所的な視覚的推論のための視覚言語モデルの能力を評価する。 その結果,生の視力の上昇にもかかわらず,現在のモデルでは中心的な視覚的推論能力が欠如していることが判明した。
  論文  参考訳（メタデータ） (2025-07-04T23:15:52Z)
• BYO-Eval: Build Your Own Dataset for Fine-Grained Visual Assessment of Multimodal Language Models [2.526146573337397]
  眼科診断に触発された新しい評価手法を提案する。 合成画像のプロシージャ生成を用いて視覚特性の制御を行う。 この診断は、系統的なストレステストときめ細かい故障解析を可能にする。
  論文  参考訳（メタデータ） (2025-06-05T12:43:10Z)
• VisionReasoner: Unified Reasoning-Integrated Visual Perception via Reinforcement Learning [56.99825489208698]
  複数の視覚知覚タスクの推論と解決が可能な統合フレームワークであるVisionReasonerを紹介する。 VisionReasonerは、視覚的な入力を分析するための推論機能を強化し、統一モデル内の様々な知覚タスクに対処する。 VisionReasonerは、検出、セグメンテーション、カウントという3つの重要な領域にまたがる10のタスクに対して評価する。
  論文  参考訳（メタデータ） (2025-05-17T16:51:47Z)
• Envisioning Beyond the Pixels: Benchmarking Reasoning-Informed Visual Editing [84.16442052968615]
  RISEBenchはReasoning-Informed ViSual Editing (RISE)の最初のベンチマークである。 RISEBenchは、時間、因果、空間、論理的推論の4つの主要な推論カテゴリに焦点を当てている。 オープンソースモデルとプロプライエタリモデルの両方を含む,9つの目立った視覚編集モデルを評価する実験を行った。
  論文  参考訳（メタデータ） (2025-04-03T17:59:56Z)
• A Hitchhikers Guide to Fine-Grained Face Forgery Detection Using Common Sense Reasoning [9.786907179872815]
  視覚と言語の可能性は、いまだに偽造検出に過小評価されている。 顔偽造検出を視覚質問応答(VQA)タスクに変換する方法論が必要である。 このギャップに対処するために,従来の二項決定パラダイムから分岐する多段階的アプローチを提案する。
  論文  参考訳（メタデータ） (2024-10-01T08:16:40Z)
• Freeview Sketching: View-Aware Fine-Grained Sketch-Based Image Retrieval [85.73149096516543]
  微細スケッチベース画像検索(FG-SBIR)におけるスケッチ作成時の視点選択について検討する。 パイロットスタディでは、クエリスケッチがターゲットインスタンスと異なる場合、システムの苦労を強調している。 これを解決するために、ビューに依存しないタスクとビュー固有のタスクの両方をシームレスに収容するビューアウェアシステムを提案する。
  論文  参考訳（メタデータ） (2024-07-01T21:20:44Z)
• VALOR-EVAL: Holistic Coverage and Faithfulness Evaluation of Large Vision-Language Models [57.43276586087863]
  LVLM(Large Vision-Language Models)は幻覚に悩まされ、このモデルでは可聴音を発生させるが、実際には誤出力を発生させる。 既存のベンチマークはスコープに限られており、主にオブジェクト幻覚に焦点を当てている。 対象,属性,関係を多次元のベンチマークで表現し,連想バイアスに基づいて画像を選択する。
  論文  参考訳（メタデータ） (2024-04-22T04:49:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。