論文の概要: See or Recall: A Sanity Check for the Role of Vision in Solving Visualization Question Answer Tasks with Multimodal LLMs

• arxiv url: http://arxiv.org/abs/2504.09809v1
• Date: Mon, 14 Apr 2025 02:19:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-15 16:50:07.835950
• Title: See or Recall: A Sanity Check for the Role of Vision in Solving Visualization Question Answer Tasks with Multimodal LLMs
• Title（参考訳）: 視力の正当性チェック : マルチモーダルLCMを用いた可視化質問応答課題の解決
• Authors: Zhimin Li, Haichao Miao, Xinyuan Yan, Valerio Pascucci, Matthew Berger, Shusen Liu,
• Abstract要約: MLLMがどのように可視化について認識し、理由を判断するかは、人間が同じ問題にどのようにアプローチするかと根本的に異なる。 規則に基づく決定木と正当性チェックテーブルを統合した包括的正当性チェックフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 13.330105502094721
• License:
• Abstract: Recent developments in multimodal large language models (MLLM) have equipped language models to reason about vision and language jointly. This permits MLLMs to both perceive and answer questions about data visualization across a variety of designs and tasks. Applying MLLMs to a broad range of visualization tasks requires us to properly evaluate their capabilities, and the most common way to conduct evaluation is through measuring a model's visualization reasoning capability, analogous to how we would evaluate human understanding of visualizations (e.g., visualization literacy). However, we found that in the context of visualization question answering (VisQA), how an MLLM perceives and reasons about visualizations can be fundamentally different from how humans approach the same problem. During the evaluation, even without visualization, the model could correctly answer a substantial portion of the visualization test questions, regardless of whether any selection options were provided. We hypothesize that the vast amount of knowledge encoded in the language model permits factual recall that supersedes the need to seek information from the visual signal. It raises concerns that the current VisQA evaluation may not fully capture the models' visualization reasoning capabilities. To address this, we propose a comprehensive sanity check framework that integrates a rule-based decision tree and a sanity check table to disentangle the effects of "seeing" (visual processing) and "recall" (reliance on prior knowledge). This validates VisQA datasets for evaluation, highlighting where models are truly "seeing", positively or negatively affected by the factual recall, or relying on inductive biases for question answering. Our study underscores the need for careful consideration in designing future visualization understanding studies when utilizing MLLMs.
• Abstract（参考訳）: 近年のMLLM(Multimodal large language model)は、視覚と言語を共同で考えるための言語モデルを備えている。 これによりMLLMは、さまざまな設計やタスクにわたるデータの可視化に関する疑問を認識および回答することが可能になる。 MLLMを広範囲の可視化タスクに適用するには,それらの能力を適切に評価する必要がある。そして最も一般的な評価方法は,モデルの可視化推論能力を測定することである。 しかし、可視化質問応答(VisQA)の文脈では、MLLMがどのようにして可視化に対する認識と理由を、人間が同じ問題にどのようにアプローチするかと根本的に異なることが判明した。 評価中は, ビジュアライゼーションがなくても, 選択オプションが提供されたかどうかに関わらず, モデルがある程度のビジュアライゼーションテストの質問に正しく答えることができた。 言語モデルに符号化された膨大な量の知識は、視覚信号から情報を求める必要性に取って代わる事実的リコールを可能にすると仮定する。 これは、現在のVisQA評価がモデルの視覚化推論能力を十分に捉えていないという懸念を提起する。 そこで本稿では,ルールベース決定木と正当性チェックテーブルを統合した総合的正当性チェックフレームワークを提案する。 これにより、評価のためのVisQAデータセットが検証され、モデルが真に“見る”こと、事実的リコールによる肯定的あるいは否定的な影響、あるいは質問応答の帰納的バイアスに依存している点が強調される。 本研究は,MLLMを利用した将来の可視化理解研究を設計する上で,慎重に検討することの必要性を明らかにするものである。

関連論文リスト

• Retrieval-Based Interleaved Visual Chain-of-Thought in Real-World Driving Scenarios [69.00444996464662]
  RIV-CoT(Retrieval-based Interleaved Visual Chain-of-Thought法)を提案する。 実験の結果, RIV-CoTの解答精度は3.1%向上し, バニラCoTの解答精度は4.6%向上した。
  論文  参考訳（メタデータ） (2025-01-08T18:31:16Z)
• VisOnlyQA: Large Vision Language Models Still Struggle with Visual Perception of Geometric Information [9.420776624656144]
  大規模視覚言語モデル (LVLM) は様々な視覚言語タスクにおいて顕著な性能を発揮している。 本稿では,LVLMの幾何学的知覚を評価するデータセットVisOnlyQAを紹介する。 LVLMは画像の基本的な幾何学的情報を正確に知覚できないことが多いが、人間のパフォーマンスはほぼ完璧である。
  論文  参考訳（メタデータ） (2024-12-01T19:46:22Z)
• ProReason: Multi-Modal Proactive Reasoning with Decoupled Eyesight and Wisdom [40.904175628582855]
  本稿ではProReasonという新しいビジュアル推論フレームワークを紹介する。 ProReasonは、マルチランプロアクティブな知覚と分離されたビジョン推論機能を備えている。 実験の結果、ProReasonは既存のマルチステップ推論フレームワークとパッシブピアメソッドの両方より優れていることがわかった。
  論文  参考訳（メタデータ） (2024-10-18T03:22:06Z)
• VHELM: A Holistic Evaluation of Vision Language Models [75.88987277686914]
  視覚言語モデル(VHELM)の全体的評価について述べる。 VHELMは、視覚的知覚、知識、推論、バイアス、公平性、多言語性、堅牢性、毒性、安全性の9つの側面の1つ以上をカバーするために、さまざまなデータセットを集約する。 私たちのフレームワークは軽量で自動で、評価の実行が安価で高速に行えるように設計されています。
  論文  参考訳（メタデータ） (2024-10-09T17:46:34Z)
• Targeted Visual Prompting for Medical Visual Question Answering [3.600327818936722]
  マルチモーダル・大規模言語モデル(MLLM)は、古典的なモデルアーキテクチャの代替として登場した。 単純な視覚的誤りは、これらのモデルの実際の視覚的理解能力に疑問を投げかけた。 本稿では,MLLMに領域ベースの質問機能を持たせるための視覚的プロンプトを提案する。
  論文  参考訳（メタデータ） (2024-08-06T08:58:20Z)
• Visualization Literacy of Multimodal Large Language Models: A Comparative Study [12.367399155606162]
  MLLM(Multimodal large language model)は、MLLM(Multimodal large language model)とLLM(LLM)の固有の能力を組み合わせて、マルチモーダルコンテキストを推論する。 ビジュアライゼーションにおける最近の多くの研究は、可視化結果を理解し、解釈し、自然言語のユーザに対して視覚化の内容を説明するMLLMの能力を実証している。 本研究では,可視化リテラシーの概念を利用してMLLMを評価することにより,そのギャップを埋めることを目的とする。
  論文  参考訳（メタデータ） (2024-06-24T17:52:16Z)
• Eyes Wide Shut? Exploring the Visual Shortcomings of Multimodal LLMs [50.77984109941538]
  近年のマルチモーダル LLM の視覚能力は, いまだに系統的な欠点を呈している。 CLIP-blind pairs'(CLIP-blind pairs)を識別する。 様々なCLIPに基づく視覚・言語モデルの評価を行い、CLIPモデルに挑戦する視覚パターンとマルチモーダルLLMの問題との間に顕著な相関関係を見出した。
  論文  参考訳（メタデータ） (2024-01-11T18:58:36Z)
• Behind the Magic, MERLIM: Multi-modal Evaluation Benchmark for Large Image-Language Models [50.653838482083614]
  本稿では,IT-LVLMの基本的なコンピュータビジョンタスクにおける能力を評価するために,スケーラブルなテストベッドを提案する。 MERLIMには300K以上の画像検索ペアが含まれており、IT-LVLMにおけるクロスモーダルな"ハロシン化"イベントの検出に重点を置いている。
  論文  参考訳（メタデータ） (2023-12-03T16:39:36Z)
• Rephrase, Augment, Reason: Visual Grounding of Questions for Vision-Language Models [59.05769810380928]
  Rephrase, Augment and Reason (RepARe) は勾配のないフレームワークで、基礎となる視覚言語モデルを用いて画像に関する詳細な情報を抽出する。 その結果、VQAv2では3.85%(絶対)、A-OKVQAでは6.41%、VizWizでは7.94%の増加が見られた。
  論文  参考訳（メタデータ） (2023-10-09T16:57:57Z)
• See, Think, Confirm: Interactive Prompting Between Vision and Language Models for Knowledge-based Visual Reasoning [60.43585179885355]
  本稿では,知識に基づく視覚推論のための新しいフレームワークであるInteractive Prompting Visual Reasoner(IPVR)を提案する。 IPVRには3つのステージがある。 我々は,知識に基づく視覚的推論データセットについて実験を行った。
  論文  参考訳（メタデータ） (2023-01-12T18:59:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。