論文の概要: VisualSimpleQA: A Benchmark for Decoupled Evaluation of Large Vision-Language Models in Fact-Seeking Question Answering

• arxiv url: http://arxiv.org/abs/2503.06492v1
• Date: Sun, 09 Mar 2025 07:25:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 15:52:17.811087
• Title: VisualSimpleQA: A Benchmark for Decoupled Evaluation of Large Vision-Language Models in Fact-Seeking Question Answering
• Title（参考訳）: VisualSimpleQA: Fact-Seeking Question Answeringにおける大規模視覚言語モデルの分離評価ベンチマーク
• Authors: Yanling Wang, Yihan Zhao, Xiaodong Chen, Shasha Guo, Lixin Liu, Haoyang Li, Yong Xiao, Jing Zhang, Qi Li, Ke Xu,
• Abstract要約: 2つの重要な特徴を持つマルチモーダルなファクト検索ベンチマークであるVisualSimpleQAを紹介する。 視覚的・言語的モダリティにおけるLVLMの合理化・分離評価を可能にする。 15個のLVLMの実験では、GPT-4oのような最先端のモデルでさえ、わずか60%以上の精度しか達成していない。
• 参考スコア（独自算出の注目度）: 28.045285777736876
• License:
• Abstract: Large vision-language models (LVLMs) have demonstrated remarkable achievements, yet the generation of non-factual responses remains prevalent in fact-seeking question answering (QA). Current multimodal fact-seeking benchmarks primarily focus on comparing model outputs to ground truth answers, providing limited insights into the performance of modality-specific modules. To bridge this gap, we introduce VisualSimpleQA, a multimodal fact-seeking benchmark with two key features. First, it enables streamlined and decoupled evaluation of LVLMs in visual and linguistic modalities. Second, it incorporates well-defined difficulty criteria to guide human annotation and facilitates the extraction of a challenging subset, VisualSimpleQA-hard. Experiments on 15 LVLMs show that even state-of-the-art models such as GPT-4o achieve merely 60%+ correctness in multimodal fact-seeking QA on VisualSimpleQA and 30%+ on VisualSimpleQA-hard. Furthermore, the decoupled evaluation across these models highlights substantial opportunities for improvement in both visual and linguistic modules. The dataset is available at https://huggingface.co/datasets/WYLing/VisualSimpleQA.
• Abstract（参考訳）: 大規模視覚言語モデル (LVLM) は目覚ましい成果を示したが, 事実探索質問応答 (QA) では, 非実効応答の生成が一般的である。 現在のマルチモーダルな事実探索ベンチマークは、主にモデル出力と真実の答えを比較し、モダリティ固有のモジュールのパフォーマンスに関する限られた洞察を提供する。 このギャップを埋めるために、2つの重要な特徴を持つマルチモーダルなファクト検索ベンチマークであるVisualSimpleQAを紹介します。 まず,視覚的・言語的モダリティにおけるLVLMの合理化・分離評価を可能にする。 第二に、人間のアノテーションをガイドするために明確に定義された難易度基準を取り入れ、挑戦的なサブセットであるVisualSimpleQA-hardの抽出を容易にする。 15のLVLMの実験では、GPT-4oのような最先端モデルでさえ、VisualSimpleQA上でのマルチモーダルな事実検索QAにおいて、60%以上の正確性を実現し、VisualSimpleQA-hardでは30%以上の精度を実現している。 さらに、これらのモデル間での疎結合評価は、視覚的および言語的両方のモジュールを改善するためのかなりの機会を浮き彫りにしている。 データセットはhttps://huggingface.co/datasets/WYLing/VisualSimpleQAで公開されている。

関連論文リスト

• Trust but Verify: Programmatic VLM Evaluation in the Wild [62.14071929143684]
  プログラム型VLM評価(Programmatic VLM Evaluation、PROVE)は、オープンなクエリに対するVLM応答を評価するための新しいベンチマークパラダイムである。 我々は,PROVE上でのVLMの有効性-実効性トレードオフをベンチマークした結果,両者のバランスが良好であることは極めて少ないことがわかった。
  論文  参考訳（メタデータ） (2024-10-17T01:19:18Z)
• FineCops-Ref: A new Dataset and Task for Fine-Grained Compositional Referring Expression Comprehension [10.482908189805872]
  Referring Expression (REC) は言語理解能力、画像理解能力、言語と画像の接地能力を客観的に評価する重要なクロスモーダルタスクである。 我々は2つの重要な特徴を特徴とする新しいRECデータセットを構築した。 これには、既存のデータに基づいて微細な編集と生成によって作成された否定的なテキストと画像が含まれる。
  論文  参考訳（メタデータ） (2024-09-23T06:56:51Z)
• VisEval: A Benchmark for Data Visualization in the Era of Large Language Models [12.077276008688065]
  事前訓練された大規模言語モデル(LLM)の最近の進歩は、自然言語から可視化を生成するための新たな道を開いた。 本稿では,新しいNL2VISベンチマークであるVisEvalを提案する。 このデータセットには、146のデータベースをカバーする2,524の代表的なクエリが含まれており、正確にラベル付けされた基底真理とペアリングされている。
  論文  参考訳（メタデータ） (2024-07-01T05:35:30Z)
• Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
  本稿では,新しい評価手法SQC-Scoreを提案する。 主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。 3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
  論文  参考訳（メタデータ） (2024-04-04T15:36:53Z)
• Visual CoT: Advancing Multi-Modal Language Models with a Comprehensive Dataset and Benchmark for Chain-of-Thought Reasoning [40.972648044298374]
  MLLM(Multi-Modal Large Language Models)は様々なVQAタスクにおいて顕著な性能を示す。 解釈可能性に欠け、複雑な視覚的な入力に苦しむことが多い。 438k問合せ対からなる大規模Visual CoTデータセットを提案する。 視覚的な入力を動的に重視し,解釈可能な思考を提供するマルチターン処理パイプラインを提案する。
  論文  参考訳（メタデータ） (2024-03-25T17:59:23Z)
• CODIS: Benchmarking Context-Dependent Visual Comprehension for Multimodal Large Language Models [58.95889895912716]
  我々は、自由形式のテキストで提供されるコンテキストを用いて視覚的理解を高めるモデルの有効性を評価するために、CODISと名付けられた新しいベンチマークを導入する。 以上の結果から,MLLMは必ずしも人体性能に劣っていることが示唆された。 このことは、MLLMが視覚を文脈依存的に理解する能力を高めることの必要性を浮き彫りにする。
  論文  参考訳（メタデータ） (2024-02-21T08:21:12Z)
• Q-Bench+: A Benchmark for Multi-modal Foundation Models on Low-level Vision from Single Images to Pairs [71.07108539262721]
  低レベルの視覚に関連する人間の言語応答をエミュレートするためのベンチマーク設定を設計する。 我々は,MLLMの低レベルの認識関連質問応答と記述評価を,単一画像から画像ペアへ拡張する。 複数のMLLMが単一の画像に対して十分な低レベルの視覚能力を持つことを示したが、GPT-4Vのみが人間よりも高い精度で比較できる。
  論文  参考訳（メタデータ） (2024-02-11T06:44:11Z)
• SEED-Bench-2: Benchmarking Multimodal Large Language Models [67.28089415198338]
  MLLM(Multimodal large language model)は、最近、テキストだけでなく、インターリーブされたマルチモーダル入力の画像を生成できることを実証した。 SEED-Bench-2は、正確な人間のアノテーションを持つ24Kの多重選択質問で構成されており、27次元にまたがっている。 我々は,23個の著名なオープンソースMLLMの性能を評価し,貴重な観察結果を要約した。
  論文  参考訳（メタデータ） (2023-11-28T05:53:55Z)
• Rephrase, Augment, Reason: Visual Grounding of Questions for Vision-Language Models [59.05769810380928]
  Rephrase, Augment and Reason (RepARe) は勾配のないフレームワークで、基礎となる視覚言語モデルを用いて画像に関する詳細な情報を抽出する。 その結果、VQAv2では3.85%(絶対)、A-OKVQAでは6.41%、VizWizでは7.94%の増加が見られた。
  論文  参考訳（メタデータ） (2023-10-09T16:57:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。