論文の概要: VisOnlyQA: Large Vision Language Models Still Struggle with Visual Perception of Geometric Information

• arxiv url: http://arxiv.org/abs/2412.00947v1
• Date: Sun, 01 Dec 2024 19:46:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:50:27.354940
• Title: VisOnlyQA: Large Vision Language Models Still Struggle with Visual Perception of Geometric Information
• Title（参考訳）: VisOnlyQA: 大規模視覚言語モデルは、幾何学的情報の視覚的知覚と相容れない
• Authors: Ryo Kamoi, Yusen Zhang, Sarkar Snigdha Sarathi Das, Ranran Haoran Zhang, Rui Zhang,
• Abstract要約: 我々は、LVLM(Large Vision Language Models)の視覚知覚能力を評価する新しいデータセットVisOnlyQAを紹介する。 我々のデータセットは、推論などの他の機能に依存しない、きめ細かい視覚情報のために、LVLMの視覚的知覚を解析することを可能にする。
• 参考スコア（独自算出の注目度）: 9.420776624656144
• License:
• Abstract: Errors in understanding visual information in images (i.e., visual perception errors) remain a major source of mistakes in Large Vision Language Models (LVLMs). While further analysis is essential, there is a deficiency in datasets for evaluating the visual perception of LVLMs. In this work, we introduce VisOnlyQA, a new dataset designed to directly evaluate the visual perception capabilities of LVLMs on questions about geometric and numerical information in scientific figures. Our dataset enables us to analyze the visual perception of LVLMs for fine-grained visual information, independent of other capabilities such as reasoning. The evaluation set of VisOnlyQA includes 1,200 multiple-choice questions in 12 tasks on four categories of figures. We also provide synthetic training data consisting of 70k instances. Our experiments on VisOnlyQA highlight the following findings: (i) 20 LVLMs we evaluate, including GPT-4o and Gemini 1.5 Pro, work poorly on the visual perception tasks in VisOnlyQA, while human performance is nearly perfect. (ii) Fine-tuning on synthetic training data demonstrates the potential for enhancing the visual perception of LVLMs, but observed improvements are limited to certain tasks and specific models. (iii) Stronger language models improve the visual perception of LVLMs. In summary, our experiments suggest that both training data and model architectures should be improved to enhance the visual perception capabilities of LVLMs. The datasets, code, and model responses are provided at https://github.com/psunlpgroup/VisOnlyQA.
• Abstract（参考訳）: 画像中の視覚情報(すなわち視覚的知覚誤差)の理解の誤りは、LVLM(Large Vision Language Models)における誤りの主な原因である。 さらなる分析は不可欠であるが、LVLMの視覚的知覚を評価するデータセットには不足がある。 本研究では,LVLMの視覚知覚能力を,幾何学的および数値的情報に関する質問に対して直接評価するための新しいデータセットであるVisOnlyQAを紹介する。 我々のデータセットは、推論などの他の機能に依存しない、きめ細かい視覚情報のために、LVLMの視覚的知覚を解析することを可能にする。 VisOnlyQAの評価セットには、4つのカテゴリーの12のタスクに1200の多重選択質問が含まれている。 また、70kインスタンスからなる合成トレーニングデータも提供します。 VisOnlyQAの実験では、以下の結果が示されている。 (i) GPT-4o や Gemini 1.5 Pro を含む20個のLVLMは、VisOnlyQA の視覚知覚タスクでは不十分であり、人間のパフォーマンスはほぼ完璧である。 合成トレーニングデータの微調整は,LVLMの視覚的知覚を高める可能性を実証するが,観察された改善は特定のタスクや特定のモデルに限られる。 (3)LVLMの視覚的知覚を改善する言語モデル。 要約して,本実験は,LVLMの視覚知覚能力を高めるために,トレーニングデータとモデルアーキテクチャの両方を改善するべきであることを示唆している。 データセット、コード、モデル応答はhttps://github.com/psunlpgroup/VisOnlyQA.comで提供されている。

関連論文リスト

• VHELM: A Holistic Evaluation of Vision Language Models [75.88987277686914]
  視覚言語モデル(VHELM)の全体的評価について述べる。 VHELMは、視覚的知覚、知識、推論、バイアス、公平性、多言語性、堅牢性、毒性、安全性の9つの側面の1つ以上をカバーするために、さまざまなデータセットを集約する。 私たちのフレームワークは軽量で自動で、評価の実行が安価で高速に行えるように設計されています。
  論文  参考訳（メタデータ） (2024-10-09T17:46:34Z)
• Targeted Visual Prompting for Medical Visual Question Answering [3.600327818936722]
  マルチモーダル・大規模言語モデル(MLLM)は、古典的なモデルアーキテクチャの代替として登場した。 単純な視覚的誤りは、これらのモデルの実際の視覚的理解能力に疑問を投げかけた。 本稿では,MLLMに領域ベースの質問機能を持たせるための視覚的プロンプトを提案する。
  論文  参考訳（メタデータ） (2024-08-06T08:58:20Z)
• BEAF: Observing BEfore-AFter Changes to Evaluate Hallucination in Vision-language Models [20.697019266074747]
  視覚言語モデル(VLM)は、視覚エンコーダと大型言語モデル(LLM)を組み合わせて世界を認識する。 近年の研究では、VLMは幻覚に弱いことが示されている。 我々は、True Understanding (TU)、IGnorance (IG)、StuBbornness (SB)、InDecision (ID)といった新しいメトリクスを紹介します。
  論文  参考訳（メタデータ） (2024-07-18T12:11:12Z)
• Cambrian-1: A Fully Open, Vision-Centric Exploration of Multimodal LLMs [56.391404083287235]
  視覚中心のアプローチで設計したマルチモーダルLLM(MLLM)のファミリーであるCambrian-1を紹介する。 本研究は,様々な視覚表現を評価するためのインタフェースとして,LLMとビジュアルインストラクションチューニングを用いた。 モデルウェイト、コード、サポートツール、データセット、詳細なインストラクションチューニングと評価のレシピを提供しています。
  論文  参考訳（メタデータ） (2024-06-24T17:59:42Z)
• Prismatic VLMs: Investigating the Design Space of Visually-Conditioned Language Models [73.40350756742231]
  視覚条件付き言語モデル(VLM)は、視覚対話、シーン理解、ロボットタスク計画などのアプリケーションに採用されている。 新しいリリースの量は多いが、イメージ前処理、アーキテクチャ、最適化に関する重要な設計決定は未調査である。
  論文  参考訳（メタデータ） (2024-02-12T18:21:14Z)
• Good Questions Help Zero-Shot Image Reasoning [110.1671684828904]
  質問駆動型視覚探索(QVix)は、大規模視覚言語モデル(LVLM)の探索能力を高める新しい促進戦略である。 QVixは、視覚的なシーンのより広い探索を可能にし、視覚的な質問応答や視覚的エンターテイメントといったタスクにおけるLVLMの推論精度と深さを改善している。 我々は,ScienceQAやきめ細かな視覚分類など,難易度の高いゼロショット視覚言語ベンチマークの評価を行い,QVixが既存の手法よりも優れていることを示した。
  論文  参考訳（メタデータ） (2023-12-04T03:18:51Z)
• Q-Instruct: Improving Low-level Visual Abilities for Multi-modality Foundation Models [81.20804369985376]
  我々は,低レベルの視覚に対する多数の人間のフィードバックを収集する大規模主観的実験を行う。 構築された**Q-Pathway**データセットには、18,973イメージに関する58万の詳細な人間のフィードバックが含まれている。 我々は、GPT参加型変換を設計し、これらのフィードバックを多種多様な200K命令応答対に処理する。
  論文  参考訳（メタデータ） (2023-11-12T09:10:51Z)
• Visual Data-Type Understanding does not emerge from Scaling Vision-Language Models [31.69213233651326]
  視覚データ型識別の新しい課題について紹介する。 39の視覚言語モデル(VLM)の広範囲なゼロショット評価は、微妙なパフォーマンスランドスケープを示している。
  論文  参考訳（メタデータ） (2023-10-12T17:59:30Z)
• Vision-Language Models for Vision Tasks: A Survey [62.543250338410836]
  視覚言語モデル(VLM)は、Webスケールの画像テキストペアからリッチな視覚言語相関を学習する。 本稿では,視覚認知タスクにおける視覚言語モデルの体系的レビューを行う。
  論文  参考訳（メタデータ） (2023-04-03T02:17:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。