論文の概要: VisOnlyQA: Large Vision Language Models Still Struggle with Visual Perception of Geometric Information

• arxiv url: http://arxiv.org/abs/2412.00947v2
• Date: Sat, 29 Mar 2025 15:30:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-01 14:31:24.584564
• Title: VisOnlyQA: Large Vision Language Models Still Struggle with Visual Perception of Geometric Information
• Title（参考訳）: VisOnlyQA: 大規模視覚言語モデルは、幾何学的情報の視覚的知覚と相容れない
• Authors: Ryo Kamoi, Yusen Zhang, Sarkar Snigdha Sarathi Das, Ranran Haoran Zhang, Rui Zhang,
• Abstract要約: 大規模視覚言語モデル (LVLM) は様々な視覚言語タスクにおいて顕著な性能を発揮している。 本稿では,LVLMの幾何学的知覚を評価するデータセットVisOnlyQAを紹介する。 LVLMは画像の基本的な幾何学的情報を正確に知覚できないことが多いが、人間のパフォーマンスはほぼ完璧である。
• 参考スコア（独自算出の注目度）: 9.420776624656144
• License:
• Abstract: Large Vision Language Models (LVLMs) have achieved remarkable performance in various vision-language tasks. However, it is still unclear how accurately LVLMs can perceive visual information in images. In particular, the capability of LVLMs to perceive geometric information, such as shape, angle, and size, remains insufficiently analyzed, although the perception of these properties is crucial for tasks that require a detailed visual understanding. In this work, we introduce VisOnlyQA, a dataset for evaluating the geometric perception of LVLMs, and reveal that LVLMs often cannot accurately perceive basic geometric information in images, while human performance is nearly perfect. VisOnlyQA consists of 12 tasks that directly ask about geometric information in geometric shapes, charts, chemical structures, and 3D shapes. Our experiments highlight the following findings: (i) State-of-the-art LVLMs struggle with basic geometric perception -- 20 LVLMs we evaluate, including GPT-4o and Gemini 1.5 Pro, work poorly on VisOnlyQA. (ii) Additional training data does not resolve this issue -- fine-tuning on the training set of VisOnlyQA is not always effective, even for in-distribution tasks. (iii) Bottleneck in the architecture -- LVLMs using stronger LLMs exhibit better geometric perception on VisOnlyQA, while it does not require complex reasoning, suggesting that the way LVLMs process information from visual encoders is a bottleneck. The datasets, code, and model responses are provided at https://github.com/psunlpgroup/VisOnlyQA.
• Abstract（参考訳）: 大規模視覚言語モデル (LVLM) は様々な視覚言語タスクにおいて顕著な性能を発揮している。 しかし、LVLMが画像内の視覚情報をどの程度正確に知覚できるかは、いまだに不明である。 特に、形状、角度、大きさなどの幾何学的情報を知覚するLVLMの能力は、詳細な視覚的理解を必要とするタスクに対しては、これらの特性の認識が不可欠であるにもかかわらず、十分に分析されていない。 本稿では,LVLMの幾何学的知覚を評価するデータセットであるVisOnlyQAを紹介し,人間のパフォーマンスがほぼ完璧であるのに対して,LVLMは画像の基本的な幾何学的情報を正確に知覚できないことが多いことを示す。 VisOnlyQAは、幾何学的形状、チャート、化学構造、三次元形状の幾何学的情報を直接問う12のタスクからなる。 実験では,以下の結果が浮き彫りにされた。 (i)現在最先端のLVLMは、基本的な幾何学的知覚に苦しむ -- GPT-4oやGemini 1.5 Proを含む20のLVLMは、VisOnlyQAではうまく機能しない。 (ii) 追加のトレーニングデータはこの問題を解決しない -- VisOnlyQAのトレーニングセットの微調整は、分散タスクであっても、常に効果的であるとは限らない。 3) アーキテクチャにおけるボトルネック -- より強力なLLMを用いたLVLMは、VisOnlyQAに対してより優れた幾何学的認識を示すが、複雑な推論は必要とせず、LVLMがビジュアルエンコーダから情報を処理する方法がボトルネックであることを示唆している。 データセット、コード、モデル応答はhttps://github.com/psunlpgroup/VisOnlyQA.comで提供されている。

関連論文リスト

• Do we Really Need Visual Instructions? Towards Visual Instruction-Free Fine-tuning for Large Vision-Language Models [127.38740043393527]
  LVLMのための視覚的命令なし微調整フレームワークであるViFTを提案する。 我々は、タスク解決能力と視覚知覚能力を個別に学習するために、トレーニング中にテキストのみの指示と画像キャプションデータのみを必要とする。 実験結果から,VFTはいくつかの視覚的推論と,それに続く視覚的指示に対して,最先端の性能を達成できることが示された。
  論文  参考訳（メタデータ） (2025-02-17T04:38:12Z)
• Open Eyes, Then Reason: Fine-grained Visual Mathematical Understanding in MLLMs [62.875934732547435]
  現在の大言語モデル(MLLM)は、細かな視覚的理解を必要とする数学的問題解決のタスクでは性能が劣ることが多い。 本稿では,最先端MLLMの視覚的接地能力を評価し,視覚的接地精度と問題解決性能との間に有意な負の相関関係を示す。 本稿では,幾何学的地上視覚エンコーダと,階層型視覚特徴マップの寄与度を動的に調整する機能ルータを備えた新しいアプローチであるSVE-Mathを提案する。
  論文  参考訳（メタデータ） (2025-01-11T04:08:44Z)
• FiVL: A Framework for Improved Vision-Language Alignment [10.184567639685321]
  本稿では,LVLMを学習するための新しいデータセット構築手法であるFiVLを紹介する。 これらのデータセットは、LVLMのイメージコンテンツを実体的証拠として使用する能力のトレーニングと評価の両方に使用することができる。 提案するデータセットの有用性を実証するために,検証手法と説明可能性の応用とともに,ベースラインを向上する革新的なトレーニングタスクを導入する。
  論文  参考訳（メタデータ） (2024-12-19T09:24:10Z)
• Targeted Visual Prompting for Medical Visual Question Answering [3.600327818936722]
  マルチモーダル・大規模言語モデル(MLLM)は、古典的なモデルアーキテクチャの代替として登場した。 単純な視覚的誤りは、これらのモデルの実際の視覚的理解能力に疑問を投げかけた。 本稿では,MLLMに領域ベースの質問機能を持たせるための視覚的プロンプトを提案する。
  論文  参考訳（メタデータ） (2024-08-06T08:58:20Z)
• BEAF: Observing BEfore-AFter Changes to Evaluate Hallucination in Vision-language Models [20.697019266074747]
  視覚言語モデル(VLM)は、視覚エンコーダと大型言語モデル(LLM)を組み合わせて世界を認識する。 近年の研究では、VLMは幻覚に弱いことが示されている。 我々は、True Understanding (TU)、IGnorance (IG)、StuBbornness (SB)、InDecision (ID)といった新しいメトリクスを紹介します。
  論文  参考訳（メタデータ） (2024-07-18T12:11:12Z)
• Cambrian-1: A Fully Open, Vision-Centric Exploration of Multimodal LLMs [61.143381152739046]
  視覚中心のアプローチで設計したマルチモーダルLLM(MLLM)のファミリーであるCambrian-1を紹介する。 本研究は,様々な視覚表現を評価するためのインタフェースとして,LLMとビジュアルインストラクションチューニングを用いた。 モデルウェイト、コード、サポートツール、データセット、詳細なインストラクションチューニングと評価のレシピを提供しています。
  論文  参考訳（メタデータ） (2024-06-24T17:59:42Z)
• Prismatic VLMs: Investigating the Design Space of Visually-Conditioned Language Models [73.40350756742231]
  視覚条件付き言語モデル(VLM)は、視覚対話、シーン理解、ロボットタスク計画などのアプリケーションに採用されている。 新しいリリースの量は多いが、イメージ前処理、アーキテクチャ、最適化に関する重要な設計決定は未調査である。
  論文  参考訳（メタデータ） (2024-02-12T18:21:14Z)
• Good Questions Help Zero-Shot Image Reasoning [110.1671684828904]
  質問駆動型視覚探索(QVix)は、大規模視覚言語モデル(LVLM)の探索能力を高める新しい促進戦略である。 QVixは、視覚的なシーンのより広い探索を可能にし、視覚的な質問応答や視覚的エンターテイメントといったタスクにおけるLVLMの推論精度と深さを改善している。 我々は,ScienceQAやきめ細かな視覚分類など,難易度の高いゼロショット視覚言語ベンチマークの評価を行い,QVixが既存の手法よりも優れていることを示した。
  論文  参考訳（メタデータ） (2023-12-04T03:18:51Z)
• Vision-Language Models for Vision Tasks: A Survey [62.543250338410836]
  視覚言語モデル(VLM)は、Webスケールの画像テキストペアからリッチな視覚言語相関を学習する。 本稿では,視覚認知タスクにおける視覚言語モデルの体系的レビューを行う。
  論文  参考訳（メタデータ） (2023-04-03T02:17:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。