論文の概要: Hidden in plain sight: VLMs overlook their visual representations

• arxiv url: http://arxiv.org/abs/2506.08008v1
• Date: Mon, 09 Jun 2025 17:59:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 16:33:11.114496
• Title: Hidden in plain sight: VLMs overlook their visual representations
• Title（参考訳）: 平らな風景に隠れたVLMは視覚的表現を見渡す
• Authors: Stephanie Fu, Tyler Bonnen, Devin Guillory, Trevor Darrell,
• Abstract要約: 視覚言語モデル(VLM)と視覚エンコーダを比較し、これらのモダリティをまたいで統合する能力を理解する。 VLMは視覚エンコーダよりも著しく性能が悪く、近距離性能に低下することがわかった。
• 参考スコア（独自算出の注目度）: 48.83628674170634
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Language provides a natural interface to specify and evaluate performance on visual tasks. To realize this possibility, vision language models (VLMs) must successfully integrate visual and linguistic information. Our work compares VLMs to a direct readout of their visual encoders to understand their ability to integrate across these modalities. Across a series of vision-centric benchmarks (e.g., depth estimation, correspondence), we find that VLMs perform substantially worse than their visual encoders, dropping to near-chance performance. We investigate these results through a series of analyses across the entire VLM: namely 1) the degradation of vision representations, 2) brittleness to task prompt, and 3) the language model's role in solving the task. We find that the bottleneck in performing these vision-centric tasks lies in this third category; VLMs are not effectively using visual information easily accessible throughout the entire model, and they inherit the language priors present in the LLM. Our work helps diagnose the failure modes of open-source VLMs, and presents a series of evaluations useful for future investigations into visual understanding within VLMs.
• Abstract（参考訳）: 言語は視覚的なタスクのパフォーマンスを特定し評価するための自然なインターフェースを提供する。 この可能性を実現するために、視覚言語モデル(VLM)は視覚情報と言語情報をうまく統合する必要がある。 我々の研究は、VLMを視覚エンコーダの直接読み出しと比較し、これらのモダリティをまたいで統合する能力を理解する。 一連の視覚中心のベンチマーク(例えば、深さ推定、対応)において、VLMは視覚エンコーダよりも著しく性能が悪く、近距離性能に低下することがわかった。 VLM全体にわたる一連の分析を通して,これらの結果について検討する。 1)視覚表現の劣化 2)タスクプロンプトに対する脆さ,及び 3) 課題解決における言語モデルの役割。 視覚中心のタスクを実行する際のボトルネックは、この第3のカテゴリにある。VLMは、モデル全体を通して容易にアクセス可能な視覚情報を使用しておらず、LLMに存在する言語を継承する。 我々の研究は、オープンソースのVLMの障害モードの診断に役立ち、VLM内の視覚的理解の今後の研究に役立つ一連の評価を提示する。

関連論文リスト

• Vision language models are unreliable at trivial spatial cognition [0.2902243522110345]
  視覚言語モデル(VLM)は、画像から関連する視覚空間情報を抽出するように設計されている。 そこで我々は,テーブル上に配置されたオブジェクトの3Dシーンを画像で表現したベンチマークデータセットであるTableTestを開発し,それを最先端のVLMの評価に使用した。 結果は、同等の記述を使用するプロンプトの小さなバリエーションによって、パフォーマンスが劣化する可能性があることを示している。
  論文  参考訳（メタデータ） (2025-04-22T17:38:01Z)
• Response Wide Shut: Surprising Observations in Basic Vision Language Model Capabilities [30.176918208200604]
  VLM(Vision-Language Models)は、様々な複雑なコンピュータビジョン問題に対処するための汎用ツールとして登場した。 これらのモデルは高い能力を持つが、いくつかの基本的な視覚的理解スキルが欠けていることが示されている。 本稿では,基本的な視覚課題におけるSoTA VLMの限界を理解することを目的とする。
  論文  参考訳（メタデータ） (2024-08-13T08:26:32Z)
• How Well Can Vision Language Models See Image Details? [53.036922527685064]
  視覚言語モデルはどのようにして画像の詳細を見ることができるのか」を探求するために画素値予測タスクを導入する。 我々の研究は、VLM事前学習タスクと視覚エンコーダ適応の1つとして画素値予測を組み込むことで、下流画像言語理解タスクにおけるVLM性能が著しく向上することを明らかにする。
  論文  参考訳（メタデータ） (2024-08-07T17:59:40Z)
• BEAF: Observing BEfore-AFter Changes to Evaluate Hallucination in Vision-language Models [20.697019266074747]
  視覚言語モデル(VLM)は、視覚エンコーダと大型言語モデル(LLM)を組み合わせて世界を認識する。 近年の研究では、VLMは幻覚に弱いことが示されている。 我々は、True Understanding (TU)、IGnorance (IG)、StuBbornness (SB)、InDecision (ID)といった新しいメトリクスを紹介します。
  論文  参考訳（メタデータ） (2024-07-18T12:11:12Z)
• Prismatic VLMs: Investigating the Design Space of Visually-Conditioned Language Models [73.40350756742231]
  視覚条件付き言語モデル(VLM)は、視覚対話、シーン理解、ロボットタスク計画などのアプリケーションに採用されている。 新しいリリースの量は多いが、イメージ前処理、アーキテクチャ、最適化に関する重要な設計決定は未調査である。
  論文  参考訳（メタデータ） (2024-02-12T18:21:14Z)
• Behind the Magic, MERLIM: Multi-modal Evaluation Benchmark for Large Image-Language Models [50.653838482083614]
  本稿では,IT-LVLMの基本的なコンピュータビジョンタスクにおける能力を評価するために,スケーラブルなテストベッドを提案する。 MERLIMには300K以上の画像検索ペアが含まれており、IT-LVLMにおけるクロスモーダルな"ハロシン化"イベントの検出に重点を置いている。
  論文  参考訳（メタデータ） (2023-12-03T16:39:36Z)
• ViCor: Bridging Visual Understanding and Commonsense Reasoning with Large Language Models [27.5219975853389]
  事前学習された視覚・言語モデル (VLM) と大規模言語モデル (LLM) は,様々な視覚コモンセンス推論問題に長けている。 画像内容以外の結論を推測することが目的である場合、VLMは困難に直面し、LLMは十分な視覚的証拠を与えられた場合、その答えをよく推測するために常識を使用することができる。
  論文  参考訳（メタデータ） (2023-10-09T17:10:35Z)
• Vision-Language Models for Vision Tasks: A Survey [62.543250338410836]
  視覚言語モデル(VLM)は、Webスケールの画像テキストペアからリッチな視覚言語相関を学習する。 本稿では,視覚認知タスクにおける視覚言語モデルの体系的レビューを行う。
  論文  参考訳（メタデータ） (2023-04-03T02:17:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。