論文の概要: CIVET: Systematic Evaluation of Understanding in VLMs

• arxiv url: http://arxiv.org/abs/2506.05146v1
• Date: Thu, 05 Jun 2025 15:27:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-06 21:53:49.786161
• Title: CIVET: Systematic Evaluation of Understanding in VLMs
• Title（参考訳）: CIVET:VLMにおける理解の体系的評価
• Authors: Massimo Rizzoli, Simone Alghisi, Olha Khomyn, Gabriel Roccabruna, Seyed Mahed Mousavi, Giuseppe Riccardi,
• Abstract要約: VLM(Vision-Language Models)は、様々なタスクにおいて競争力を発揮する。 対象物の性質と関係を制御・解釈可能な方法で研究する。 我々は,システマティC評価のための新しいフレームワークであるCIVETを紹介した。
• 参考スコア（独自算出の注目度）: 1.760351767085873
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: While Vision-Language Models (VLMs) have achieved competitive performance in various tasks, their comprehension of the underlying structure and semantics of a scene remains understudied. To investigate the understanding of VLMs, we study their capability regarding object properties and relations in a controlled and interpretable manner. To this scope, we introduce CIVET, a novel and extensible framework for systematiC evaluatIon Via controllEd sTimuli. CIVET addresses the lack of standardized systematic evaluation for assessing VLMs' understanding, enabling researchers to test hypotheses with statistical rigor. With CIVET, we evaluate five state-of-the-art VLMs on exhaustive sets of stimuli, free from annotation noise, dataset-specific biases, and uncontrolled scene complexity. Our findings reveal that 1) current VLMs can accurately recognize only a limited set of basic object properties; 2) their performance heavily depends on the position of the object in the scene; 3) they struggle to understand basic relations among objects. Furthermore, a comparative evaluation with human annotators reveals that VLMs still fall short of achieving human-level accuracy.
• Abstract（参考訳）: Vision-Language Models (VLM) は様々なタスクにおいて競争性能を達成したが、その基盤となる構造やシーンの意味に関する理解はいまだ検討されていない。 VLMの理解を深めるために, 対象特性と関係性に関する能力について, 制御・解釈可能な方法で検討する。 そこで本研究では,システム評価のための新しい拡張可能なフレームワークであるCIVETについて紹介する。 CIVETは、VLMの理解を評価するための標準化された体系的評価の欠如に対処し、研究者は統計的厳密さで仮説をテストすることができる。 CIVETでは、アノテーションノイズ、データセット固有のバイアス、制御されていないシーンの複雑さのない、徹底的な刺激のセットに基づいて、最先端の5つのVLMを評価する。 私たちの発見は 1) 現在のVLMは、限られた基本オブジェクト特性のみを正確に認識することができる。 2 演出は、現場における物の位置に大きく依存する。 3)対象物間の基本的な関係を理解するのに苦労する。 さらに、人間のアノテータとの比較評価により、VLMは人間のレベルの精度を達成できないことが判明した。

関連論文リスト

• Caption This, Reason That: VLMs Caught in the Middle [3.4820139118440676]
  VLM(Vision-Language Models)は近年,視覚的理解の進歩を目覚ましいものにしている。 カウントやリレーショナル推論といった視覚的なタスクでは、人間の能力が遅れている。 認識,注意,記憶など,コア認知軸に沿ったVLMのパフォーマンスを解析する。
  論文  参考訳（メタデータ） (2025-05-24T14:25:48Z)
• Video SimpleQA: Towards Factuality Evaluation in Large Video Language Models [69.68265487134686]
  Video SimpleQAは、LVLMの事実性評価に適した最初の総合的なベンチマークである。 私たちの研究は、以下の重要な機能を通じて、既存のビデオベンチマークと区別します。 答えは、簡潔なフォーマットで曖昧で決定的に正しいものとして作成されます。
  論文  参考訳（メタデータ） (2025-03-24T17:46:09Z)
• Beyond Semantics: Rediscovering Spatial Awareness in Vision-Language Models [10.792834356227118]
  VLM(Vision-Language Models)は、オブジェクトの識別と記述が優れているが、空間的推論に苦慮している。 人間の視覚のデュアルパスウェイモデルに触発されて,強い物体認識能力にもかかわらず,VLMが空間的タスクに失敗する理由を考察した。
  論文  参考訳（メタデータ） (2025-03-21T17:51:14Z)
• Benchmarking Vision Language Model Unlearning via Fictitious Facial Identity Dataset [92.99416966226724]
  我々は、未学習アルゴリズムの有効性を頑健に評価するために設計された新しいVLMアンラーニングベンチマークであるFacial Identity Unlearning Benchmark (FIUBench)を紹介する。 情報ソースとその露出レベルを正確に制御する2段階評価パイプラインを適用した。 FIUBench 内の 4 つのベースライン VLM アンラーニングアルゴリズムの評価により,すべての手法がアンラーニング性能に制限されていることが明らかとなった。
  論文  参考訳（メタデータ） (2024-11-05T23:26:10Z)
• AutoBench-V: Can Large Vision-Language Models Benchmark Themselves? [65.92331309449015]
  本稿では,モデル能力の特定の側面に基づいてLVLMをベンチマークする,オンデマンドで評価を行う自動フレームワークであるAutoBench-Vを紹介する。 5つの要求されたユーザ入力に対して9つの人気のあるLVLMを広範囲に評価することにより、このフレームワークの有効性と信頼性を示す。
  論文  参考訳（メタデータ） (2024-10-28T17:55:08Z)
• Can Large Language Models Understand Context? [17.196362853457412]
  本稿では,生成モデルの評価に適合する既存のデータセットを適応させることにより,文脈理解ベンチマークを提案する。 実験結果から, 事前学習された高密度モデルでは, 最先端の微調整モデルと比較して, よりニュアンスな文脈特徴の理解に苦慮していることが明らかとなった。 LLM圧縮は研究と実世界のアプリケーションの両方において重要度が高くなっているため、文脈学習環境下での量子化モデルの文脈理解を評価する。
  論文  参考訳（メタデータ） (2024-02-01T18:55:29Z)
• Measuring and Improving Chain-of-Thought Reasoning in Vision-Language Models [61.28463542324576]
  視覚言語モデル(VLM)は近年,人間のような出力を生成できる視覚アシスタントとして,強力な有効性を示している。 我々は、既存の最先端のVLMを評価し、最高の性能モデルでさえ、強力な視覚的推論能力と一貫性を示すことができないことを発見した。 本稿では,VLMの推論性能と一貫性の向上を目的とした2段階トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-08T17:49:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。