論文の概要: MMPerspective: Do MLLMs Understand Perspective? A Comprehensive Benchmark for Perspective Perception, Reasoning, and Robustness

• arxiv url: http://arxiv.org/abs/2505.20426v1
• Date: Mon, 26 May 2025 18:20:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-28 17:05:58.239717
• Title: MMPerspective: Do MLLMs Understand Perspective? A Comprehensive Benchmark for Perspective Perception, Reasoning, and Robustness
• Title（参考訳）: MMPerspective:MLLMはパースペクティブを理解するか? : パースペクティブ知覚、推論、ロバストネスのための総合的なベンチマーク
• Authors: Yunlong Tang, Pinxin Liu, Mingqian Feng, Zhangyun Tan, Rui Mao, Chao Huang, Jing Bi, Yunzhong Xiao, Susan Liang, Hang Hua, Ali Vosoughi, Luchuan Song, Zeliang Zhang, Chenliang Xu,
• Abstract要約: MMPerspectiveはマルチモーダルな大言語モデルの視点理解を評価するために設計された最初のベンチマークである。 このベンチマークでは,実世界の2,711の合成画像と5,083の問合せ対でキー機能を調べている。 43の最先端MLLMの総合評価により,重要な限界が明らかになった。
• 参考スコア（独自算出の注目度）: 34.49001130529016
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Understanding perspective is fundamental to human visual perception, yet the extent to which multimodal large language models (MLLMs) internalize perspective geometry remains unclear. We introduce MMPerspective, the first benchmark specifically designed to systematically evaluate MLLMs' understanding of perspective through 10 carefully crafted tasks across three complementary dimensions: Perspective Perception, Reasoning, and Robustness. Our benchmark comprises 2,711 real-world and synthetic image instances with 5,083 question-answer pairs that probe key capabilities, such as vanishing point perception and counting, perspective type reasoning, line relationship understanding in 3D space, invariance to perspective-preserving transformations, etc. Through a comprehensive evaluation of 43 state-of-the-art MLLMs, we uncover significant limitations: while models demonstrate competence on surface-level perceptual tasks, they struggle with compositional reasoning and maintaining spatial consistency under perturbations. Our analysis further reveals intriguing patterns between model architecture, scale, and perspective capabilities, highlighting both robustness bottlenecks and the benefits of chain-of-thought prompting. MMPerspective establishes a valuable testbed for diagnosing and advancing spatial understanding in vision-language systems. Resources available at: https://yunlong10.github.io/MMPerspective/
• Abstract（参考訳）: パースペクティブを理解することは人間の視覚知覚の基本であるが、マルチモーダル大言語モデル(MLLM)がパースペクティブ幾何学を内包する範囲はいまだ不明である。 MMPerspectiveは、MLLMの視点理解を3つの相補的な次元(パーセプション、推論、ロバストネス)にわたる10のタスクを通して体系的に評価するように設計された最初のベンチマークである。 本ベンチマークでは,2,711個の実世界および合成画像インスタンスと5,083個の問合せ対を持ち,点知覚と計数,視点型推論,3次元空間における線関係の理解,視点保存変換への不変性などのキー機能を探索する。 43の最先端MLLMの包括的評価により, モデルが表面レベルの知覚的タスクに能力を示す一方で, 構成的推論に苦慮し, 摂動下での空間的整合性の維持に苦慮することが明らかとなった。 我々の分析は、モデルアーキテクチャ、スケール、パースペクティブ能力の間の興味深いパターンをさらに明らかにし、堅牢性ボトルネックとチェーン・オブ・プルーピングのメリットの両方を強調します。 MMPerspectiveは視覚言語システムにおける空間的理解の診断・進展に有用なテストベッドを確立する。 https://yunlong10.github.io/MMPerspective/

関連論文リスト

• ViewSpatial-Bench: Evaluating Multi-perspective Spatial Localization in Vision-Language Models [47.237216851265316]
  視覚言語モデル (VLM) は視覚的内容の理解と推論において顕著な能力を示した。 現在のVLMは、主に自我中心の空間的推論(カメラの観点から)に優れるが、同中心の視点に一般化することができない。 マルチ視点空間位置認識評価に特化して設計された,初の総合的なベンチマークであるViewSpatial-Benchを紹介する。
  論文  参考訳（メタデータ） (2025-05-27T17:59:26Z)
• Can MLLMs Guide Me Home? A Benchmark Study on Fine-Grained Visual Reasoning from Transit Maps [56.76175383189738]
  MLLMの詳細な視覚的理解と空間的推論能力を評価するためのベンチマークであるReasonMapを紹介する。 ReasonMapには、13か国30都市からの高解像度のトランジットマップが含まれており、2つの質問タイプと3つのテンプレートにまたがる1008の質問応答ペアが含まれている。 基本および推論変種を含む15種類のMLLMの包括的評価は、直感的パターンを示す。
  論文  参考訳（メタデータ） (2025-05-24T12:33:52Z)
• SpatialScore: Towards Unified Evaluation for Multimodal Spatial Understanding [64.15606979785355]
  マルチモーダル大規模言語モデル(MLLM)は,質問応答タスクにおいて顕著な成功を収めているが,空間的理解能力は乏しい。 既存のMLLMは3次元空間認識と理解能力を持っているか?
  論文  参考訳（メタデータ） (2025-05-22T17:59:03Z)
• Beyond Semantics: Rediscovering Spatial Awareness in Vision-Language Models [10.792834356227118]
  VLM(Vision-Language Models)は、オブジェクトの識別と記述が優れているが、空間的推論に苦慮している。 人間の視覚のデュアルパスウェイモデルに触発されて,強い物体認識能力にもかかわらず,VLMが空間的タスクに失敗する理由を考察した。
  論文  参考訳（メタデータ） (2025-03-21T17:51:14Z)
• DeepPerception: Advancing R1-like Cognitive Visual Perception in MLLMs for Knowledge-Intensive Visual Grounding [61.26026947423187]
  人間の専門家は、ドメイン知識を活用して知覚的特徴を洗練することによって、きめ細かい視覚的識別に長けている。 現在のMLLM(Multimodal Large Language Models)は、推論を視覚的知覚に統合するのに苦労している。 本稿では,認知的視覚能力を強化したMLLMであるDeepPerceptionを提案する。
  論文  参考訳（メタデータ） (2025-03-17T04:06:34Z)
• VisFactor: Benchmarking Fundamental Visual Cognition in Multimodal Large Language Models [62.667142971664575]
  因子関連認知テスト(FRCT)から得られた新しいベンチマークであるVisFactorを紹介する。 VisFactorは視覚関連FRCTサブテストのデジタル化を行い、基本的な視覚認知タスク間でMLLMを体系的に評価する。 GPT-4o, Gemini-Pro, Qwen-VLなどの最先端MLLMの総合評価を行った。
  論文  参考訳（メタデータ） (2025-02-23T04:21:32Z)
• A Cognitive Paradigm Approach to Probe the Perception-Reasoning Interface in VLMs [3.2228025627337864]
  本稿では,視覚言語モデル(VLM)における知覚推論インタフェースを識別するための構造化評価フレームワークを提案する。 本稿では,人間の問題解決戦略を反映した3つの評価パラダイムを提案する。 このフレームワークを適用したCAは、リッチで独立に生成された記述を推論するために強力な言語モデルを活用し、新しい最先端(SOTA)パフォーマンスを実現することを実証する。
  論文  参考訳（メタデータ） (2025-01-23T12:42:42Z)
• GSR-BENCH: A Benchmark for Grounded Spatial Reasoning Evaluation via Multimodal LLMs [3.2688425993442696]
  画像中の物体間の空間的関係を理解する能力は、視覚的推論の重要な構成要素である。 我々は、以前リリースされたWhat'sUpデータセットを拡張し、空間関係理解のための新しい包括的評価を提案する。
  論文  参考訳（メタデータ） (2024-06-19T06:15:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。