Fugu-MT 論文翻訳(概要): Point-It-Out: Benchmarking Embodied Reasoning for Vision Language Models in Multi-Stage Visual Grounding

論文の概要: Point-It-Out: Benchmarking Embodied Reasoning for Vision Language Models in Multi-Stage Visual Grounding

arxiv url: http://arxiv.org/abs/2509.25794v1
Date: Tue, 30 Sep 2025 05:05:54 GMT
ステータス: 翻訳完了
システム内更新日: 2025-10-01 17:09:04.436923
Title: Point-It-Out: Benchmarking Embodied Reasoning for Vision Language Models in Multi-Stage Visual Grounding
Title（参考訳）: ポイントイットアウト:マルチステージビジュアルグラウンドにおける視覚言語モデルのベンチマークエンボディード推論
Authors: Haotian Xue, Yunhao Ge, Yu Zeng, Zhaoshuo Li, Ming-Yu Liu, Yongxin Chen, Jiaojiao Fan,
Abstract要約: VLM(Vision-Language Models)は、様々なタスクにまたがる優れた世界的知識を実証した。既存のベンチマークでは、画像アノテーションに基づいた複数選択質問を通じて、VLMの具体的推論能力を評価している。我々は,VLMの具体的推論能力を正確な視覚的接地により体系的に評価する新しいベンチマークであるPoint-It-Outベンチマークを紹介する。
参考スコア（独自算出の注目度）: 39.64540328712615
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: Vision-Language Models (VLMs) have demonstrated impressive world knowledge across a wide range of tasks, making them promising candidates for embodied reasoning applications. However, existing benchmarks primarily evaluate the embodied reasoning ability of VLMs through multiple-choice questions based on image annotations -- for example, selecting which trajectory better describes an event in the image. In this work, we introduce the Point-It-Out (PIO) benchmark, a novel benchmark designed to systematically assess the embodied reasoning abilities of VLMs through precise visual grounding. We propose a hierarchical evaluation protocol spanning three stages (S1: referred-object localization, S2: task-driven pointing, and S3: visual trace prediction), with data collected from critical domains for embodied intelligence, including indoor, kitchen, driving, and robotic manipulation scenarios. Extensive experiments with over ten state-of-the-art VLMs reveal several interesting findings. For example, strong general-purpose models such as GPT-4o, while excelling on many benchmarks (e.g., language, perception, and reasoning), underperform compared to some open-source models in precise visual grounding; models such as MoLMO perform well in S1 and S2 but struggle in S3, where requires grounding combined with visual trace planning.
Abstract（参考訳）: VLM(Vision-Language Models)は、様々なタスクにまたがる優れた世界的知識を実証し、それらを具現化した推論アプリケーション候補として期待できる。しかしながら、既存のベンチマークでは、画像アノテーションに基づいた複数選択の質問を通じて、VLMの具体的推論能力を主に評価している。本稿では,VLMの具体的推論能力を正確に視覚的に評価する新しいベンチマークであるPoint-It-Out(PIO)ベンチマークを紹介する。本稿では,3段階にわたる階層的評価プロトコルを提案する(S1:参照オブジェクトのローカライゼーション,S2:タスク駆動ポインティング,S3:視覚的トレース予測)。 10以上の最先端のVLMを用いた大規模な実験では、いくつかの興味深い発見が示されている。例えば、GPT-4oのような強力な汎用モデルは、多くのベンチマーク(例えば、言語、知覚、推論)で優れているが、正確なビジュアルグラウンドではいくつかのオープンソースモデルに比べて性能が劣る。

論文の概要: Point-It-Out: Benchmarking Embodied Reasoning for Vision Language Models in Multi-Stage Visual Grounding

関連論文リスト