論文の概要: Contextual Observer Grounding: Evaluating Situated Spatial Reasoning in Vision-Language Models

• arxiv url: http://arxiv.org/abs/2609.06880v1
• Date: Mon, 07 Sep 2026 00:00:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.331802
• Title: Contextual Observer Grounding: Evaluating Situated Spatial Reasoning in Vision-Language Models
• Title（参考訳）: コンテキストオブザーバグラウンドリング:視覚・言語モデルにおける位置空間推論の評価
• Abstract要約: 具体的タスクにおける言語命令に対する推論は、しばしば話者の位置から見た空間的関係を理解する必要がある。 近年の視覚言語モデル(VLM)は空間的推論が可能であるように見えるが、文脈的手がかりから話者の視点を推測する能力はいまだに不明である。
• 参考スコア（独自算出の注目度）: 22.823647299309712
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reasoning over language instructions in embodied tasks such as robotics often requires understanding spatial relations from a speaker's situated perspective. Humans infer such perspectives from shared environmental knowledge, activity context, and commonsense. Recent vision-language models (VLMs) appear capable of spatial reasoning, but their ability to infer a speaker's viewpoint from contextual cues and interpret situated spatial relations from that viewpoint remains unclear. We call this capability contextual observer grounding. To study this capability, we construct the Point-of-View Benchmark (POVBench), a dataset of 3D scenes and queries that disentangles Inferred, Stated, and Given forms of observer grounding in natural embodied communication. Given multi-view observations and a natural-language sentence, models must localize unseen or underspecified targets from situated spatial and contextual cues. Across state-of-the-art VLMs, localizing targets from directional language remains challenging, even when observer grounding is made explicit. We find that explicit breakdowns of observer-relative spatial reasoning improve target localization. Our project page is available at https://mimo-owl.github.io/POVBench/.
• Abstract（参考訳）: ロボット工学のような具体的タスクにおける言語命令に対する推論は、しばしば話者の位置から見た空間的関係を理解する必要がある。 人間は、共有された環境知識、活動状況、常識からそのような視点を推測する。 近年の視覚言語モデル(VLM)は空間的推論が可能であるように見えるが、文脈的手がかりから話者の視点を推測し、その視点から位置空間関係を解釈する能力は未だ不明である。 これをコンテキストオブザーバグラウンド(contextualObserver grounding)と呼ぶ。 この能力について検討するため,本研究では,自然体現通信における観察者の形態を乱した3次元シーンとクエリのデータセットであるpoint-of-View Benchmark(POVBench)を構築した。 マルチビューの観察と自然言語の文が与えられた場合、モデルは位置した空間的および文脈的な手がかりから、目に見えないまたは不特定なターゲットをローカライズする必要がある。 最先端のVLM全体では、オブザーバの接地が明示されたとしても、指向性言語からのターゲットのローカライズは難しいままである。 観測者の相対的空間的推論の明確なブレークダウンは、ターゲットの局所化を改善することが判明した。 私たちのプロジェクトページはhttps://mimo-owl.github.io/POVBench/で公開されています。

関連論文リスト

• Imaginative Perception Tokens Enhance Spatial Reasoning in Multimodal Language Models [61.89854422423702]
  視覚言語モデル(VLM)は多くのタスクで優れるが、重要な情報が直接観測できない場合、空間的推論に苦慮する。 Inaginative Perception Tokens (IPT) は、VLMが知覚する空間構成を外部化する中間的知覚表現である。 IPTの監督は、空間的推論を一貫して改善し、しばしば思考訓練のテキスト連鎖よりも優れる。
  論文  参考訳（メタデータ） (2026-06-02T17:59:17Z)
• SpatialImaginer: Towards Adaptive Visual Imagination for Spatial Reasoning [67.67774742200626]
  空間知能は、視覚的な観察から幾何学的および物理的構造を推論する能力を指すもので、大きな言語モデルにとって重要な課題である。 テキスト推論と視覚的想像力を組み合わせた統合型マルチモーダル生成フレームワークを提案する。 本フレームワークでは,高レベルなセマンティックプランニングのためのテキストチェーンと,幾何感応的な状態変換と整合性保存のための視覚的想像力を用いて,分割・対数戦略を採用している。
  論文  参考訳（メタデータ） (2026-04-19T11:21:59Z)
• Referring Expressions as a Lens into Spatial Language Grounding in Vision-Language Models [22.672848927658958]
  視覚言語モデル(VLM)による空間推論評価のためのプラットフォームとして参照表現タスクを提案する。 このプラットフォームは,1)対象検出の曖昧さ,2)より長い文構造と複数の空間関係を持つ複雑な空間表現,3)否定を伴う表現("not")について,空間的理解と接地能力のより深い分析を行う機会を提供する。 本研究は,これらの課題と行動に注目し,研究のギャップと今後の方向性について考察する。
  論文  参考訳（メタデータ） (2025-11-08T21:43:09Z)
• Spatial Reasoning in Foundation Models: Benchmarking Object-Centric Spatial Understanding [8.202861909913791]
  基礎モデルにおけるオブジェクト中心空間推論のベンチマークを示す。 グラウンディングディーノやOWLv2のような検出器は、リレーショナル推論に制限のある正確なボックスを提供する。 本研究は,地域化と真の空間理解のギャップを強調し,地域社会における空間認識基盤モデルの必要性を指摘する。
  論文  参考訳（メタデータ） (2025-09-26T06:06:19Z)
• A Neural Representation Framework with LLM-Driven Spatial Reasoning for Open-Vocabulary 3D Visual Grounding [78.99798110890157]
  Open-vocabulary 3D visual groundingは、自由形式の言語クエリに基づいてターゲットオブジェクトをローカライズすることを目的としている。 既存の言語フィールド手法は、言語クエリにおける空間的関係を利用してインスタンスを正確にローカライズするのに苦労する。 本研究では,大規模言語モデル(LLM)に基づく空間推論を用いたニューラル表現に基づく新しいフレームワークであるSpatialReasonerを提案する。
  論文  参考訳（メタデータ） (2025-07-09T10:20:38Z)
• Mind the Gap: Benchmarking Spatial Reasoning in Vision-Language Models [14.442394137843923]
  本稿では,まず空間的推論のコア要素を記述した詳細な分析を行う。 次に、これらのモデルの性能を、合成画像と実画像の両方で評価する。
  論文  参考訳（メタデータ） (2025-03-25T14:34:06Z)
• Why Is Spatial Reasoning Hard for VLMs? An Attention Mechanism Perspective on Focus Areas [69.56484419619919]
  機械的解釈可能性のレンズによる空間的推論の課題について検討する。 空間的推論の成功は、実際の物体の位置と注意を一致させるモデルの能力と強く相関している。 本研究の目的は,ADAPTVISを用いて,信頼性の高い地域への注意を喚起することである。
  論文  参考訳（メタデータ） (2025-03-03T17:57:03Z)
• Language Conditioned Spatial Relation Reasoning for 3D Object Grounding [87.03299519917019]
  自然言語に基づく3Dシーンにおけるオブジェクトのローカライズには,空間的関係の理解と推論が必要である。 本稿では,3次元オブジェクトとその空間関係をグラウンド化するための言語条件付きトランスフォーマーモデルを提案する。
  論文  参考訳（メタデータ） (2022-11-17T16:42:39Z)
• LanguageRefer: Spatial-Language Model for 3D Visual Grounding [72.7618059299306]
  3次元視覚的グラウンドリング問題に対する空間言語モデルを構築した。 本稿では,ReferIt3Dが提案する視覚言語データセットに対して,本モデルが競合的に動作することを示す。
  論文  参考訳（メタデータ） (2021-07-07T18:55:03Z)
• Spatial Language Understanding for Object Search in Partially Observed Cityscale Environments [21.528770932332474]
  空間言語観測空間を導入し、部分観測可能なマルコフ決定プロセス(POMDP)の枠組みの下でモデルを定式化する。 本稿では,言語提供者の参照の相対的フレーム(FoR)の環境コンテキストを予測する畳み込みニューラルネットワークモデルを提案する。 本稿では,FOR予測モデルとオブジェクト探索システムの一般化可能性を示す。
  論文  参考訳（メタデータ） (2020-12-04T16:27:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。