論文の概要: P$^3$-VLM: A Point-based Alternative for Grounded 3D Vision-Language Models

• arxiv url: http://arxiv.org/abs/2610.28018v1
• Date: Tue, 20 Oct 2026 11:08:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.777151
• Title: P$^3$-VLM: A Point-based Alternative for Grounded 3D Vision-Language Models
• Title（参考訳）: P$^3$-VLM:グラウンドド3次元視覚言語モデルのポイントベース代替品
• Abstract要約: P$3$-VLMは、ポイントベースのプロンプトをサポートし、位置接地キャプションにおける52.1%の最先端の精度を実現する新しい3次元3次元VLMである。 P$3$-VLMは3つの補完経路(ロケーション、タスク、コンテキスト認識)を使用して、ボックス依存を伴わずにシーンについて強力な推論を可能にする。
• 参考スコア（独自算出の注目度）: 51.49845672660106
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Examining existing benchmarks for grounding in 3D VLMs reveals a pervasive "semantic leakage" in the evaluation and prompting protocols: a heavy reliance on bounding boxes as spatial prompts or representation primitives. Because bounding boxes are highly informative of object categories, they introduce a shortcut for the models to neglect visual information during 3D VLM training. We demonstrate this with a "blind" LLM that, prompted only with the box coordinates, can perform surprisingly well. To further analyze this shortcut, we propose point-based grounding prompting - querying models with a single 3D point instead of a box. Under this protocol, the accuracy of the blind LLM drops from 36.4% to 18.0% on ScanNet's Nr3D, and similarly degrades for 3D VLMs (e.g. LL3DA). Building on this insight, we introduce P$^3$-VLM, a novel tri-pathway 3D VLM that supports point-based prompts and achieves 52.1% state-of-the-art accuracy on location-grounded captioning under this setting. To achieve this, we redesign the architecture while keeping it detector-free, scene-centric, and suitable for 3D GS inputs. P$^3$-VLM utilizes three complementary pathways (location-, task-, and context-aware), enabling strong reasoning about scenes without any bounding box dependencies. The key benefit of point-based learning is a consistent improvement across settings: P$^3$-VLM achieves state-of-the-art performance under point-based grounding while also improving robustness, OOD generalization, and performance on ungrounded scene-centric 3D VQA benchmarks, reflecting its reduced reliance on bounding-box shortcuts and resulting stronger visual-spatial reasoning.
• Abstract（参考訳）: 3次元VLMのグラウンド化のための既存のベンチマークを調べると、評価とプロトコルのプロンプトにおいて、空間的プロンプトや表現プリミティブとしてのバウンディングボックスへの強い依存という、広範囲にわたる「セマンティックリーク」が明らかになる。 境界ボックスはオブジェクトカテゴリに非常に有益であるため、3D VLMトレーニング中に視覚情報を無視するショートカットを導入する。 ボックス座標のみをトリガーした「盲」LSMでこれを実証し、驚くほどよく動作させることができる。 このショートカットをさらに分析するために,ボックスの代わりに1つの3Dポイントを持つモデルに対して,ポイントベースのグラウンド処理を提案する。 このプロトコルの下では、3D VLMの精度はScanNetのNr3Dでは36.4%から18.0%に低下し、同様に3D VLM(例えばLL3DA)では低下する。 この知見に基づいてP$^3$-VLMという,ポイントベースのプロンプトをサポートし,52.1%の精度で位置接地キャプションの精度を実現する3次元3次元VLMを提案する。 これを実現するため、我々は3次元GS入力に適した、検出不要でシーン中心のアーキテクチャを再設計した。 P$^3$-VLMは3つの補完経路(ロケーション、タスク、コンテキスト認識)を利用し、バウンディングボックスに依存しないシーンについて強力な推論を可能にする。 P$^3$-VLMは、ポイントベースグラウンドでの最先端のパフォーマンスを達成しつつ、ロバスト性、OODの一般化、アングラウンド化されたシーン中心の3D VQAベンチマークのパフォーマンスを改善し、バウンディングボックスのショートカットへの依存を減らし、視覚空間的推論を強くする。

関連論文リスト

• AgentGrounder: Zero-Shot 3D Visual Pointcloud Grounding using Multimodal Language Models [0.0]
  3Dビジュアルグラウンド(3DVG)は、AIを具現化する上で不可欠な機能であり、自然言語の記述に基づいて、エージェントがオブジェクトを3Dシーンにローカライズする必要がある。 タスク固有の3Dトレーニングを必要とせずに,色のついた点クラウド上で直接動作する,ゼロショットの3Dビジュアルグラウンドティングフレームワークである。
  論文  参考訳（メタデータ） (2026-05-25T14:29:04Z)
• Exploring Bottlenecks in VLM-LLM Navigation: How 3D Scene Understanding Capability Impacts Zero-Shot VLN [6.626149978783011]
  ゼロショットビジョン・アンド・ランゲージナビゲーション(VLN)は、データ収集コストの最小化と固有の一般化により、大きな注目を集めている。 現行の3D知覚モデルは、厳密な計算限界と、具体化されたナビゲーションによって要求されるリアルタイム効率と直接競合する、ピクセルレベルの精度を優先している。 本稿では,VLNの性能に及ぼす3次元シーン理解能力の影響を定量化する。
  論文  参考訳（メタデータ） (2026-05-14T13:12:05Z)
• Abstract 3D Perception for Spatial Intelligence in Vision-Language Models [100.13033631690114]
  視覚言語モデル(VLM)は、空間認識や物理的理解といった3D関連課題に苦しむ。 我々は,VLMの幾何学的構造と物理力学を符号化するために,抽象的境界ボックスを利用するフレームワークであるSandboxVLMを紹介した。 提案手法は空間知能を常に向上させ,SAT Realの8.3%のゲインをベースライン法と比較して達成する。
  論文  参考訳（メタデータ） (2025-11-14T04:16:09Z)
• SeqVLM: Proposal-Guided Multi-View Sequences Reasoning via VLM for Zero-Shot 3D Visual Grounding [40.60812160987424]
  3Dビジュアルグラウンド(3DVG)は、自然言語による3Dシーンのオブジェクトのローカライズを目的としている。 対象物推論のための空間情報を備えた多視点実写シーン画像を利用する新しいゼロショット3DVGフレームワークであるSeqVLMを提案する。 ScanRefer と Nr3D のベンチマーク実験では、従来のゼロショット法を4.0%、Nr3D で5.2%上回った。
  論文  参考訳（メタデータ） (2025-08-28T13:15:37Z)
• VLM-Grounder: A VLM Agent for Zero-Shot 3D Visual Grounding [57.04804711488706]
  3Dビジュアルグラウンドティングはロボットにとって不可欠であり、自然言語と3Dシーン理解を統合する必要がある。 VLM-Grounderは視覚言語モデル(VLM)を用いて2次元画像のみに基づくゼロショット3次元視覚グラウンドティングを行う新しいフレームワークである。
  論文  参考訳（メタデータ） (2024-10-17T17:59:55Z)
• Four Ways to Improve Verbo-visual Fusion for Dense 3D Visual Grounding [56.00186960144545]
  3Dビジュアルグラウンドティング(3D visual grounding)は、自然言語で記述された3Dシーンでオブジェクトをローカライズするタスクである。 そこで本研究では,高密度な3次元グラウンドネットワークを提案し,グラウンド性能向上を目的とした4つの新しいスタンドアローンモジュールを提案する。
  論文  参考訳（メタデータ） (2023-09-08T19:27:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。