論文の概要: Think, Act, Build: An Agentic Framework with Vision Language Models for Zero-Shot 3D Visual Grounding

• arxiv url: http://arxiv.org/abs/2604.00528v2
• Date: Thu, 02 Apr 2026 06:20:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-03 14:21:09.374417
• Title: Think, Act, Build: An Agentic Framework with Vision Language Models for Zero-Shot 3D Visual Grounding
• Title（参考訳）: ゼロショット3Dビジュアルグラウンドのための視覚言語モデルを備えたエージェントフレームワークThink, Act, Build
• Authors: Haibo Wang, Zihao Lin, Zhiyang Xu, Lifu Huang,
• Abstract要約: 3D Visual Groundingは、自然言語記述を通じてオブジェクトを3Dシーンにローカライズすることを目的としている。 生のRGB-Dストリーム上で直接動作する2次元から3次元の再生パラダイムである"Think, Act, Build (TAB)"を提案する。 厳密なVLMセマンティックトラッキングによる多視点カバレッジ障害を克服するために,セマンティックアンコレッド幾何拡張を導入する。
• 参考スコア（独自算出の注目度）: 34.1504914582344
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: 3D Visual Grounding (3D-VG) aims to localize objects in 3D scenes via natural language descriptions. While recent advancements leveraging Vision-Language Models (VLMs) have explored zero-shot possibilities, they typically suffer from a static workflow relying on preprocessed 3D point clouds, essentially degrading grounding into proposal matching. To bypass this reliance, our core motivation is to decouple the task: leveraging 2D VLMs to resolve complex spatial semantics, while relying on deterministic multi-view geometry to instantiate the 3D structure. Driven by this insight, we propose "Think, Act, Build (TAB)", a dynamic agentic framework that reformulates 3D-VG tasks as a generative 2D-to-3D reconstruction paradigm operating directly on raw RGB-D streams. Specifically, guided by a specialized 3D-VG skill, our VLM agent dynamically invokes visual tools to track and reconstruct the target across 2D frames. Crucially, to overcome the multi-view coverage deficit caused by strict VLM semantic tracking, we introduce the Semantic-Anchored Geometric Expansion, a mechanism that first anchors the target in a reference video clip and then leverages multi-view geometry to propagate its spatial location across unobserved frames. This enables the agent to "Build" the target's 3D representation by aggregating these multi-view features via camera parameters, directly mapping 2D visual cues to 3D coordinates. Furthermore, to ensure rigorous assessment, we identify flaws such as reference ambiguity and category errors in existing benchmarks and manually refine the incorrect queries. Extensive experiments on ScanRefer and Nr3D demonstrate that our framework, relying entirely on open-source models, significantly outperforms previous zero-shot methods and even surpasses fully supervised baselines.
• Abstract（参考訳）: 3Dビジュアルグラウンド(3D-VG)は、自然言語による3Dシーン内のオブジェクトのローカライズを目的としている。 VLM(Vision-Language Models)を活用した最近の進歩はゼロショットの可能性を探っているが、通常、前処理された3Dポイントクラウドに依存した静的ワークフローに悩まされ、基本的には提案マッチングに基礎を落としている。 この依存を回避すべく、我々のコアモチベーションは、複雑な空間意味論を解決するために2次元のVLMを活用することであり、3D構造をインスタンス化するための決定論的多視点幾何に依存している。 本稿では,3D-VGタスクを生RGB-Dストリーム上で直接動作する生成的2D-to-3D再構成パラダイムとして再構成する動的エージェントフレームワークである"Think, Act, Build (TAB)"を提案する。 具体的には、特殊な3D-VG技術により、VLMエージェントが動的に視覚ツールを起動し、2Dフレーム間でターゲットを追跡し、再構築する。 重要なことは、厳密なVLMセマンティックトラッキングによる多視点カバレッジの欠陥を克服するために、まず基準ビデオクリップにターゲットを固定し、次にマルチビュー幾何を利用して、観測されていないフレーム間で空間的位置を伝播するメカニズムであるセマンティック・アンチョレッド・ジオメトリ・エクスパンジョン(Semantic-Anchored Geometric Expansion)を導入する。 これにより、カメラパラメータを介してこれらのマルチビュー機能を集約し、2Dビジュアルキューを直接3D座標にマッピングすることで、ターゲットの3D表現を“構築”することができる。 さらに、厳密な評価を確保するため、既存のベンチマークにおける参照曖昧さやカテゴリエラーなどの欠陥を特定し、不正なクエリを手動で洗練する。 ScanReferとNr3Dの大規模な実験は、我々のフレームワークが完全にオープンソースモデルに依存しており、以前のゼロショットメソッドよりも大幅に優れており、完全に教師されたベースラインを超えていることを示している。

関連論文リスト

• Unified Semantic Transformer for 3D Scene Understanding [55.415468022487005]
  我々は、単一のモデル内に多様な3Dセマンティックタスクを統一する新しいフィードフォワードニューラルネットワークUNITEを紹介する。 我々のモデルは、完全なエンドツーエンドで見えないシーンで動作し、完全な3Dセマンティックジオメトリを推測するのにほんの数秒しかかからない。 UNITEはいくつかの異なる意味的タスクにおいて最先端のパフォーマンスを達成し、タスク固有のモデルよりも優れていることを実証する。
  論文  参考訳（メタデータ） (2025-12-16T12:49:35Z)
• Abstract 3D Perception for Spatial Intelligence in Vision-Language Models [100.13033631690114]
  視覚言語モデル(VLM)は、空間認識や物理的理解といった3D関連課題に苦しむ。 我々は,VLMの幾何学的構造と物理力学を符号化するために,抽象的境界ボックスを利用するフレームワークであるSandboxVLMを紹介した。 提案手法は空間知能を常に向上させ,SAT Realの8.3%のゲインをベースライン法と比較して達成する。
  論文  参考訳（メタデータ） (2025-11-14T04:16:09Z)
• Zero-Shot 3D Visual Grounding from Vision-Language Models [10.81711535075112]
  3Dビジュアルグラウンド(3DVG)は、自然言語記述を用いて、3Dシーンで対象物を見つけることを目的としている。 SeeGroundは、2Dビジョンランゲージモデル(VLM)を活用するゼロショット3DVGフレームワークで、3D特有のトレーニングの必要性を回避します。
  論文  参考訳（メタデータ） (2025-05-28T14:53:53Z)
• VLM-3R: Vision-Language Models Augmented with Instruction-Aligned 3D Reconstruction [86.82819259860186]
  本稿では,視覚言語モデル(VLM)のための統合フレームワークであるVLM-3Rについて紹介する。 VLM-3Rは、空間的理解を表す暗黙の3Dトークンを導出する幾何学エンコーダを用いて、モノクロビデオフレームを処理する。
  論文  参考訳（メタデータ） (2025-05-26T17:56:30Z)
• Learning A Zero-shot Occupancy Network from Vision Foundation Models via Self-supervised Adaptation [41.98740330990215]
  本研究は,2次元視覚基礎モデルと3次元タスクをブリッジする新しい手法を提案する。 視覚言語モデルのゼロショット機能を画像意味論に活用する。 我々は、再構成されたメートル法深度を用いて意味を3次元空間に投影し、3次元の監視を行う。
  論文  参考訳（メタデータ） (2025-03-10T09:54:40Z)
• SeeGround: See and Ground for Zero-Shot Open-Vocabulary 3D Visual Grounding [10.81711535075112]
  3Dビジュアルグラウンド(3D Visual Grounding)は、拡張現実(AR)やロボティクス(ロボティクス)などの応用に欠かせない、テキストによる記述に基づく3Dシーンのオブジェクトを見つけることを目的としている。 大規模2次元データに基づいて訓練された2次元視覚言語モデル(VLM)を活用したゼロショット3DVGフレームワークであるSeeeGroundを紹介する。 SeeGroundは3Dのシーンを3Dデータと2D-VLMの入力フォーマットのギャップを埋め、クエリ整列された画像と空間的にリッチなテキスト記述のハイブリッドとして表現している。
  論文  参考訳（メタデータ） (2024-12-05T17:58:43Z)
• Volumetric Environment Representation for Vision-Language Navigation [66.04379819772764]
  視覚言語ナビゲーション(VLN)は、視覚的な観察と自然言語の指示に基づいて、エージェントが3D環境をナビゲートする必要がある。 本研究では,物理世界を3次元構造細胞にボクセル化するボリューム環境表現(VER)を提案する。 VERは3D占有率、3D部屋レイアウト、および3Dバウンディングボックスを共同で予測する。
  論文  参考訳（メタデータ） (2024-03-21T06:14:46Z)
• AutoDecoding Latent 3D Diffusion Models [95.7279510847827]
  本稿では,3次元オートデコーダをコアとした静的・明瞭な3次元アセットの生成に対して,新しいアプローチを提案する。 3D Autodecoderフレームワークは、ターゲットデータセットから学んだプロパティを潜時空間に埋め込む。 次に、適切な中間体積潜在空間を特定し、ロバストな正規化と非正規化演算を導入する。
  論文  参考訳（メタデータ） (2023-07-07T17:59:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。