論文の概要: SPAZER: Spatial-Semantic Progressive Reasoning Agent for Zero-shot 3D Visual Grounding

• arxiv url: http://arxiv.org/abs/2506.21924v1
• Date: Fri, 27 Jun 2025 05:34:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-30 21:12:23.09915
• Title: SPAZER: Spatial-Semantic Progressive Reasoning Agent for Zero-shot 3D Visual Grounding
• Title（参考訳）: SPAZER:ゼロショット3次元視覚グラウンドのための空間意味的プログレッシブ推論エージェント
• Authors: Zhao Jin, Rong-Cheng Tu, Jingyi Liao, Wenhao Sun, Xiao Luo, Shunyu Liu, Dacheng Tao,
• Abstract要約: 3D Visual Groundingは、自然言語クエリに基づいて、ターゲットオブジェクトを3Dシーン内にローカライズすることを目的としている。 本稿では,VLM駆動型エージェントであるSPAZERについて述べる。 ScanRefer と Nr3D ベンチマークの実験では、SPAZER が従来のゼロショット法よりも大幅に優れていたことが示されている。
• 参考スコア（独自算出の注目度）: 44.82926606018167
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: 3D Visual Grounding (3DVG) aims to localize target objects within a 3D scene based on natural language queries. To alleviate the reliance on costly 3D training data, recent studies have explored zero-shot 3DVG by leveraging the extensive knowledge and powerful reasoning capabilities of pre-trained LLMs and VLMs. However, existing paradigms tend to emphasize either spatial (3D-based) or semantic (2D-based) understanding, limiting their effectiveness in complex real-world applications. In this work, we introduce SPAZER - a VLM-driven agent that combines both modalities in a progressive reasoning framework. It first holistically analyzes the scene and produces a 3D rendering from the optimal viewpoint. Based on this, anchor-guided candidate screening is conducted to perform a coarse-level localization of potential objects. Furthermore, leveraging retrieved relevant 2D camera images, 3D-2D joint decision-making is efficiently performed to determine the best-matching object. By bridging spatial and semantic reasoning neural streams, SPAZER achieves robust zero-shot grounding without training on 3D-labeled data. Extensive experiments on ScanRefer and Nr3D benchmarks demonstrate that SPAZER significantly outperforms previous state-of-the-art zero-shot methods, achieving notable gains of 9.0% and 10.9% in accuracy.
• Abstract（参考訳）: 3Dビジュアルグラウンド(3DVG)は、自然言語クエリに基づいて、ターゲットオブジェクトを3Dシーン内にローカライズすることを目的としている。 コストのかかる3Dトレーニングデータへの依存を軽減するため、最近の研究では、事前訓練されたLLMとVLMの広範な知識と強力な推論能力を活用することで、ゼロショット3DVGを探索している。 しかし、既存のパラダイムは空間的(3Dベース)か意味的(2Dベース)の理解を強調する傾向があり、複雑な現実世界の応用においてその効果を制限している。 本稿では,VLM駆動型エージェントであるSPAZERを紹介する。 まず、シーンを全体分析し、最適な視点から3Dレンダリングを生成する。 これに基づいて、アンカーガイドによる候補検定を行い、潜在的対象の粗いレベルの局所化を行う。 さらに、検索した2Dカメラ画像を利用して、3D-2D共同決定を効率よく行い、ベストマッチング対象を決定する。 空間的および意味論的推論ニューラルストリームをブリッジすることにより、SPAZERは3Dラベルデータでトレーニングすることなく、堅牢なゼロショットグラウンドを達成する。 ScanRefer と Nr3D ベンチマークの大規模な実験により、SPAZER は従来のゼロショット法よりも著しく優れており、9.0% と 10.9% の精度で顕著に向上した。

関連論文リスト

• SLGaussian: Fast Language Gaussian Splatting in Sparse Views [15.0280871846496]
  スパース視点から3次元意味体を構築するフィードフォワード手法であるSLGaussianを提案する。 SLGaussianは、3D空間に言語情報を効率よく埋め込むことができ、スパースビュー条件下で正確な3Dシーン理解のための堅牢なソリューションを提供する。
  論文  参考訳（メタデータ） (2024-12-11T12:18:30Z)
• Semi-supervised 3D Semantic Scene Completion with 2D Vision Foundation Model Guidance [8.07701188057789]
  我々は、高密度な注釈付きデータへの依存を軽減するために、新しい半教師付きフレームワークを導入する。 提案手法は2次元基礎モデルを用いて3次元シーンの幾何学的・意味的手がかりを生成する。 本手法は,10%のラベル付きデータを用いて全教師付き性能の最大85%を達成する。
  論文  参考訳（メタデータ） (2024-08-21T12:13:18Z)
• FILP-3D: Enhancing 3D Few-shot Class-incremental Learning with Pre-trained Vision-Language Models [59.13757801286343]
  クラス増分学習(class-incremental learning)は、モデルが限られたデータで漸進的にトレーニングされている場合、破滅的な忘れの問題を軽減することを目的としている。 本稿では,特徴空間の不整合のための冗長特徴除去器 (RFE) と,重要な雑音に対する空間ノイズ補償器 (SNC) の2つの新しいコンポーネントを備えたFILP-3Dフレームワークを紹介する。
  論文  参考訳（メタデータ） (2023-12-28T14:52:07Z)
• Homography Loss for Monocular 3D Object Detection [54.04870007473932]
  ホログラフィーロス(Homography Loss)と呼ばれる,2次元情報と3次元情報の両方を利用する識別可能なロス関数を提案する。 提案手法は,KITTI 3Dデータセットにおいて,他の最先端技術と比較して高い性能を示す。
  論文  参考訳（メタデータ） (2022-04-02T03:48:03Z)
• RandomRooms: Unsupervised Pre-training from Synthetic Shapes and Randomized Layouts for 3D Object Detection [138.2892824662943]
  有望な解決策は、CADオブジェクトモデルで構成される合成データセットをよりよく利用して、実際のデータセットでの学習を促進することである。 最近の3次元事前学習の研究は、合成物体から他の実世界の応用へ学習した伝達特性が失敗することを示している。 本研究では,この目的を達成するためにRandomRoomsという新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-08-17T17:56:12Z)
• Reinforced Axial Refinement Network for Monocular 3D Object Detection [160.34246529816085]
  モノクロ3次元物体検出は、2次元入力画像から物体の位置と特性を抽出することを目的としている。 従来のアプローチでは、空間から3D境界ボックスをサンプリングし、対象オブジェクトと各オブジェクトの関係を推定するが、有効サンプルの確率は3D空間で比較的小さい。 我々は,まず最初の予測から始めて,各ステップで1つの3dパラメータだけを変えて,基礎的真理に向けて徐々に洗練することを提案する。 これは、いくつかのステップの後に報酬を得るポリシーを設計する必要があるため、最適化するために強化学習を採用します。
  論文  参考訳（メタデータ） (2020-08-31T17:10:48Z)
• SESS: Self-Ensembling Semi-Supervised 3D Object Detection [138.80825169240302]
  具体的には、ラベルのない新しい未知のデータに基づくネットワークの一般化を促進するための、徹底的な摂動スキームを設計する。 我々のSESSは、50%のラベル付きデータを用いて、最先端の完全教師付き手法と比較して、競争性能を達成している。
  論文  参考訳（メタデータ） (2019-12-26T08:48:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。