論文の概要: TDVR: Joint Text Disambiguation and Viewpoint Reasoning for Zero-Shot 3D Visual Grounding

• arxiv url: http://arxiv.org/abs/2608.03763v1
• Date: Tue, 04 Aug 2026 14:51:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-05 15:30:23.259316
• Title: TDVR: Joint Text Disambiguation and Viewpoint Reasoning for Zero-Shot 3D Visual Grounding
• Title（参考訳）: TDVR:Zero-Shot 3Dビジュアルグラウンドのためのテキストの曖昧さと視点推論
• Abstract要約: Zero-shot 3D Visual Groundingは、テキスト記述と3Dビジュアル入力に基づいて、特定のオブジェクトをローカライズすることを目的としている。 TDVRは、入力テキストを曖昧にし、ゼロショット3次元視覚的グラウンドの正確な視点を推測する学習自由推論フレームワークである。
• 参考スコア（独自算出の注目度）: 15.316092539500152
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Zero-shot 3D visual grounding aims to localize specific objects based on textual descriptions and 3D visual input. However, the effectiveness of existing methods is significantly hindered by the ambiguous query text and deficient viewpoints. To address these issues, we propose TDVR, a training-free reasoning framework that disambiguates the input text and infers accurate viewpoints for zero-shot 3D visual grounding. First, we construct semantic 3D scene graph from the detected instances in the 3D point cloud. Subsequently, we put the original query, appearance and spatial relationship descriptions into the LLM for fusion, thereby disambiguating the initial input. We leverage chain-of-thought reasoning to generate the structured representation of disambiguated query. Then taking the scene graph and structured query as input, we get the optimal view via viewpoint reasoning to solve the problem of missing viewpoints during grounding. Based on the obtained optimal viewpoint, we further discriminate the distracting objects, enabling the model with the ability to distinguish similar instances. After that, we match the category text and appearance images with the query by computing the similarity of feature vectors. Finally, the target object was identified by integrating the viewpoint score, confusion score, category score, and appearance score. Compared with previous methods, our TDVR has stronger capabilities in viewpoint reasoning, similar object discrimination, and ambiguous query understanding. Experimental results on the public ScanRefer dataset show that our method outperforms the existing state-of-the-art methods by 15.25% and 14.46% in Acc@0.25 and Acc@0.5 respectively, demonstrating the effectiveness of our TDVR in addressing ambiguous query text and deficient viewpoints.
• Abstract（参考訳）: Zero-shot 3D Visual Groundingは、テキスト記述と3Dビジュアル入力に基づいて、特定のオブジェクトをローカライズすることを目的としている。 しかし,既存手法の有効性は,あいまいな問合せテキストと不十分な視点によって著しく損なわれている。 これらの問題に対処するために、入力テキストを曖昧にし、ゼロショット3次元視覚的グラウンドの正確な視点を推測するトレーニングフリー推論フレームワークであるTDVRを提案する。 まず,検出した3Dポイントクラウドのインスタンスからセマンティックな3Dシーングラフを構築する。 その後、最初のクエリ、外観、空間的関係の記述を核融合のためのLSMに配置し、初期入力を曖昧にする。 チェーン・オブ・シント推論を利用して、あいまいなクエリの構造的表現を生成する。 次に、シーングラフと構造化クエリを入力として、視点推論を用いて最適なビューを取得し、接地時の視線不足の問題を解決する。 得られた最適視点に基づいて、注意をそらす対象をさらに識別し、類似のインスタンスを識別できるモデルを実現する。 その後、特徴ベクトルの類似性を計算することにより、カテゴリテキストと外観画像とクエリをマッチングする。 最後に、視点スコア、混乱スコア、カテゴリースコア、出現スコアを統合することにより、対象対象を同定した。 従来の手法と比較して、我々のTDVRは視点推論、類似したオブジェクト識別、曖昧なクエリ理解の能力が強い。 公開ScanReferデータセットによる実験結果から,提案手法はAcc@0.25とAcc@0.5でそれぞれ15.25%,14.46%向上し,不明瞭な問合せテキストと不明瞭な視点でのTDVRの有効性が示された。

関連論文リスト

• SceneBench: A Hierarchical Benchmark for Vision-Language Understanding of 3D Scenes [12.672496253081258]
  視覚言語モデルは2次元画像理解において優れるが、3次元空間推論においては限定的である。 ガウススプラッティングで再構成した966枚のフォトリアリスティックな3DシーンのベンチマークであるSceneBenchを紹介する。 SceneBenchは、きめ細かい空間推論が可能なモデルの開発と評価のための現実的なテストベッドを提供する。
  論文  参考訳（メタデータ） (2026-09-14T18:59:13Z)
• Beyond Isolated Objects: Relationship-aware Open Vocabulary Scene Understanding via 3D Scene Graph Analysis [59.527737790821305]
  本稿では,3次元シーングラフを用いてオープンな3次元理解を促進する関係認識フレームワークを提案する。 本手法は,物体関係の推測に視覚言語推論を活用することで,多視点観測からリレーショナルシーングラフを構築する。 ScanNetV2、ScanNet200、ScanNet$++$、Replicaの実験は、強力なパフォーマンスと一般化能力を示している。
  論文  参考訳（メタデータ） (2026-07-06T17:29:49Z)
• AgentGrounder: Zero-Shot 3D Visual Pointcloud Grounding using Multimodal Language Models [0.0]
  3Dビジュアルグラウンド(3DVG)は、AIを具現化する上で不可欠な機能であり、自然言語の記述に基づいて、エージェントがオブジェクトを3Dシーンにローカライズする必要がある。 タスク固有の3Dトレーニングを必要とせずに,色のついた点クラウド上で直接動作する,ゼロショットの3Dビジュアルグラウンドティングフレームワークである。
  論文  参考訳（メタデータ） (2026-05-25T14:29:04Z)
• SceneGraphGrounder: Zero-Shot 3D Visual Grounding via Structured Scene Graph Matching [2.4737219202679808]
  SceneGrapherは,再構成された3次元シーングラフ上の構造化グラフマッチングとして3次元グラウンドを再構成するフレームワークである。 我々は,移動ロボットによる実世界展開によるフレームワークの実証を行い,長距離物理環境における堅牢な空間推論を実証した。
  論文  参考訳（メタデータ） (2026-05-20T22:30:51Z)
• VIZOR: Viewpoint-Invariant Zero-Shot Scene Graph Generation for 3D Scene Reasoning [1.9190955990713918]
  3次元シーン推論(VIZOR)のための視点不変ゼロショットシーングラフ生成を提案する。 VIZORは、生の3Dシーンから直接、密集した視点不変の3Dシーングラフを構築する、トレーニングフリーでエンドツーエンドのフレームワークである。 注釈付きトレーニングデータを必要とすることなく、シーンオブジェクト間の空間的および近接的な関係を記述するオープン語彙関係を推論する。
  論文  参考訳（メタデータ） (2026-01-31T10:11:27Z)
• LESS: Label-Efficient and Single-Stage Referring 3D Segmentation [55.06002976797879]
  参照3Dは、クエリの文で記述された3Dポイントクラウドから、指定されたオブジェクトのすべてのポイントをセグメントする視覚言語タスクである。 本稿では,LESSと呼ばれるレファレンス3次元パイプラインを提案する。 ScanReferデータセット上での最先端のパフォーマンスは、バイナリラベルのみを使用して、以前の3.7% mIoUの手法を上回ります。
  論文  参考訳（メタデータ） (2024-10-17T07:47:41Z)
• Data-Efficient 3D Visual Grounding via Order-Aware Referring [31.96736077210907]
  Vigorは、Order-aware Referringを通じて、新しいData-Efficient 3D Visual Groundingフレームワークである。 本稿では,視覚的接地フレームワークを事前訓練するための参照命令を付加する,注文対応ウォームアップトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2024-03-25T08:31:14Z)
• ZeroReg: Zero-Shot Point Cloud Registration with Foundation Models [77.84408427496025]
  最先端の3Dポイントクラウド登録方法は、トレーニングのためにラベル付き3Dデータセットに依存している。 我々は2次元基礎モデルを用いて3次元対応を予測するゼロショット登録手法であるZeroRegを紹介する。
  論文  参考訳（メタデータ） (2023-12-05T11:33:16Z)
• Leveraging VLM-Based Pipelines to Annotate 3D Objects [68.51034848207355]
  本稿では,VLMの応答に影響を与える視点などの要因を疎外する代替アルゴリズムを提案する。 テキストのみの応答をマージする代わりに、VLMの合同画像テキストの可能性を利用する。 VLMベースのパイプラインを使って764Kデータセットから764Kオブジェクトの信頼性の高いアノテーションを生成する方法を示す。
  論文  参考訳（メタデータ） (2023-11-29T17:54:22Z)
• 3DRP-Net: 3D Relative Position-aware Network for 3D Visual Grounding [58.924180772480504]
  3Dビジュアルグラウンドは、自由形式の言語記述によって、ターゲットオブジェクトを3Dポイントクラウドにローカライズすることを目的としている。 3次元相対位置認識ネットワーク(3-Net)という,関係性を考慮した一段階フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-25T09:33:25Z)
• Distilling Coarse-to-Fine Semantic Matching Knowledge for Weakly Supervised 3D Visual Grounding [58.924180772480504]
  3Dビジュアルグラウンドリングは、所定の文クエリに対応する3Dシーンでターゲットオブジェクトを見つけることを含む。 弱教師付きアノテーションを利用して3次元視覚的接地モデルを学ぶことを提案する。 オブジェクトの提案と文のセマンティックな類似性を粗大な方法で解析する新しいセマンティックマッチングモデルを設計する。
  論文  参考訳（メタデータ） (2023-07-18T13:49:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。