論文の概要: Multiple Consistent 2D-3D Mappings for Robust Zero-Shot 3D Visual Grounding

• arxiv url: http://arxiv.org/abs/2604.26261v1
• Date: Wed, 29 Apr 2026 03:38:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-30 15:59:36.241865
• Title: Multiple Consistent 2D-3D Mappings for Robust Zero-Shot 3D Visual Grounding
• Title（参考訳）: ロバストゼロショット3次元視覚グラウンドのための連続2次元3次元マッピング
• Authors: Yufei Yin, Jie Zheng, Qianke Meng, Zhou Yu, Minghao Chen, Jiajun Ding, Min Tan, Yuling Xi, Zhiwen Chen, Chengfei Lv,
• Abstract要約: MCM-VGは、堅牢なゼロショット3DVGを実現する新しいフレームワークである。 3つの基本的な次元にまたがって2D-3Dの一貫性を強制する。 MCM-VGは、ゼロショット3D視覚グラウンドのための新しい最先端技術を設定する。
• 参考スコア（独自算出の注目度）: 26.63197319187971
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Zero-shot 3D Visual Grounding (3DVG) is a critical capability for open-world embodied AI. However, existing methods are fundamentally bottlenecked by the poor quality of open-vocabulary 3D proposals, suffering from inaccurate categories and imprecise geometries, as well as the spatial redundancy of exhaustive multi-view reasoning. To address these challenges, we propose MCM-VG, a novel framework that achieves robust zero-shot 3DVG by explicitly establishing Multiple Consistent 2D-3D Mappings. Instead of passively relying on noisy 3D segments, MCM-VG enforces 2D-3D consistency across three fundamental dimensions to achieve precise target localization and reliable reasoning. First, a Semantic Alignment module corrects category mismatches via LLM-driven query parsing and coarse-to-fine 2D-3D matching. Second, an Instance Rectification module leverages VLM-guided 2D segmentations to reconstruct missing targets, back-projecting these reliable visual priors to establish accurate 3D geometries. Finally, to eliminate spatial redundancy, a Viewpoint Distillation module clusters 3D camera directions to extract optimal frames. By pairing these optimal RGB frames with Bird's Eye View maps into concise visual prompt sets, we formulate the final target disambiguation as a multiple-choice reasoning task for Vision-Language Models. Extensive evaluations on ScanRefer and Nr3D benchmarks demonstrate that MCM-VG sets a new state-of-the-art for zero-shot 3D visual grounding. Remarkably, it achieves 62.0\% and 53.6\% in Acc@0.25 and Acc@0.5 on ScanRefer, outperforming previous baselines by substantial margins of 6.4\% and 4.0\%.
• Abstract（参考訳）: Zero-shot 3D Visual Grounding (3DVG)は、オープンワールドの具体化AIにとって重要な機能である。 しかし、既存の手法は、不正確なカテゴリや不正確なジオメトリーに悩まされ、また、徹底的な多視点推論の空間的冗長性により、オープンな3D提案の質の悪さにより、基本的にボトルネックとなっている。 これらの課題に対処するために,MCM-VGを提案する。MCM-VGは,マルチコンシステント2D-3Dマッピングを明示することにより,ロバストなゼロショット3DVGを実現する新しいフレームワークである。 ノイズの多い3Dセグメントに受動的に依存する代わりに、MCM-VGは3つの基本次元にわたって2D-3D一貫性を強制し、正確な目標位置化と信頼できる推論を実現する。 まず、セマンティックアライメントモジュールは LLM によるクエリ解析と粗い2D-3Dマッチングによってカテゴリミスマッチを補正する。 第二に、インスタンス宣言モジュールは、VLM誘導の2Dセグメンテーションを利用して、行方不明のターゲットを再構築し、信頼性の高い視覚的事前をバックプロジェクションして正確な3Dジオメトリを確立する。 最後に、ビューポイント蒸留モジュールが3次元カメラ方向をクラスタリングし、最適なフレームを抽出する。 これらの最適なRGBフレームとBird's Eye Viewマップを簡潔な視覚的プロンプトセットに組み合わせることで、視覚言語モデルのための多重選択推論タスクとして最終目標の曖昧さを定式化する。 ScanRefer と Nr3D ベンチマークの大規模な評価は、MCM-VG がゼロショットの3D視覚グラウンドティングのための新しい最先端技術を構築していることを示している。 注目すべきは、Acc@0.25とAcc@0.5の62.0\%と53.6\%をScanReferで達成し、以前のベースラインを6.4\%と4.0\%で上回っていることである。

関連論文リスト

• Think, Act, Build: An Agentic Framework with Vision Language Models for Zero-Shot 3D Visual Grounding [34.1504914582344]
  3D Visual Groundingは、自然言語記述を通じてオブジェクトを3Dシーンにローカライズすることを目的としている。 生のRGB-Dストリーム上で直接動作する2次元から3次元の再生パラダイムである"Think, Act, Build (TAB)"を提案する。 厳密なVLMセマンティックトラッキングによる多視点カバレッジ障害を克服するために,セマンティックアンコレッド幾何拡張を導入する。
  論文  参考訳（メタデータ） (2026-04-01T06:12:16Z)
• Zero-Shot 3D Visual Grounding from Vision-Language Models [10.81711535075112]
  3Dビジュアルグラウンド(3DVG)は、自然言語記述を用いて、3Dシーンで対象物を見つけることを目的としている。 SeeGroundは、2Dビジョンランゲージモデル(VLM)を活用するゼロショット3DVGフレームワークで、3D特有のトレーニングの必要性を回避します。
  論文  参考訳（メタデータ） (2025-05-28T14:53:53Z)
• DINO in the Room: Leveraging 2D Foundation Models for 3D Segmentation [51.43837087865105]
  大規模な画像データセットに基づいてトレーニングされた視覚基礎モデル(VFM)は、非常に高度な2D視覚認識を備えた高品質な機能を提供する。 3D画像と3Dポイントクラウドデータセットの共通利用にもかかわらず、彼らの3Dビジョンのポテンシャルは依然としてほとんど未解決のままである。 2Dファンデーションモデルの特徴を抽出し,それを3Dに投影し,最終的に3Dポイントクラウドセグメンテーションモデルに注入する,シンプルで効果的なアプローチであるDITRを導入する。
  論文  参考訳（メタデータ） (2025-03-24T17:59:11Z)
• SeeGround: See and Ground for Zero-Shot Open-Vocabulary 3D Visual Grounding [10.81711535075112]
  3Dビジュアルグラウンド(3D Visual Grounding)は、拡張現実(AR)やロボティクス(ロボティクス)などの応用に欠かせない、テキストによる記述に基づく3Dシーンのオブジェクトを見つけることを目的としている。 大規模2次元データに基づいて訓練された2次元視覚言語モデル(VLM)を活用したゼロショット3DVGフレームワークであるSeeeGroundを紹介する。 SeeGroundは3Dのシーンを3Dデータと2D-VLMの入力フォーマットのギャップを埋め、クエリ整列された画像と空間的にリッチなテキスト記述のハイブリッドとして表現している。
  論文  参考訳（メタデータ） (2024-12-05T17:58:43Z)
• CAGroup3D: Class-Aware Grouping for 3D Object Detection on Point Clouds [55.44204039410225]
  本稿では,CAGroup3Dという新しい2段階完全スパース3Dオブジェクト検出フレームワークを提案する。 提案手法は,まず,オブジェクト表面のボクセル上でのクラス認識型局所群戦略を活用することによって,高品質な3D提案を生成する。 不正なボクセルワイドセグメンテーションにより欠落したボクセルの特徴を回復するために,完全にスパースな畳み込み型RoIプールモジュールを構築した。
  論文  参考訳（メタデータ） (2022-10-09T13:38:48Z)
• Multi-initialization Optimization Network for Accurate 3D Human Pose and Shape Estimation [75.44912541912252]
  我々はMulti-Initialization Optimization Network(MION)という3段階のフレームワークを提案する。 第1段階では,入力サンプルの2次元キーポイントに適合する粗い3次元再構成候補を戦略的に選択する。 第2段階では, メッシュ改質トランス (MRT) を設計し, 自己保持機構を用いて粗い再構成結果をそれぞれ洗練する。 最後に,RGB画像の視覚的証拠が与えられた3次元再構成と一致するかどうかを評価することで,複数の候補から最高の結果を得るために,一貫性推定ネットワーク(CEN)を提案する。
  論文  参考訳（メタデータ） (2021-12-24T02:43:58Z)
• Weakly Supervised Volumetric Image Segmentation with Deformed Templates [80.04326168716493]
  対象対象物の表面にスパースな3次元点のセットのみを提供する必要があるという意味で、真に弱い教師付きアプローチを提案する。 監督コストの削減により、3Dの弱スーパービジョンに対する従来のアプローチよりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-07T22:09:34Z)
• FCOS3D: Fully Convolutional One-Stage Monocular 3D Object Detection [78.00922683083776]
  一般的な2D検出器をこの3Dタスクで動作させることは簡単ではない。 本報告では,完全畳み込み型単段検出器を用いた手法を用いてこの問題を考察する。 私たちのソリューションは、NeurIPS 2020のnuScenes 3D検出チャレンジのすべてのビジョンのみの方法の中で1位を獲得します。
  論文  参考訳（メタデータ） (2021-04-22T09:35:35Z)
• Cylinder3D: An Effective 3D Framework for Driving-scene LiDAR Semantic Segmentation [87.54570024320354]
  大規模運転シーンのLiDARセマンティックセマンティックセグメンテーションのための最先端の手法は、しばしば2D空間の点雲を投影して処理する。 3D-to-2Dプロジェクションの問題に取り組むための簡単な解決策は、3D表現を保ち、3D空間の点を処理することである。 我々は3次元シリンダー分割と3次元シリンダー畳み込みに基づくフレームワークをCylinder3Dとして開発し,3次元トポロジの関係と運転シーンの点雲の構造を利用する。
  論文  参考訳（メタデータ） (2020-08-04T13:56:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。