論文の概要: Toward Comprehensive 3D Grounding: Orientation Grounding through Vision-Language Models
- arxiv url: http://arxiv.org/abs/2609.33109v1
- Date: Sun, 27 Sep 2026 02:29:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 10:23:02.434605
- Title: Toward Comprehensive 3D Grounding: Orientation Grounding through Vision-Language Models
- Title（参考訳）: 総合的な3次元グラウンド化に向けて:視覚・言語モデルによる配向グラウンド化
- Abstract要約: 本研究では,物体の6次元配向と軸対称を言語やボックスクエリから予測する参照接地タスクである配向接地処理を導入する。
また、構造化ボックス/配向出力、符号および対称性トークン、幾何認識補助損失を3次元VLMに適応させるOG-VLMを提案する。
- 参考スコア（独自算出の注目度）: 9.437244483825308
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Grounding is a core capability of spatial vision-language models, yet most existing work focuses only on where a referred object is. Many 3D tasks also require knowing how it is oriented. Although existing 3D VLMs may predict oriented boxes, box pose does not explicitly capture object-centric orientation or symmetry-induced ambiguities. We introduce orientation grounding, a referring grounding task that predicts an object's 6D orientation and axial symmetry from a language or box query in single-view or multi-view scenes. To support this task, we construct ReferOri, with 331K multi-view and 387K single-view orientation-grounding queries obtained through scalable reconstruction, consistency checking, and human verification. We further present OG-VLM, which adapts a 3D VLM with structured box/orientation outputs, sign and symmetry tokens, and geometry-aware auxiliary losses. Across single-view and multi-view benchmarks, OG-VLM substantially outperforms orientation-aware VLM baselines and surpasses object-level orientation foundation models on scene-level referring benchmarks, showing that explicit orientation grounding is a distinct and learnable capability beyond localization. Downstream results validate its benefit for orientation-related spatial reasoning.
- Abstract（参考訳）: グラウンドリングは空間的視覚言語モデルの中核的な能力であるが、既存のほとんどの研究は参照対象がどこにあるかのみに焦点を当てている。
多くの3Dタスクは、それがどのように指向されているかを知る必要がある。
既存の3D VLMは向き付きボックスを予測できるが、ボックスポーズは対象中心の向きや対称性によるあいまいさを明示的に捉えていない。
本研究では,物体の6次元配向と軸対称を,一視点または多視点シーンにおける言語やボックスクエリから予測する参照接地タスクである配向接地処理を導入する。
このタスクを支援するために,331Kのマルチビューと387Kのシングルビューのオリエンテーションクエリを備えたReferOriを構築した。
さらに、構造化ボックス/配向出力、符号および対称性トークン、幾何認識補助損失を3次元VLMに適応させるOG-VLMを提案する。
シングルビューおよびマルチビューベンチマーク全体において、OG-VLMは、オリエンテーションを意識したVLMベースラインを大幅に上回り、シーンレベルの参照ベンチマーク上でオブジェクトレベルのオリエンテーション基盤モデルを上回っており、明示的なオリエンテーショングラウンドはローカライゼーションを超える独特かつ学習可能な能力であることを示している。
下流の結果は、方向関連空間推論の利点を検証している。
関連論文リスト
- GuideGround: VLM-guided Semantic Understanding and Viewpoint-aware Reasoning for 3D Visual Grounding [11.915446160398625]
3Dビジュアルグラウンドは、自然言語クエリからターゲットオブジェクトを3Dシーンにローカライズすることを目的としている。
本稿では,タスク固有のグラウンドモデルを置き換えるのではなく,補完する VLM 誘導フレームワークである GuideGround を提案する。
論文 参考訳（メタデータ） (2026-08-01T08:28:41Z) - IDEAL-Bench: Indoor Dataset and Evaluation suite for Analyzing 3D Layout reasoning [30.654858163397662]
I-Benchは,室内の3次元レイアウトをモデル化するために視覚言語モデルを必要とする評価スイートである。
I-BenchはCLEVRスタイルの単純な幾何学的プリミティブを超えて、画像空間の差が空間的推論のみを反映するようにしている。
論文 参考訳（メタデータ） (2026-07-03T22:04:42Z) - VEGA: Visual Encoder Grounding Alignment for Spatially-Aware Vision-Language-Action Models [55.12929235609365]
現在の視覚言語アクション(VLA)モデルの視覚バックボーンは、主に3次元幾何学的監督を伴わない2次元画像データに事前訓練されている。
既存の暗黙の接地法は、VLA特徴を3D認識基盤モデルと整合させることによって、この問題に部分的に対処する。
DINOv2-FiT3D の空間認識機能と VLA の視覚エンコーダの出力を直接一致させるフレームワーク VEGA を提案する。
論文 参考訳（メタデータ） (2026-05-11T12:44:26Z) - Think, Act, Build: An Agentic Framework with Vision Language Models for Zero-Shot 3D Visual Grounding [34.1504914582344]
3D Visual Groundingは、自然言語記述を通じてオブジェクトを3Dシーンにローカライズすることを目的としている。
生のRGB-Dストリーム上で直接動作する2次元から3次元の再生パラダイムである"Think, Act, Build (TAB)"を提案する。
厳密なVLMセマンティックトラッキングによる多視点カバレッジ障害を克服するために,セマンティックアンコレッド幾何拡張を導入する。
論文 参考訳（メタデータ） (2026-04-01T06:12:16Z) - Learning to Reason in 4D: Dynamic Spatial Understanding for Vision Language Models [79.18306680174011]
DSR Suiteは、データセット、ベンチマーク、モデルの各面にギャップを埋める。
そこで本研究では,DSRビデオから複数問合せペアを生成する自動パイプラインを提案する。
パイプラインは、カメラポーズ、局所点雲、オブジェクトマスク、向き、および3Dトラジェクトリを含む、豊富な幾何学的および運動的な情報を抽出する。
論文 参考訳（メタデータ） (2025-12-23T17:56:36Z) - Spatial Reasoning in Foundation Models: Benchmarking Object-Centric Spatial Understanding [8.202861909913791]
基礎モデルにおけるオブジェクト中心空間推論のベンチマークを示す。
グラウンディングディーノやOWLv2のような検出器は、リレーショナル推論に制限のある正確なボックスを提供する。
本研究は,地域化と真の空間理解のギャップを強調し,地域社会における空間認識基盤モデルの必要性を指摘する。
論文 参考訳（メタデータ） (2025-09-26T06:06:19Z) - ViewSpatial-Bench: Evaluating Multi-perspective Spatial Localization in Vision-Language Models [68.46716645478661]
視覚言語モデル (VLM) は視覚的内容の理解と推論において顕著な能力を示した。
現在のVLMは、主に自我中心の空間的推論(カメラの観点から)に優れるが、同中心の視点に一般化することができない。
マルチ視点空間位置認識評価に特化して設計された,初の総合的なベンチマークであるViewSpatial-Benchを紹介する。
論文 参考訳（メタデータ） (2025-05-27T17:59:26Z) - Orient Anything: Learning Robust Object Orientation Estimation from Rendering 3D Models [79.96917782423219]
オリエント・アプライシング(Orient Anything)は、1つの画像でオブジェクトの向きを推定するために設計された最初のエキスパートで基礎的なモデルである。
3Dオブジェクトの前面にアノテートするパイプラインを開発することで、正確な向きのアノテーションで2Mイメージを収集する。
本モデルでは,レンダリング画像と実画像の両方において,最先端の向き推定精度を実現する。
論文 参考訳（メタデータ） (2024-12-24T18:58:43Z) - MMScan: A Multi-Modal 3D Scene Dataset with Hierarchical Grounded Language Annotations [55.022519020409405]
本稿では,マルチモーダルな3Dシーンデータセットと階層型言語アノテーションを用いたベンチマーク,MMScanを構築した。
結果として得られたマルチモーダルな3Dデータセットは、109kオブジェクトと7.7kリージョン上の1.4Mメタアノテーション付きキャプションと、3Dビジュアルグラウンドと質問応答ベンチマークのための3.04M以上の多様なサンプルを含んでいる。
論文 参考訳（メタデータ） (2024-06-13T17:59:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。