論文の概要: Language and Geometry Grounded Sparse Voxel Representations for Holistic Scene Understanding
- arxiv url: http://arxiv.org/abs/2602.15734v1
- Date: Tue, 17 Feb 2026 17:10:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-18 16:03:18.137298
- Title: Language and Geometry Grounded Sparse Voxel Representations for Holistic Scene Understanding
- Title（参考訳）: 言語と幾何学 立体的場面理解のためのスパースボクセル表現
- Authors: Guile Wu, David Huang, Bingbing Liu, Dongfeng Bai,
- Abstract要約: 既存の3Dシーン理解手法は、主に2D基礎モデルから3D特徴体に言語特徴を蒸留する。
言語と幾何学を基礎としたスパースボクセル表現を利用して、外観、意味論、幾何学を包括的にモデル化する新しいアプローチを提案する。
本手法は,全体像の理解と再構築における最先端手法と比較して,全体的な性能を向上する。
- 参考スコア（独自算出の注目度）: 22.218083641125137
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing 3D open-vocabulary scene understanding methods mostly emphasize distilling language features from 2D foundation models into 3D feature fields, but largely overlook the synergy among scene appearance, semantics, and geometry. As a result, scene understanding often deviates from the underlying geometric structure of scenes and becomes decoupled from the reconstruction process. In this work, we propose a novel approach that leverages language and geometry grounded sparse voxel representations to comprehensively model appearance, semantics, and geometry within a unified framework. Specifically, we use 3D sparse voxels as primitives and employ an appearance field, a density field, a feature field, and a confidence field to holistically represent a 3D scene. To promote synergy among the appearance, density, and feature fields, we construct a feature modulation module and distill language features from a 2D foundation model into our 3D scene model. In addition, we integrate geometric distillation into feature field distillation to transfer geometric knowledge from a geometry foundation model to our 3D scene representations via depth correlation regularization and pattern consistency regularization. These components work together to synergistically model the appearance, semantics, and geometry of the 3D scene within a unified framework. Extensive experiments demonstrate that our approach achieves superior overall performance compared with state-of-the-art methods in holistic scene understanding and reconstruction.
- Abstract（参考訳）: 既存の3Dオープン語彙シーン理解手法は、主に2D基礎モデルから3D特徴体への言語特徴の蒸留を強調するが、シーンの外観、セマンティクス、幾何学の相乗効果は概ね見落としている。
その結果、シーン理解はしばしばシーンの基本的な幾何学的構造から逸脱し、再構築プロセスから切り離される。
本研究では,言語と幾何学を基盤としたスパースボクセル表現を利用して,統一された枠組み内での外観,意味,幾何学を包括的にモデル化する手法を提案する。
具体的には, プリミティブとして3次元スパースボクセルを使用し, 外観場, 密度場, 特徴場, 信頼場を用いて, 3次元シーンを水平に表現する。
外観,密度,特徴場の相乗効果を促進するために,2次元基礎モデルから3次元シーンモデルに特徴変調モジュールを構築し,言語特徴を蒸留する。
さらに,幾何蒸留を特徴場蒸留に統合し,幾何学基礎モデルから深度相関正則化とパターン整合正則化による3次元シーン表現へ幾何学的知識を伝達する。
これらのコンポーネントは、統合されたフレームワーク内の3Dシーンの外観、意味論、幾何学を相乗的にモデル化するために協力する。
大規模な実験により,本手法は全体像の理解と再構築における最先端手法と比較して,優れた総合的性能を達成できることが示された。
関連論文リスト
- Unified Semantic Transformer for 3D Scene Understanding [55.415468022487005]
我々は、単一のモデル内に多様な3Dセマンティックタスクを統一する新しいフィードフォワードニューラルネットワークUNITEを紹介する。
我々のモデルは、完全なエンドツーエンドで見えないシーンで動作し、完全な3Dセマンティックジオメトリを推測するのにほんの数秒しかかからない。
UNITEはいくつかの異なる意味的タスクにおいて最先端のパフォーマンスを達成し、タスク固有のモデルよりも優れていることを実証する。
論文 参考訳（メタデータ） (2025-12-16T12:49:35Z) - EA3D: Online Open-World 3D Object Extraction from Streaming Videos [55.48835711373918]
オープンワールド3Dオブジェクト抽出のための統合オンラインフレームワークであるExtractAnything3D(EA3D)を提案する。
ストリーミングビデオが与えられると、EA3Dは視覚言語と2D視覚基盤エンコーダを使用して各フレームを動的に解釈し、オブジェクトレベルの知識を抽出する。
リカレントな共同最適化モジュールは、モデルの関心領域への注意を向け、幾何学的再構成と意味的理解の両面を同時に強化する。
論文 参考訳（メタデータ） (2025-10-29T03:56:41Z) - IGGT: Instance-Grounded Geometry Transformer for Semantic 3D Reconstruction [82.53307702809606]
人間は自然に3次元世界の幾何学的構造と意味的内容を中間次元として知覚する。
本稿では,空間再構成とインスタンスレベルの文脈理解の両面での知識を統合するために,IGGT (InstanceGrounded Geometry Transformer) を提案する。
論文 参考訳（メタデータ） (2025-10-26T14:57:44Z) - WorldGrow: Generating Infinite 3D World [75.81531067447203]
我々は、無限に拡張可能な3D世界、すなわちコヒーレントな幾何学と現実的な外観を持つ大規模で連続的な環境を生み出すという課題に取り組む。
本研究では,非有界な3次元シーン合成のための階層的フレームワークWorldGrowを提案する。
提案手法は,(1)高品質なシーンブロックを抽出し,シーン生成に適した3D構造化潜在表現を作成するデータキュレーションパイプライン,(2)コンテキスト認識シーン拡張を可能にする3Dブロックインペイント機構,(3)グローバルなレイアウトの妥当性と局所幾何学的/音声的忠実性の両立を保証する粗大かつ微細な生成戦略,の3つのコアコンポーネントを特徴とする。
論文 参考訳（メタデータ） (2025-10-24T17:39:52Z) - 3D-Aware Vision-Language Models Fine-Tuning with Geometric Distillation [17.294440057314812]
VLM(Vision-Language Models)は様々な視覚的・言語的タスクにおいて顕著な性能を示した。
人為的な幾何学的手がかりを予め訓練されたVLMに注入するフレームワークであるGeometric Distillationを提案する。
本手法は、自然な画像テキスト入力と互換性を保ちながら、表現を幾何学的に認識するように形成する。
論文 参考訳（メタデータ） (2025-06-11T15:56:59Z) - Shape from Semantics: 3D Shape Generation from Multi-View Semantics [30.969299308083723]
既存の3D再構成手法では, 3次元画像, 3次元点雲, 形状輪郭, 単一意味論などのガイダンスを用いて3次元表面を復元する。
図形や外観が、異なる視点から見ると、与えられたテキストの意味と一致した3Dモデルを作成することを目的として、新しい3Dモデリングタスク「Shape from Semantics'」を提案する。
論文 参考訳（メタデータ） (2025-02-01T07:51:59Z) - Textured Mesh Saliency: Bridging Geometry and Texture for Human Perception in 3D Graphics [50.23625950905638]
6自由度(6-DOF)VR環境下での革新的な視線追跡実験により構築したテクスチャメッシュ・サリエンシのための新しいデータセットを提案する。
本モデルでは,各三角形の面を個々の単位として扱い,各局所表面領域の重要性を反映した塩分濃度値を割り当てることで,テクスチャメッシュ表面の塩分濃度マップを推定する。
論文 参考訳（メタデータ） (2024-12-11T08:27:33Z) - Self-supervised Learning of Hybrid Part-aware 3D Representations of 2D Gaussians and Superquadrics [16.446659867133977]
PartGSは、オブジェクトやシーンを解釈可能な分解に解析するために、2Dガウスとスーパークワッドリックを統合する、自己管理された部分認識再構築フレームワークである。
提案手法は,DTU,ShapeNet,および実世界のデータセットに関する広範な実験において,最先端の手法と比較して優れた性能を示す。
論文 参考訳（メタデータ） (2024-08-20T12:30:37Z) - Dynamic Scene Understanding through Object-Centric Voxelization and Neural Rendering [57.895846642868904]
オブジェクト中心学習が可能な動的シーンのための3次元生成モデルDynaVol-Sを提案する。
ボキセル化は、個々の空間的位置において、物体ごとの占有確率を推定する。
提案手法は2次元セマンティックな特徴を統合して3次元セマンティック・グリッドを作成し,複数の不整合ボクセル・グリッドを通してシーンを表現する。
論文 参考訳（メタデータ） (2024-07-30T15:33:58Z) - FMGS: Foundation Model Embedded 3D Gaussian Splatting for Holistic 3D Scene Understanding [11.118857208538039]
基礎モデルの視覚言語埋め込みを3次元ガウススプラッティング(GS)に組み込んだ基礎モデル埋め込みガウススプラッティング(S)を提案する。
結果は、多面的なセマンティック一貫性を示し、様々な下流タスクを容易にし、オープン語彙言語に基づくオブジェクト検出において、最先端のメソッドを10.2%上回った。
本研究では,視覚・言語・3次元シーン表現の交わりについて検討し,制御されていない現実世界環境におけるシーン理解の強化の道を開く。
論文 参考訳（メタデータ） (2024-01-03T20:39:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。