論文の概要: MonoVoc: Decoupling Geometry and Semantics for Lightweight Monocular Open-Vocabulary 3D Gaussians
- arxiv url: http://arxiv.org/abs/2607.28300v1
- Date: Thu, 30 Jul 2026 14:41:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-31 21:37:00.61017
- Title: MonoVoc: Decoupling Geometry and Semantics for Lightweight Monocular Open-Vocabulary 3D Gaussians
- Title（参考訳）: MonoVoc: 軽量モノクラーオープン3次元ガウスのための幾何学と意味論の分離
- Abstract要約: オープンな語彙の3Dシーン理解は、ユーザーが自然言語を使って直感的に検索し、再建された環境をナビゲートすることを可能にする、次世代の対話システムにとって不可欠である。
本稿では,3次元幾何学的再構成を意味的統合から明確に切り離すことにより,このパラダイムを根本的に再定義する,新たな学習自由パイプラインを提案する。
- 参考スコア（独自算出の注目度）: 10.451279636801301
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Open vocabulary 3D scene understanding is essential for next-generation interactive systems, empowering users to intuitively query and navigate reconstructed environments using natural language. However, current 3D Gaussian frameworks are often bottlenecked by restrictive multiview capture requirements, costly scene-specific optimization, and the massive memory overhead of storing dense language features. We present a novel, training-free pipeline that fundamentally reimagines this paradigm by explicitly decoupling 3D geometric reconstruction from semantic integration. Given a standard monocular video sequence as input, our method efficiently outputs a compact, highly interpretable, and fully searchable object-level semantic Gaussian map. Rather than entangling heavy language embeddings within the mapping loop, we extract geometry independently and ground semantics through a lightweight, modular post-processing framework. Extensive evaluations on the Replica dataset demonstrate that this decoupled architecture preserves strong rendering fidelity and competitive segmentation accuracy. Crucially, by replacing dense per-Gaussian storage with modular, object-level semantic embeddings, our approach delivers an order-of-magnitude reduction in memory usage compared to SOTA baselines. This provides a highly efficient, scalable, and practical solution for open-vocabulary 3D retrieval and question answering directly from everyday monocular video.
- Abstract（参考訳）: オープンな語彙の3Dシーン理解は、ユーザーが自然言語を使って直感的に検索し、再建された環境をナビゲートすることを可能にする、次世代の対話システムにとって不可欠である。
しかし、現在の3D Gaussianフレームワークは、制限のあるマルチビューキャプチャ要件、コストのかかるシーン固有の最適化、そして高密度な言語機能を格納する際のメモリオーバーヘッドによってボトルネックになることが多い。
本稿では,3次元幾何学的再構成を意味的統合から明確に切り離すことにより,このパラダイムを根本的に再定義する,新たな学習自由パイプラインを提案する。
入力として標準単眼ビデオシーケンスが与えられた場合,提案手法はコンパクトで,解釈可能で,完全に検索可能なオブジェクトレベルの意味ガウスマップを効率よく出力する。
マッピングループ内に重言語を埋め込むのではなく、軽量でモジュール化された後処理フレームワークを通じて、幾何学と接地セマンティクスを独立して抽出する。
Replicaデータセットの大規模な評価は、この分離されたアーキテクチャが強いレンダリング忠実さと競合セグメンテーションの精度を保っていることを示している。
重要なことは、ガウス単位の高密度ストレージをモジュラーなオブジェクトレベルのセマンティック埋め込みに置き換えることで、SOTAベースラインと比較して、メモリ使用量のオーダー・オブ・マグニチュード削減を実現している。
これは、日常的なモノクロビデオから直接、オープンな3D検索と質問応答のための、高度に効率的でスケーラブルで実用的なソリューションを提供する。
関連論文リスト
- QueryGaussian: Scalable and Training-Free Open-Vocabulary 3D Instance Retrieval [19.833205230045074]
QueryGaussianは、高速でスケーラブルなオープンな3Dインスタンス検索のためのトレーニング不要のフレームワークである。
トレーニング済みの2次元視覚モデルを用いて,ユーザのプロンプトを解釈し,セグメンテーションマスクを3Dに変換する。
また,プロジェクションのあいまいさを軽減するため,多段適応密度クラスタリングを備えた時間融合モジュールを導入する。
論文 参考訳（メタデータ） (2026-06-18T02:57:35Z) - LangFlash: Feed-forward 3D Language Gaussian Splatting from Sparse Unposed Images [30.52329450141629]
LangFlashは3D言語ガウススプティングのためのフィードフォワードフレームワークである。
LangFlashは、単一の前方パスでジオメトリとセマンティクスを直接予測する。
本稿では,グローバルな意味辞書と局所的に変化する原単位の重みを結合したスパース意味符号化方式を提案する。
論文 参考訳（メタデータ） (2026-05-22T06:59:00Z) - OpenGaFF: Open-Vocabulary Gaussian Feature Field with Codebook Attention [80.51557267896938]
オープンな3Dシーン理解のための新しいフレームワークであるOpenGaFFについて述べる。
我々の手法の中核はガウス的特徴場であり、ガウス幾何学と外見の連続関数として意味論をモデル化する。
オブジェクトレベルのセマンティック一貫性をさらに強化するために、共有セマンティックプリミティブのセットとして機能する構造化コードブックを導入する。
論文 参考訳（メタデータ） (2026-05-07T12:10:07Z) - Point Cloud as a Foreign Language for Multi-modal Large Language Model [22.63554774942836]
SAGEは、トレーニング済みの3Dエンコーダに頼ることなく、生の点雲を直接処理する最初のエンドツーエンドの3D MLLMである。
提案手法では, 幾何サンプリングと近傍凝集とベクトル量子化を組み合わせた軽量な3次元トークン化器を導入し, 点雲を離散トークンに変換する。
論文 参考訳（メタデータ） (2026-03-10T04:22:40Z) - FLEG: Feed-Forward Language Embedded Gaussian Splatting from Any Views [52.02871618456553]
FLEGは、言語に埋め込まれた3Dガウシアンをあらゆる視点から再構築するフィードフォワードネットワークである。
任意の非校正画像から2次元から3次元へのリフトのための3Dアノテーションのないトレーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2025-12-19T13:04:13Z) - C3G: Learning Compact 3D Representations with 2K Gaussians [55.04010158339562]
近年の手法では3次元ガウススプラッティングを再構成に用い, シーン理解のための2D-to-3D機能昇降ステージが提案されている。
提案するC3Gは,空間的にのみコンパクトな3次元ガウスを推定する新しいフィードフォワードフレームワークである。
論文 参考訳（メタデータ） (2025-12-03T17:59:05Z) - SegSplat: Feed-forward Gaussian Splatting and Open-Set Semantic Segmentation [114.57192386025373]
SegSplatは、高速でフィードフォワードな3D再構成とリッチでオープンなセマンティック理解のギャップを埋めるために設計された、新しいフレームワークである。
この研究は、意味的に認識された3D環境の実践的でオンザフライな生成に向けた重要なステップである。
論文 参考訳（メタデータ） (2025-11-23T10:26:38Z) - OpenGS-Fusion: Open-Vocabulary Dense Mapping with Hybrid 3D Gaussian Splatting for Refined Object-Level Understanding [17.524454394142477]
提案するOpenGS-Fusionは、セマンティックモデリングを改善し、オブジェクトレベルの理解を洗練させる革新的なオープン語彙密集型マッピングフレームワークである。
また,MLLM-Assisted Adaptive Thresholding という新しい多モーダル言語誘導手法を導入し,類似度閾値を適応的に調整することで3次元オブジェクトのセグメンテーションを改良する。
提案手法は,3次元オブジェクト理解とシーン再構築の品質において,既存の手法よりも優れており,言語誘導シーンインタラクションにおけるその効果を示している。
論文 参考訳（メタデータ） (2025-08-02T02:22:36Z) - Training-Free Hierarchical Scene Understanding for Gaussian Splatting with Superpoint Graphs [16.153129392697885]
ガウス原始体から直接スーパーポイントグラフを構築する訓練自由フレームワークを導入する。
スーパーポイントグラフはシーンを空間的にコンパクトでセマンティックなコヒーレントな領域に分割し、ビュー一貫性の3Dエンティティを形成する。
提案手法は,30時間以上のセグメンテーションを高速化し,最先端のオープン語彙セグメンテーション性能を実現する。
論文 参考訳（メタデータ） (2025-04-17T17:56:07Z) - Large Spatial Model: End-to-end Unposed Images to Semantic 3D [79.94479633598102]
大空間モデル(LSM)は、RGB画像を直接意味的放射場に処理する。
LSMは、単一のフィードフォワード操作における幾何学、外観、意味を同時に推定する。
新しい視点で言語と対話することで、多目的ラベルマップを生成することができる。
論文 参考訳（メタデータ） (2024-10-24T17:54:42Z) - Convolutional Occupancy Networks [88.48287716452002]
本稿では,オブジェクトと3Dシーンの詳細な再構築のための,より柔軟な暗黙的表現である畳み込み機能ネットワークを提案する。
畳み込みエンコーダと暗黙の占有デコーダを組み合わせることで、帰納的バイアスが組み込まれ、3次元空間における構造的推論が可能となる。
実験により,本手法は単一物体の微細な3次元再構成,大規模屋内シーンへのスケール,合成データから実データへの一般化を可能にした。
論文 参考訳（メタデータ） (2020-03-10T10:17:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。