論文の概要: Semantic Consistent Language Gaussian Splatting for Point-Level Open-vocabulary Querying
- arxiv url: http://arxiv.org/abs/2503.21767v2
- Date: Fri, 26 Sep 2025 17:36:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-29 14:23:57.295945
- Title: Semantic Consistent Language Gaussian Splatting for Point-Level Open-vocabulary Querying
- Title（参考訳）: 点レベル開語彙クエリのための意味一貫性言語ガウススプラッティング
- Authors: Hairong Yin, Huangying Zhan, Yi Xu, Raymond A. Yeh,
- Abstract要約: オープン語彙の3Dシーン理解は、自然言語による操作など、ロボット工学の応用にとって不可欠である。
既存の3Dガウススプラッティングの問合せ方法は、矛盾しない2Dマスクの監視にしばしば苦労する。
本稿では,セグメンテーションマスク上でのトラッキングを行い,意味的に一貫した基盤構造を確立するための新しいポイントレベルのクエリフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 25.32838673665989
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Open-vocabulary 3D scene understanding is crucial for robotics applications, such as natural language-driven manipulation, human-robot interaction, and autonomous navigation. Existing methods for querying 3D Gaussian Splatting often struggle with inconsistent 2D mask supervision and lack a robust 3D point-level retrieval mechanism. In this work, (i) we present a novel point-level querying framework that performs tracking on segmentation masks to establish a semantically consistent ground-truth for distilling the language Gaussians; (ii) we introduce a GT-anchored querying approach that first retrieves the distilled ground-truth and subsequently uses the ground-truth to query the individual Gaussians. Extensive experiments on three benchmark datasets demonstrate that the proposed method outperforms state-of-the-art performance. Our method achieves an mIoU improvement of +4.14, +20.42, and +1.7 on the LERF, 3D-OVS, and Replica datasets. These results validate our framework as a promising step toward open-vocabulary understanding in real-world robotic systems.
- Abstract（参考訳）: オープンボキャブラリの3Dシーン理解は、自然言語による操作、人間とロボットのインタラクション、自律的なナビゲーションなど、ロボット工学の応用にとって不可欠である。
既存の3Dガウススプラッティングのクエリ手法は、一貫性のない2Dマスクの監視に苦しむことが多く、堅牢な3Dポイントレベルの検索機構が欠如している。
この作品。
i) ガウス語を蒸留するための意味論的に一貫した基盤構造を確立するために, セグメンテーションマスクの追跡を行う新しい点レベルの問合せフレームワークを提案する。
(II)GT-anchoredクエリ手法を導入し,まず蒸留した接地木を抽出し,次いで接地木を用いて個別のガウス語を問合せする。
3つのベンチマークデータセットに対する大規模な実験により、提案手法が最先端の性能より優れていることが示された。
本手法は, LERF, 3D-OVS, Replicaデータセットにおいて, mIoU の +4.14, +20.42, +1.7 の改善を実現する。
これらの結果は,実世界のロボットシステムにおけるオープン語彙理解に向けた,我々の枠組みを有望なステップとして検証する。
関連論文リスト
- Trace3D: Consistent Segmentation Lifting via Gaussian Instance Tracing [27.24794829116753]
ガウススプラッティングにおける2次元視覚分割を3次元に引き上げることの課題に対処する。
既存の方法は、視界を横断する不整合な2Dマスクに悩まされ、うるさいセグメンテーション境界を生成する。
本稿では,標準ガウス表現を入力ビュー全体にわたってインスタンス重み行列で拡張するガウスインスタンス追跡(GIT)を紹介する。
論文 参考訳（メタデータ） (2025-08-05T08:54:17Z) - PanopticSplatting: End-to-End Panoptic Gaussian Splatting [20.04251473153725]
そこで我々は,オープン・ボキャブラリ・パノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノ
本手法では,クエリ誘導型ガウス分割と局所的クロスアテンションを導入し,クロスフレームアソシエーションなしで2次元のインスタンスマスクを持ち上げる。
本手法は,ScanNet-V2とScanNet++データセット上での3Dシーンパノビュータ再構成において,高い性能を示す。
論文 参考訳（メタデータ） (2025-03-23T13:45:39Z) - Rethinking End-to-End 2D to 3D Scene Segmentation in Gaussian Splatting [86.15347226865826]
We design an new end-to-end object-aware lifting approach, called Unified-Lift。
コントラスト損失を用いて学習したガウスレベルの機能を各ガウス点に拡張し、インスタンス情報をエンコードする。
LERF-Masked、Replica、Messy Roomsの3つのベンチマークで実験を行った。
論文 参考訳（メタデータ） (2025-03-18T08:42:23Z) - OpenGS-SLAM: Open-Set Dense Semantic SLAM with 3D Gaussian Splatting for Object-Level Scene Understanding [20.578106363482018]
OpenGS-SLAMは3次元ガウス表現を利用して、オープンセット環境で密接なセマンティックSLAMを実行する革新的なフレームワークである。
本システムは,2次元モデルから派生した明示的なセマンティックラベルを3次元ガウスフレームワークに統合し,ロバストな3次元オブジェクトレベルの理解を容易にする。
本手法は従来の手法に比べて10倍高速なセマンティックレンダリングと2倍のストレージコストを実現する。
論文 参考訳（メタデータ） (2025-03-03T15:23:21Z) - Planar Gaussian Splatting [42.74999794635269]
Planar Gaussian Splatting (PGS)は、3D幾何学を学習し、シーンの3D平面を解析する新しいニューラルネットワーク手法である。
PGSは3次元平面ラベルや深度監視を必要とせず、3次元平面再構成における最先端の性能を達成する。
論文 参考訳（メタデータ） (2024-12-02T19:46:43Z) - Occam's LGS: An Efficient Approach for Language Gaussian Splatting [57.00354758206751]
言語3Dガウススプラッティングのための複雑なパイプラインは、単純に不要であることを示す。
我々は,オッカムのカミソリを手作業に適用し,高効率な重み付き多視点特徴集約技術を実現する。
論文 参考訳（メタデータ） (2024-12-02T18:50:37Z) - ShapeSplat: A Large-scale Dataset of Gaussian Splats and Their Self-Supervised Pretraining [104.34751911174196]
ShapeNetとModelNetを用いた大規模3DGSデータセットを構築した。
データセットのShapeSplatは、87のユニークなカテゴリから65Kのオブジェクトで構成されています。
textbftextitGaussian-MAEを導入し、ガウスパラメータからの表現学習の独特な利点を強調した。
論文 参考訳（メタデータ） (2024-08-20T14:49:14Z) - RT-GS2: Real-Time Generalizable Semantic Segmentation for 3D Gaussian Representations of Radiance Fields [6.071025178912125]
ガウススプラッティングを用いた最初の一般化可能なセマンティックセマンティックセグメンテーション法であるRT-GS2を紹介する。
提案手法は27.03 FPSのリアルタイム性能を実現し,既存の手法に比べて901倍の高速化を実現している。
論文 参考訳（メタデータ） (2024-05-28T10:34:28Z) - GOI: Find 3D Gaussians of Interest with an Optimizable Open-vocabulary Semantic-space Hyperplane [53.388937705785025]
3Dオープンボキャブラリのシーン理解は、拡張現実とロボット応用の推進に不可欠である。
GOIは2次元視覚言語基礎モデルから3次元ガウススプラッティング(3DGS)に意味的特徴を統合するフレームワークである。
提案手法では,特徴空間内の超平面分割として特徴選択処理を扱い,クエリに関連性の高い特徴のみを保持する。
論文 参考訳（メタデータ） (2024-05-27T18:57:18Z) - SAGD: Boundary-Enhanced Segment Anything in 3D Gaussian via Gaussian Decomposition [66.56357905500512]
3Dガウススプラッティングは、新しいビュー合成のための代替の3D表現として登場した。
SAGDは3D-GSのための概念的にシンプルで効果的な境界拡張パイプラインである。
提案手法は粗い境界問題なく高品質な3Dセグメンテーションを実現し,他のシーン編集作業にも容易に適用できる。
論文 参考訳（メタデータ） (2024-01-31T14:19:03Z) - GS-SLAM: Dense Visual SLAM with 3D Gaussian Splatting [51.96353586773191]
我々は,まず3次元ガウス表現を利用したtextbfGS-SLAM を提案する。
提案手法は,地図の最適化とRGB-Dレンダリングの大幅な高速化を実現するリアルタイム微分可能なスプレイティングレンダリングパイプラインを利用する。
提案手法は,Replica,TUM-RGBDデータセット上の既存の最先端リアルタイム手法と比較して,競争性能が向上する。
論文 参考訳（メタデータ） (2023-11-20T12:08:23Z) - CAGroup3D: Class-Aware Grouping for 3D Object Detection on Point Clouds [55.44204039410225]
本稿では,CAGroup3Dという新しい2段階完全スパース3Dオブジェクト検出フレームワークを提案する。
提案手法は,まず,オブジェクト表面のボクセル上でのクラス認識型局所群戦略を活用することによって,高品質な3D提案を生成する。
不正なボクセルワイドセグメンテーションにより欠落したボクセルの特徴を回復するために,完全にスパースな畳み込み型RoIプールモジュールを構築した。
論文 参考訳（メタデータ） (2022-10-09T13:38:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。