論文の概要: GaussianGraph: 3D Gaussian-based Scene Graph Generation for Open-world Scene Understanding
- arxiv url: http://arxiv.org/abs/2503.04034v1
- Date: Thu, 06 Mar 2025 02:36:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-07 17:59:00.646826
- Title: GaussianGraph: 3D Gaussian-based Scene Graph Generation for Open-world Scene Understanding
- Title（参考訳）: Gaussian Graph: オープンワールドのシーン理解のための3Dガウスベースのシーングラフ生成
- Authors: Xihan Wang, Dianyi Yang, Yu Gao, Yufeng Yue, Yi Yang, Mengyin Fu,
- Abstract要約: 本稿では,セマンティッククラスタリングとシーングラフ生成を統合し,3DGSに基づくシーン理解を強化する新しいフレームワークを提案する。
本稿では,シーンスケールや特徴分布に動的に対応し,特徴圧縮を回避する"Control-Follow"クラスタリング戦略を提案する。
2次元基礎モデルから抽出したオブジェクト属性と空間関係を統合することでシーン表現を充実させる。
- 参考スコア（独自算出の注目度）: 20.578106363482018
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advancements in 3D Gaussian Splatting(3DGS) have significantly improved semantic scene understanding, enabling natural language queries to localize objects within a scene. However, existing methods primarily focus on embedding compressed CLIP features to 3D Gaussians, suffering from low object segmentation accuracy and lack spatial reasoning capabilities. To address these limitations, we propose GaussianGraph, a novel framework that enhances 3DGS-based scene understanding by integrating adaptive semantic clustering and scene graph generation. We introduce a "Control-Follow" clustering strategy, which dynamically adapts to scene scale and feature distribution, avoiding feature compression and significantly improving segmentation accuracy. Additionally, we enrich scene representation by integrating object attributes and spatial relations extracted from 2D foundation models. To address inaccuracies in spatial relationships, we propose 3D correction modules that filter implausible relations through spatial consistency verification, ensuring reliable scene graph construction. Extensive experiments on three datasets demonstrate that GaussianGraph outperforms state-of-the-art methods in both semantic segmentation and object grounding tasks, providing a robust solution for complex scene understanding and interaction.
- Abstract（参考訳）: 近年の3D Gaussian Splatting(3DGS)の進歩はセマンティックなシーン理解を大幅に改善し、自然言語クエリがシーン内のオブジェクトをローカライズできるようになった。
しかし、既存の手法は主に圧縮されたCLIP機能を3Dガウスに埋め込むことに重点を置いており、オブジェクトのセグメンテーションの精度が低く、空間的推論能力に欠けていた。
これらの制約に対処するために,適応型セマンティッククラスタリングとシーングラフ生成を統合することで,3DGSに基づくシーン理解を強化する新しいフレームワークであるGaussianGraphを提案する。
本稿では,シーンスケールや特徴分布に動的に適応し,特徴圧縮を回避し,セグメンテーション精度を大幅に向上する"Control-Follow"クラスタリング戦略を提案する。
さらに,2次元基礎モデルから抽出したオブジェクト属性と空間関係を統合し,シーン表現を充実させる。
空間的関係における不正確な問題に対処するため,空間的整合性検証により不明瞭な関係をフィルタリングし,信頼性の高いシーングラフ構築を実現する3次元補正モジュールを提案する。
3つのデータセットに対する大規模な実験により、GaussianGraphはセマンティックセグメンテーションとオブジェクトグラウンドタスクの両方において最先端のメソッドよりも優れており、複雑なシーン理解とインタラクションのための堅牢なソリューションを提供する。
関連論文リスト
- CAGS: Open-Vocabulary 3D Scene Understanding with Context-Aware Gaussian Splatting [18.581169318975046]
3D Gaussian Splatting (3DGS) はシーン再構築のための強力な表現を提供するが、相互視の粒度の不整合は問題である。
空間コンテキストを3DGSに組み込んだ新しいフレームワークCAGSを提案する。
CAGSは3Dインスタンスのセグメンテーションを大幅に改善し、LERF-OVSやScanNetといったデータセットのフラグメンテーションエラーを低減する。
論文 参考訳（メタデータ） (2025-04-16T09:20:03Z) - COB-GS: Clear Object Boundaries in 3DGS Segmentation Based on Boundary-Adaptive Gaussian Splitting [67.03992455145325]
3D Gaussian Splatting(3DGS)に基づく3Dセグメンテーションは、オブジェクトの境界を正確に記述するのに苦労する。
セグメンテーション精度の向上を目的とした3DGS(COB-GS)のためのクリアオブジェクト境界を導入する。
意味指導には境界適応型ガウス分割法を導入する。
視覚的最適化のために、3DGSシーンの劣化したテクスチャを補正する。
論文 参考訳（メタデータ） (2025-03-25T08:31:43Z) - OpenGS-SLAM: Open-Set Dense Semantic SLAM with 3D Gaussian Splatting for Object-Level Scene Understanding [20.578106363482018]
OpenGS-SLAMは3次元ガウス表現を利用して、オープンセット環境で密接なセマンティックSLAMを実行する革新的なフレームワークである。
本システムは,2次元モデルから派生した明示的なセマンティックラベルを3次元ガウスフレームワークに統合し,ロバストな3次元オブジェクトレベルの理解を容易にする。
本手法は従来の手法に比べて10倍高速なセマンティックレンダリングと2倍のストレージコストを実現する。
論文 参考訳（メタデータ） (2025-03-03T15:23:21Z) - TSGaussian: Semantic and Depth-Guided Target-Specific Gaussian Splatting from Sparse Views [18.050257821756148]
TSGaussianは、新しいビュー合成タスクにおける幾何学的劣化を避けるために、意味的制約と深さ事前の制約を組み合わせる新しいフレームワークである。
提案手法は,バックグラウンドアロケーションを最小化しながら,指定された目標に対する計算資源の優先順位付けを行う。
大規模な実験により、TSGaussianは3つの標準データセット上で最先端の手法より優れていることが示された。
論文 参考訳（メタデータ） (2024-12-13T11:26:38Z) - GradiSeg: Gradient-Guided Gaussian Segmentation with Enhanced 3D Boundary Precision [11.99904956714193]
シーンのより深いセマンティックな理解を構築するためにアイデンティティーを組み込んだ新しい3DGSベースのフレームワークGradiSegを提案する。
提案手法では,Identity Gradient Guided Densification (IGD)とLocal Adaptive K-Nearest Neighbors (LA-KNN)の2つの重要なモジュールを導入している。
その結果,GradiSは境界問題に効果的に対応し,シーン再構成の品質を損なうことなくセグメンテーション精度を大幅に向上することがわかった。
論文 参考訳（メタデータ） (2024-11-30T08:07:37Z) - Bootstraping Clustering of Gaussians for View-consistent 3D Scene Understanding [59.51535163599723]
FreeGSは、教師なしセマンティック組み込み3DGSフレームワークで、2Dラベルを必要とせずに、ビュー一貫性のある3Dシーン理解を実現する。
我々は、FreeGSが複雑なデータ前処理作業の負荷を回避しつつ、最先端のメソッドと互換性があることを示す。
論文 参考訳（メタデータ） (2024-11-29T08:52:32Z) - InstanceGaussian: Appearance-Semantic Joint Gaussian Representation for 3D Instance-Level Perception [17.530797215534456]
3Dシーンの理解は、自動運転、ロボティクス、拡張現実の応用において重要な研究領域となっている。
本稿では,インスタンスを適応的に集約しながら外観や意味的特徴を共同学習する InstanceGaussian を提案する。
提案手法は,カテゴリーに依存しないオープンボキャブラリ3次元点分割における最先端性能を実現する。
論文 参考訳（メタデータ） (2024-11-28T16:08:36Z) - ShapeSplat: A Large-scale Dataset of Gaussian Splats and Their Self-Supervised Pretraining [104.34751911174196]
ShapeNetとModelNetを用いた大規模3DGSデータセットを構築した。
データセットのShapeSplatは、87のユニークなカテゴリから65Kのオブジェクトで構成されています。
textbftextitGaussian-MAEを導入し、ガウスパラメータからの表現学習の独特な利点を強調した。
論文 参考訳（メタデータ） (2024-08-20T14:49:14Z) - GOI: Find 3D Gaussians of Interest with an Optimizable Open-vocabulary Semantic-space Hyperplane [53.388937705785025]
3Dオープンボキャブラリのシーン理解は、拡張現実とロボット応用の推進に不可欠である。
GOIは2次元視覚言語基礎モデルから3次元ガウススプラッティング(3DGS)に意味的特徴を統合するフレームワークである。
提案手法では,特徴空間内の超平面分割として特徴選択処理を扱い,クエリに関連性の高い特徴のみを保持する。
論文 参考訳（メタデータ） (2024-05-27T18:57:18Z) - GaussianFormer: Scene as Gaussians for Vision-Based 3D Semantic Occupancy Prediction [70.65250036489128]
3Dのセマンティック占有予測は,周囲のシーンの3Dの微細な形状とセマンティックスを得ることを目的としている。
本稿では,3Dシーンを3Dセマンティック・ガウシアンで表現するオブジェクト中心表現を提案する。
GaussianFormerは17.8%から24.8%のメモリ消費しか持たない最先端のメソッドで同等のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2024-05-27T17:59:51Z) - Semantic Gaussians: Open-Vocabulary Scene Understanding with 3D Gaussian Splatting [27.974762304763694]
セマンティック・ガウシアン(Semantic Gaussians)は,3次元ガウシアン・スプレイティングをベースとした,新しいオープン語彙シーン理解手法である。
既存の手法とは異なり、様々な2次元意味的特徴を3次元ガウスの新たな意味的構成要素にマッピングする多目的投影手法を設計する。
我々は,高速な推論のために,生の3Dガウスから意味成分を直接予測する3Dセマンティックネットワークを構築した。
論文 参考訳（メタデータ） (2024-03-22T21:28:19Z) - SAGD: Boundary-Enhanced Segment Anything in 3D Gaussian via Gaussian Decomposition [66.56357905500512]
3Dガウススプラッティングは、新しいビュー合成のための代替の3D表現として登場した。
SAGDは3D-GSのための概念的にシンプルで効果的な境界拡張パイプラインである。
提案手法は粗い境界問題なく高品質な3Dセグメンテーションを実現し,他のシーン編集作業にも容易に適用できる。
論文 参考訳（メタデータ） (2024-01-31T14:19:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。