論文の概要: GaussianGraph: 3D Gaussian-based Scene Graph Generation for Open-world Scene Understanding

• arxiv url: http://arxiv.org/abs/2503.04034v1
• Date: Thu, 06 Mar 2025 02:36:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-07 15:59:45.321346
• Title: GaussianGraph: 3D Gaussian-based Scene Graph Generation for Open-world Scene Understanding
• Title（参考訳）: Gaussian Graph: オープンワールドのシーン理解のための3Dガウスベースのシーングラフ生成
• Authors: Xihan Wang, Dianyi Yang, Yu Gao, Yufeng Yue, Yi Yang, Mengyin Fu,
• Abstract要約: 本稿では,セマンティッククラスタリングとシーングラフ生成を統合し,3DGSに基づくシーン理解を強化する新しいフレームワークを提案する。 本稿では,シーンスケールや特徴分布に動的に対応し,特徴圧縮を回避する"Control-Follow"クラスタリング戦略を提案する。 2次元基礎モデルから抽出したオブジェクト属性と空間関係を統合することでシーン表現を充実させる。
• 参考スコア（独自算出の注目度）: 20.578106363482018
• License:
• Abstract: Recent advancements in 3D Gaussian Splatting(3DGS) have significantly improved semantic scene understanding, enabling natural language queries to localize objects within a scene. However, existing methods primarily focus on embedding compressed CLIP features to 3D Gaussians, suffering from low object segmentation accuracy and lack spatial reasoning capabilities. To address these limitations, we propose GaussianGraph, a novel framework that enhances 3DGS-based scene understanding by integrating adaptive semantic clustering and scene graph generation. We introduce a "Control-Follow" clustering strategy, which dynamically adapts to scene scale and feature distribution, avoiding feature compression and significantly improving segmentation accuracy. Additionally, we enrich scene representation by integrating object attributes and spatial relations extracted from 2D foundation models. To address inaccuracies in spatial relationships, we propose 3D correction modules that filter implausible relations through spatial consistency verification, ensuring reliable scene graph construction. Extensive experiments on three datasets demonstrate that GaussianGraph outperforms state-of-the-art methods in both semantic segmentation and object grounding tasks, providing a robust solution for complex scene understanding and interaction.
• Abstract（参考訳）: 近年の3D Gaussian Splatting(3DGS)の進歩はセマンティックなシーン理解を大幅に改善し、自然言語クエリがシーン内のオブジェクトをローカライズできるようになった。 しかし、既存の手法は主に圧縮されたCLIP機能を3Dガウスに埋め込むことに重点を置いており、オブジェクトのセグメンテーションの精度が低く、空間的推論能力に欠けていた。 これらの制約に対処するために,適応型セマンティッククラスタリングとシーングラフ生成を統合することで,3DGSに基づくシーン理解を強化する新しいフレームワークであるGaussianGraphを提案する。 本稿では,シーンスケールや特徴分布に動的に適応し,特徴圧縮を回避し,セグメンテーション精度を大幅に向上する"Control-Follow"クラスタリング戦略を提案する。 さらに,2次元基礎モデルから抽出したオブジェクト属性と空間関係を統合し,シーン表現を充実させる。 空間的関係における不正確な問題に対処するため,空間的整合性検証により不明瞭な関係をフィルタリングし,信頼性の高いシーングラフ構築を実現する3次元補正モジュールを提案する。 3つのデータセットに対する大規模な実験により、GaussianGraphはセマンティックセグメンテーションとオブジェクトグラウンドタスクの両方において最先端のメソッドよりも優れており、複雑なシーン理解とインタラクションのための堅牢なソリューションを提供する。

関連論文リスト

• TSGaussian: Semantic and Depth-Guided Target-Specific Gaussian Splatting from Sparse Views [18.050257821756148]
  TSGaussianは、新しいビュー合成タスクにおける幾何学的劣化を避けるために、意味的制約と深さ事前の制約を組み合わせる新しいフレームワークである。 提案手法は,バックグラウンドアロケーションを最小化しながら,指定された目標に対する計算資源の優先順位付けを行う。 大規模な実験により、TSGaussianは3つの標準データセット上で最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-12-13T11:26:38Z)
• GradiSeg: Gradient-Guided Gaussian Segmentation with Enhanced 3D Boundary Precision [11.99904956714193]
  シーンのより深いセマンティックな理解を構築するためにアイデンティティーを組み込んだ新しい3DGSベースのフレームワークGradiSegを提案する。 提案手法では,Identity Gradient Guided Densification (IGD)とLocal Adaptive K-Nearest Neighbors (LA-KNN)の2つの重要なモジュールを導入している。 その結果,GradiSは境界問題に効果的に対応し,シーン再構成の品質を損なうことなくセグメンテーション精度を大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2024-11-30T08:07:37Z)
• Bootstraping Clustering of Gaussians for View-consistent 3D Scene Understanding [59.51535163599723]
  FreeGSは、教師なしセマンティック組み込み3DGSフレームワークで、2Dラベルを必要とせずに、ビュー一貫性のある3Dシーン理解を実現する。 我々は、FreeGSが複雑なデータ前処理作業の負荷を回避しつつ、最先端のメソッドと互換性があることを示す。
  論文  参考訳（メタデータ） (2024-11-29T08:52:32Z)
• InstanceGaussian: Appearance-Semantic Joint Gaussian Representation for 3D Instance-Level Perception [17.530797215534456]
  3Dシーンの理解は、自動運転、ロボティクス、拡張現実の応用において重要な研究領域となっている。 本稿では,インスタンスを適応的に集約しながら外観や意味的特徴を共同学習する InstanceGaussian を提案する。 提案手法は,カテゴリーに依存しないオープンボキャブラリ3次元点分割における最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-11-28T16:08:36Z)
• Open-Vocabulary Octree-Graph for 3D Scene Understanding [54.11828083068082]
  Octree-Graphはオープンな3Dシーン理解のための新しいシーン表現である。 セマンティクスを記憶し、その形状に応じてオブジェクトの占有度を調節するアダプティブ・オクツリー構造を開発する。
  論文  参考訳（メタデータ） (2024-11-25T10:14:10Z)
• ShapeSplat: A Large-scale Dataset of Gaussian Splats and Their Self-Supervised Pretraining [104.34751911174196]
  ShapeNetとModelNetを用いた大規模3DGSデータセットを構築した。 データセットのShapeSplatは、87のユニークなカテゴリから65Kのオブジェクトで構成されています。 textbftextitGaussian-MAEを導入し、ガウスパラメータからの表現学習の独特な利点を強調した。
  論文  参考訳（メタデータ） (2024-08-20T14:49:14Z)
• GOI: Find 3D Gaussians of Interest with an Optimizable Open-vocabulary Semantic-space Hyperplane [53.388937705785025]
  3Dオープンボキャブラリのシーン理解は、拡張現実とロボット応用の推進に不可欠である。 GOIは2次元視覚言語基礎モデルから3次元ガウススプラッティング(3DGS)に意味的特徴を統合するフレームワークである。 提案手法では,特徴空間内の超平面分割として特徴選択処理を扱い,クエリに関連性の高い特徴のみを保持する。
  論文  参考訳（メタデータ） (2024-05-27T18:57:18Z)
• GaussianFormer: Scene as Gaussians for Vision-Based 3D Semantic Occupancy Prediction [70.65250036489128]
  3Dのセマンティック占有予測は,周囲のシーンの3Dの微細な形状とセマンティックスを得ることを目的としている。 本稿では,3Dシーンを3Dセマンティック・ガウシアンで表現するオブジェクト中心表現を提案する。 GaussianFormerは17.8%から24.8%のメモリ消費しか持たない最先端のメソッドで同等のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-05-27T17:59:51Z)
• CLIP-GS: CLIP-Informed Gaussian Splatting for Real-time and View-consistent 3D Semantic Understanding [32.76277160013881]
  コントラスト言語画像事前学習(CLIP)のセマンティクスをガウススプラッティングに統合するCLIP-GSを提案する。 SACはオブジェクト内の固有の統一意味論を利用して、3Dガウスのコンパクトで効果的な意味表現を学ぶ。 また,3次元モデルから得られた多視点一貫性を利用して,3次元コヒーレント自己学習(3DCS)戦略を導入する。
  論文  参考訳（メタデータ） (2024-04-22T15:01:32Z)
• Semantic Gaussians: Open-Vocabulary Scene Understanding with 3D Gaussian Splatting [27.974762304763694]
  セマンティック・ガウシアン(Semantic Gaussians)は,3次元ガウシアン・スプレイティングをベースとした,新しいオープン語彙シーン理解手法である。 既存の手法とは異なり、様々な2次元意味的特徴を3次元ガウスの新たな意味的構成要素にマッピングする多目的投影手法を設計する。 我々は,高速な推論のために,生の3Dガウスから意味成分を直接予測する3Dセマンティックネットワークを構築した。
  論文  参考訳（メタデータ） (2024-03-22T21:28:19Z)
• SAGD: Boundary-Enhanced Segment Anything in 3D Gaussian via Gaussian Decomposition [66.56357905500512]
  3Dガウススプラッティングは、新しいビュー合成のための代替の3D表現として登場した。 SAGDは3D-GSのための概念的にシンプルで効果的な境界拡張パイプラインである。 提案手法は粗い境界問題なく高品質な3Dセグメンテーションを実現し,他のシーン編集作業にも容易に適用できる。
  論文  参考訳（メタデータ） (2024-01-31T14:19:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。