論文の概要: OccGS: Zero-shot 3D Occupancy Reconstruction with Semantic and Geometric-Aware Gaussian Splatting

• arxiv url: http://arxiv.org/abs/2502.04981v1
• Date: Fri, 07 Feb 2025 14:58:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-10 14:56:28.718411
• Title: OccGS: Zero-shot 3D Occupancy Reconstruction with Semantic and Geometric-Aware Gaussian Splatting
• Title（参考訳）: OccGS:セマンティックおよび幾何学的ガウススプラッティングによるゼロショット3次元機能再建
• Authors: Xiaoyu Zhou, Jingqi Wang, Yongtao Wang, Yufei Wei, Nan Dong, Ming-Hsuan Yang,
• Abstract要約: OccGSはSemanticとGeometric-Aware Gaussian Splattingを利用した3D Occupancy再構築フレームワークである。 ガウス人からガウス人への居住を再構築するための累積的なガウスから3Dのボクセルスプラッティング法を開発した。 OccGSは、占有率予測において自己監督手法に対して好意的に機能し、完全に監督されたアプローチに匹敵するパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 46.677120329555486
• License:
• Abstract: Obtaining semantic 3D occupancy from raw sensor data without manual annotations remains an essential yet challenging task. While prior works have approached this as a perception prediction problem, we formulate it as scene-aware 3D occupancy reconstruction with geometry and semantics. In this work, we propose OccGS, a novel 3D Occupancy reconstruction framework utilizing Semantic and Geometric-Aware Gaussian Splatting in a zero-shot manner. Leveraging semantics extracted from vision-language models and geometry guided by LiDAR points, OccGS constructs Semantic and Geometric-Aware Gaussians from raw multisensor data. We also develop a cumulative Gaussian-to-3D voxel splatting method for reconstructing occupancy from the Gaussians. OccGS performs favorably against self-supervised methods in occupancy prediction, achieving comparable performance to fully supervised approaches and achieving state-of-the-art performance on zero-shot semantic 3D occupancy estimation.
• Abstract（参考訳）: 手動のアノテーションを使わずに、生のセンサーデータからセマンティック3Dを占有することは、依然として不可欠だが難しい課題である。 先行研究は、認識予測問題としてこれをアプローチしているが、幾何学と意味論によるシーン認識3Dの占有再構成として定式化している。 本研究は,セマンティックおよび幾何学的ガウス的スプラッティングをゼロショット方式で活用した,新しい3次元職業再構築フレームワークOccGSを提案する。 視覚言語モデルとLiDARポイントでガイドされた幾何から抽出されたセマンティクスを利用して、OccGSは生のマルチセンサーデータからセマンティクスと幾何学的ガウスアンを構築する。 また,ガウス人からの占有を再構築するための累積的ガウスから3Dボクセルスプラッティング法を開発した。 OccGSは、占有予測における自己監督手法に対して好意的に機能し、完全教師付きアプローチに匹敵する性能を達成し、ゼロショットセマンティック3D占有推定における最先端性能を達成する。

関連論文リスト

• PF3plat: Pose-Free Feed-Forward 3D Gaussian Splatting [54.7468067660037]
  PF3platは、設計選択を検証した包括的なアブレーション研究によってサポートされた、すべてのベンチマークに新しい最先端を設定します。 本フレームワークは,3DGSの高速,スケーラビリティ,高品質な3D再構成とビュー合成機能を活用している。
  論文  参考訳（メタデータ） (2024-10-29T15:28:15Z)
• Effective Rank Analysis and Regularization for Enhanced 3D Gaussian Splatting [33.01987451251659]
  3D Gaussian Splatting(3DGS)は、高品質な3D再構成によるリアルタイムレンダリングが可能な有望な技術として登場した。 その可能性にもかかわらず、3DGSは針状アーティファクト、準最適ジオメトリー、不正確な正常といった課題に遭遇する。 正規化として有効ランクを導入し、ガウスの構造を制約する。
  論文  参考訳（メタデータ） (2024-06-17T15:51:59Z)
• Trim 3D Gaussian Splatting for Accurate Geometry Representation [72.00970038074493]
  画像から正確な3次元形状を復元するためにTrim 3D Gaussian Splatting (TrimGS)を導入する。 実験および理論的解析により、比較的小さなガウススケールが複雑な詳細を表現・最適化する非無視因子であることが判明した。 元の3DGSと最先端の2DGSと組み合わせると、TrimGSは一貫してより正確な幾何学と高い知覚品質が得られる。
  論文  参考訳（メタデータ） (2024-06-11T17:34:46Z)
• GaussianFormer: Scene as Gaussians for Vision-Based 3D Semantic Occupancy Prediction [70.65250036489128]
  3Dのセマンティック占有予測は,周囲のシーンの3Dの微細な形状とセマンティックスを得ることを目的としている。 本稿では,3Dシーンを3Dセマンティック・ガウシアンで表現するオブジェクト中心表現を提案する。 GaussianFormerは17.8%から24.8%のメモリ消費しか持たない最先端のメソッドで同等のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-05-27T17:59:51Z)
• SA-GS: Semantic-Aware Gaussian Splatting for Large Scene Reconstruction with Geometry Constrain [43.80789481557894]
  セマンティック・アウェアな3Dガウス・スプラットを用いた細粒度3次元幾何再構成のためのSA-GSという新しい手法を提案する。 我々はSAMやDINOのような大きな視覚モデルに格納された事前情報を利用してセマンティックマスクを生成する。 我々は,新しい確率密度に基づく抽出法を用いて点雲を抽出し,ガウススプラッツを下流タスクに不可欠な点雲に変換する。
  論文  参考訳（メタデータ） (2024-05-27T08:15:10Z)
• SAGS: Structure-Aware 3D Gaussian Splatting [53.6730827668389]
  本研究では,シーンの形状を暗黙的に符号化する構造認識型ガウス散乱法(SAGS)を提案する。 SAGSは、最先端のレンダリング性能と、ベンチマークノベルビュー合成データセットのストレージ要件の削減を反映している。
  論文  参考訳（メタデータ） (2024-04-29T23:26:30Z)
• CLIP-GS: CLIP-Informed Gaussian Splatting for Real-time and View-consistent 3D Semantic Understanding [32.76277160013881]
  コントラスト言語画像事前学習(CLIP)のセマンティクスをガウススプラッティングに統合するCLIP-GSを提案する。 SACはオブジェクト内の固有の統一意味論を利用して、3Dガウスのコンパクトで効果的な意味表現を学ぶ。 また,3次元モデルから得られた多視点一貫性を利用して,3次元コヒーレント自己学習(3DCS)戦略を導入する。
  論文  参考訳（メタデータ） (2024-04-22T15:01:32Z)
• Semantic Gaussians: Open-Vocabulary Scene Understanding with 3D Gaussian Splatting [27.974762304763694]
  セマンティック・ガウシアン(Semantic Gaussians)は,3次元ガウシアン・スプレイティングをベースとした,新しいオープン語彙シーン理解手法である。 既存の手法とは異なり、様々な2次元意味的特徴を3次元ガウスの新たな意味的構成要素にマッピングする多目的投影手法を設計する。 我々は,高速な推論のために,生の3Dガウスから意味成分を直接予測する3Dセマンティックネットワークを構築した。
  論文  参考訳（メタデータ） (2024-03-22T21:28:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。