論文の概要: $\textit{S}^3$Gaussian: Self-Supervised Street Gaussians for Autonomous Driving
- arxiv url: http://arxiv.org/abs/2405.20323v1
- Date: Thu, 30 May 2024 17:57:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-31 13:00:01.238010
- Title: $\textit{S}^3$Gaussian: Self-Supervised Street Gaussians for Autonomous Driving
- Title（参考訳）: $\textit{S}^3$Gaussian: Self-Supervised Street Gaussians for autonomous Driving
- Authors: Nan Huang, Xiaobao Wei, Wenzhao Zheng, Pengju An, Ming Lu, Wei Zhan, Masayoshi Tomizuka, Kurt Keutzer, Shanghang Zhang,
- Abstract要約: 光リアルなストリートシーンの3D再構成は、現実の自動運転シミュレータを開発する上で重要な技術である。
既存のストリート3DGS法の多くは、静的および動的要素を分解するために、トラックされた3D車両バウンディングボックスを必要とする。
動的および静的な要素を4次元整合性から分解する自己教師付きストリートガウス(textitS3$Gaussian)手法を提案する。
- 参考スコア（独自算出の注目度）: 82.82048452755394
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Photorealistic 3D reconstruction of street scenes is a critical technique for developing real-world simulators for autonomous driving. Despite the efficacy of Neural Radiance Fields (NeRF) for driving scenes, 3D Gaussian Splatting (3DGS) emerges as a promising direction due to its faster speed and more explicit representation. However, most existing street 3DGS methods require tracked 3D vehicle bounding boxes to decompose the static and dynamic elements for effective reconstruction, limiting their applications for in-the-wild scenarios. To facilitate efficient 3D scene reconstruction without costly annotations, we propose a self-supervised street Gaussian ($\textit{S}^3$Gaussian) method to decompose dynamic and static elements from 4D consistency. We represent each scene with 3D Gaussians to preserve the explicitness and further accompany them with a spatial-temporal field network to compactly model the 4D dynamics. We conduct extensive experiments on the challenging Waymo-Open dataset to evaluate the effectiveness of our method. Our $\textit{S}^3$Gaussian demonstrates the ability to decompose static and dynamic scenes and achieves the best performance without using 3D annotations. Code is available at: https://github.com/nnanhuang/S3Gaussian/.
- Abstract（参考訳）: 光リアルなストリートシーンの3D再構成は、現実の自動運転シミュレータを開発する上で重要な技術である。
運転シーンにNeRF(Neural Radiance Fields)が有効であるにもかかわらず、3D Gaussian Splatting(3DGS)は高速かつより明示的な表現のために有望な方向として現れる。
しかし、既存のストリート3DGS手法では、静的および動的要素を分解して効率的な再構築を行うために、トラックされた3次元車両バウンディングボックスが必要である。
コストのかかるアノテーションを使わずに3次元シーンの効率的な再構築を容易にするために,動的および静的な要素を4次元整合性から分解する自己教師付き街路ガウス法("\textit{S}^3$Gaussian")を提案する。
我々は各シーンを3次元ガウスアンで表現し、その明度を保存し、4次元力学をコンパクトにモデル化する空間時間場ネットワークに付随させる。
本手法の有効性を評価するために,Waymo-Openデータセットの課題について広範な実験を行った。
私たちの$\textit{S}^3$Gaussianは静的および動的シーンを分解し、3Dアノテーションを使わずに最高のパフォーマンスを達成する能力を示しています。
コードは、https://github.com/nnanhuang/S3Gaussian/で入手できる。
関連論文リスト
- EMD: Explicit Motion Modeling for High-Quality Street Gaussian Splatting [22.590036750925627]
ストリートシーンの光現実的再構築は、自動運転における実世界のシミュレータの開発に不可欠である。
3D/4Dガウス散乱(GS)に基づく最近の手法は有望な結果を示したが、動的物体の予測不可能な動きのため、複雑な街路シーンではまだ課題に直面している。
本稿では,ガウス人に学習可能な動作埋め込みを導入することで,動的物体の運動をモデル化するEMD(Explicit Motion Decomposition)を提案する。
論文 参考訳（メタデータ） (2024-11-23T15:10:04Z) - Director3D: Real-world Camera Trajectory and 3D Scene Generation from Text [61.9973218744157]
実世界の3Dシーンと適応カメラトラジェクトリの両方を生成するように設計された,堅牢なオープンワールドテキスト・ツー・3D生成フレームワークであるDirector3Dを紹介する。
Director3Dは既存の手法よりも優れており、実世界の3D生成において優れたパフォーマンスを提供する。
論文 参考訳（メタデータ） (2024-06-25T14:42:51Z) - Mani-GS: Gaussian Splatting Manipulation with Triangular Mesh [44.57625460339714]
本稿では,3DGSを直接自己適応で操作する三角形メッシュを提案する。
提案手法は,高忠実度レンダリングを維持しつつ,大きな変形,局所的な操作,軟体シミュレーションを処理可能である。
論文 参考訳（メタデータ） (2024-05-28T04:13:21Z) - GaussianFormer: Scene as Gaussians for Vision-Based 3D Semantic Occupancy Prediction [70.65250036489128]
3Dのセマンティック占有予測は,周囲のシーンの3Dの微細な形状とセマンティックスを得ることを目的としている。
本稿では,3Dシーンを3Dセマンティック・ガウシアンで表現するオブジェクト中心表現を提案する。
GaussianFormerは17.8%から24.8%のメモリ消費しか持たない最先端のメソッドで同等のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2024-05-27T17:59:51Z) - HUGS: Holistic Urban 3D Scene Understanding via Gaussian Splatting [53.6394928681237]
RGB画像に基づく都市景観の全体的理解は、難しいが重要な問題である。
我々の主な考え方は、静的な3Dガウスと動的なガウスの組合せを用いた幾何学、外観、意味論、運動の合同最適化である。
提案手法は,2次元および3次元のセマンティック情報を高精度に生成し,新たな視点をリアルタイムに描画する機能を提供する。
論文 参考訳（メタデータ） (2024-03-19T13:39:05Z) - 4D-Rotor Gaussian Splatting: Towards Efficient Novel View Synthesis for Dynamic Scenes [33.14021987166436]
異方性 4D XYZT Gaussian を用いた動的シーンの表現法である 4DRotorGS を紹介する。
4DRotorGSは空間的時間的表現として、複雑な力学と細部をモデル化する強力な能力を示している。
さらに、3090 GPUで最大277FPS、4090 GPUで最大583FPSのリアルタイムレンダリング速度を達成するために、時間スライシングとアクセラレーションのフレームワークを実装しています。
論文 参考訳（メタデータ） (2024-02-05T18:59:04Z) - 4D Gaussian Splatting for Real-Time Dynamic Scene Rendering [103.32717396287751]
本研究では,動的シーンの全体像として4D-GS(Gaussian Splatting)を提案する。
HexPlaneにインスパイアされたニューラルボクセル符号化アルゴリズムは、4Dニューラルボクセルの機能を効率的に構築するために提案されている。
我々の4D-GS法は、高解像度の82 FPSで、3090 GPUで800$times$800の解像度でリアルタイムレンダリングを実現する。
論文 参考訳（メタデータ） (2023-10-12T17:21:41Z) - SurroundOcc: Multi-Camera 3D Occupancy Prediction for Autonomous Driving [98.74706005223685]
3Dシーン理解は、視覚に基づく自動運転において重要な役割を果たす。
マルチカメラ画像を用いたSurroundOcc法を提案する。
論文 参考訳（メタデータ） (2023-03-16T17:59:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。