論文の概要: AutoSplat: Constrained Gaussian Splatting for Autonomous Driving Scene Reconstruction
- arxiv url: http://arxiv.org/abs/2407.02598v1
- Date: Tue, 2 Jul 2024 18:36:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-04 18:33:58.497601
- Title: AutoSplat: Constrained Gaussian Splatting for Autonomous Driving Scene Reconstruction
- Title（参考訳）: AutoSplat: 自動走行シーン再構築のための制約付きガウススプラッティング
- Authors: Mustafa Khan, Hamidreza Fazlali, Dhruv Sharma, Tongtong Cao, Dongfeng Bai, Yuan Ren, Bingbing Liu,
- Abstract要約: AutoSplatは、自動走行シーンの高度に現実的な再構築を実現するために、ガウシアンスプラッティングを使用したフレームワークである。
我々は、前景オブジェクトの可視面と見えない面の両方を監督するために、反射ガウス整合性制約を導入する。
PandasetとKITTIの実験では、AutoSplatは様々な運転シナリオにおけるシーン再構築と新しいビュー合成において最先端の手法より優れていることを示した。
- 参考スコア（独自算出の注目度）: 17.600027937450342
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Realistic scene reconstruction and view synthesis are essential for advancing autonomous driving systems by simulating safety-critical scenarios. 3D Gaussian Splatting excels in real-time rendering and static scene reconstructions but struggles with modeling driving scenarios due to complex backgrounds, dynamic objects, and sparse views. We propose AutoSplat, a framework employing Gaussian splatting to achieve highly realistic reconstructions of autonomous driving scenes. By imposing geometric constraints on Gaussians representing the road and sky regions, our method enables multi-view consistent simulation of challenging scenarios including lane changes. Leveraging 3D templates, we introduce a reflected Gaussian consistency constraint to supervise both the visible and unseen side of foreground objects. Moreover, to model the dynamic appearance of foreground objects, we estimate residual spherical harmonics for each foreground Gaussian. Extensive experiments on Pandaset and KITTI demonstrate that AutoSplat outperforms state-of-the-art methods in scene reconstruction and novel view synthesis across diverse driving scenarios. Visit our $\href{https://autosplat.github.io/}{\text{project page}}$.
- Abstract（参考訳）: 安全クリティカルなシナリオをシミュレートすることで、自律走行システムの進行に現実的なシーン再構築とビュー合成が不可欠である。
3D Gaussian Splattingは、リアルタイムレンダリングと静的なシーン再構築に優れていますが、複雑な背景、動的オブジェクト、スパースビューによる駆動シナリオのモデリングに苦労しています。
本稿では,自律走行シーンの高度に現実的な再構築を実現するために,ガウススプラッティングを用いたAutoSplatを提案する。
道路および空域を表すガウス多様体に幾何的制約を課すことにより,車線変更を含む課題シナリオの多視点一貫したシミュレーションを可能にする。
3Dテンプレートを活用することで,前景オブジェクトの視界と視界の両面を監督するガウス整合性制約を導入する。
さらに,前景の動的外観をモデル化するために,各前景ガウスの残留球面高調波を推定する。
PandasetとKITTIの大規模な実験により、AutoSplatは様々な運転シナリオにおけるシーン再構築と新しいビュー合成において最先端の手法より優れていることが示された。
当社の$\href{https://autosplat.github.io/}{\text{project page}}$をご覧ください。
関連論文リスト
- EMD: Explicit Motion Modeling for High-Quality Street Gaussian Splatting [22.590036750925627]
ストリートシーンの光現実的再構築は、自動運転における実世界のシミュレータの開発に不可欠である。
3D/4Dガウス散乱(GS)に基づく最近の手法は有望な結果を示したが、動的物体の予測不可能な動きのため、複雑な街路シーンではまだ課題に直面している。
本稿では,ガウス人に学習可能な動作埋め込みを導入することで,動的物体の運動をモデル化するEMD(Explicit Motion Decomposition)を提案する。
論文 参考訳（メタデータ） (2024-11-23T15:10:04Z) - DeSiRe-GS: 4D Street Gaussians for Static-Dynamic Decomposition and Surface Reconstruction for Urban Driving Scenes [71.61083731844282]
本稿では,自己教師型ガウススプラッティング表現であるDeSiRe-GSについて述べる。
複雑な駆動シナリオにおいて、効率的な静的・動的分解と高忠実な表面再構成を可能にする。
論文 参考訳（メタデータ） (2024-11-18T05:49:16Z) - OmniRe: Omni Urban Scene Reconstruction [78.99262488964423]
デバイス上でのログから高忠実度な都市景観を効率的に再構築するための総合的アプローチであるOmniReを紹介する。
我々はOmniReという名前のシーンを駆動するための総合的な3DGSフレームワークを提案する。
論文 参考訳（メタデータ） (2024-08-29T17:56:33Z) - Street Gaussians: Modeling Dynamic Urban Scenes with Gaussian Splatting [32.59889755381453]
近年の手法では、走行中の車両のポーズをアニメーションに取り入れてNeRFを拡張し、ダイナミックな街路シーンのリアルな視認を可能にしている。
この制限に対処する新たな明示的なシーン表現であるStreet Gaussiansを紹介します。
提案手法は,全データセットで常に最先端の手法より優れる。
論文 参考訳（メタデータ） (2024-01-02T18:59:55Z) - DrivingGaussian: Composite Gaussian Splatting for Surrounding Dynamic Autonomous Driving Scenes [57.12439406121721]
我々は動的自律走行シーンを囲む効率的かつ効果的なフレームワークであるDrivingGaussianを提案する。
動くオブジェクトを持つ複雑なシーンでは、まずシーン全体の静的な背景を逐次、段階的にモデル化します。
次に、複合動的ガウスグラフを利用して、複数の移動物体を処理する。
我々はさらに、ガウススプラッティングに先立ってLiDARを使用して、より詳細でシーンを再構築し、パノラマ一貫性を維持する。
論文 参考訳（メタデータ） (2023-12-13T06:30:51Z) - Street-View Image Generation from a Bird's-Eye View Layout [95.36869800896335]
近年,Bird's-Eye View (BEV) の知覚が注目されている。
自動運転のためのデータ駆動シミュレーションは、最近の研究の焦点となっている。
本稿では,現実的かつ空間的に一貫した周辺画像を合成する条件生成モデルであるBEVGenを提案する。
論文 参考訳（メタデータ） (2023-01-11T18:39:34Z) - SceneGen: Learning to Generate Realistic Traffic Scenes [92.98412203941912]
私たちは、ルールと分布の必要性を緩和するトラフィックシーンのニューラルオートレグレッシブモデルであるSceneGenを紹介します。
実トラフィックシーンの分布を忠実にモデル化するSceneGenの能力を実証する。
論文 参考訳（メタデータ） (2021-01-16T22:51:43Z) - LiDARsim: Realistic LiDAR Simulation by Leveraging the Real World [84.57894492587053]
物理に基づくシミュレーションと学習に基づくシミュレーションの両方のパワーをキャプチャする新しいシミュレータを開発した。
まず3Dシーン上でレイキャストを行い、次にディープニューラルネットワークを用いて物理シミュレーションから偏差を生成する。
本稿では,LiDARsimが長距離イベントにおける認識アルゴリズムのテストに有用であること,および安全クリティカルシナリオにおけるエンドツーエンドのクローズループ評価について紹介する。
論文 参考訳（メタデータ） (2020-06-16T17:44:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。