論文の概要: DeSiRe-GS: 4D Street Gaussians for Static-Dynamic Decomposition and Surface Reconstruction for Urban Driving Scenes
- arxiv url: http://arxiv.org/abs/2411.11921v1
- Date: Mon, 18 Nov 2024 05:49:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-20 13:36:52.508030
- Title: DeSiRe-GS: 4D Street Gaussians for Static-Dynamic Decomposition and Surface Reconstruction for Urban Driving Scenes
- Title（参考訳）: DeSiRe-GS: 4D Street Gaussians for Static-Dynamic Decomposition and Surface Reconstruction for Urban Driving Scenes
- Authors: Chensheng Peng, Chengwei Zhang, Yixiao Wang, Chenfeng Xu, Yichen Xie, Wenzhao Zheng, Kurt Keutzer, Masayoshi Tomizuka, Wei Zhan,
- Abstract要約: 本稿では,自己教師型ガウススプラッティング表現であるDeSiRe-GSについて述べる。
複雑な駆動シナリオにおいて、効率的な静的・動的分解と高忠実な表面再構成を可能にする。
- 参考スコア（独自算出の注目度）: 71.61083731844282
- License:
- Abstract: We present DeSiRe-GS, a self-supervised gaussian splatting representation, enabling effective static-dynamic decomposition and high-fidelity surface reconstruction in complex driving scenarios. Our approach employs a two-stage optimization pipeline of dynamic street Gaussians. In the first stage, we extract 2D motion masks based on the observation that 3D Gaussian Splatting inherently can reconstruct only the static regions in dynamic environments. These extracted 2D motion priors are then mapped into the Gaussian space in a differentiable manner, leveraging an efficient formulation of dynamic Gaussians in the second stage. Combined with the introduced geometric regularizations, our method are able to address the over-fitting issues caused by data sparsity in autonomous driving, reconstructing physically plausible Gaussians that align with object surfaces rather than floating in air. Furthermore, we introduce temporal cross-view consistency to ensure coherence across time and viewpoints, resulting in high-quality surface reconstruction. Comprehensive experiments demonstrate the efficiency and effectiveness of DeSiRe-GS, surpassing prior self-supervised arts and achieving accuracy comparable to methods relying on external 3D bounding box annotations. Code is available at \url{https://github.com/chengweialan/DeSiRe-GS}
- Abstract（参考訳）: 本稿では,複雑な運転シナリオにおいて,効率的な静的・動的分解と高忠実な表面再構成を可能にする,自己教師付きガウススプレイティング表現DeSiRe-GSを提案する。
提案手法では,ダイナミックストリートガウスの2段階最適化パイプラインを用いる。
第1段階では,動的環境における静的領域のみを再構成できる3次元ガウス平滑化による2次元運動マスクの抽出を行った。
これらの抽出された2次元運動前兆を微分可能な方法でガウス空間にマッピングし、第二段階の動的ガウスの効率的な定式化を利用する。
導入した幾何正規化と組み合わせることで、自動走行におけるデータ疎度に起因する過度に適合する問題に対処し、空気中に浮かぶのではなく、物体の表面と整合する物理的にもっともらしいガウスを再構成することができる。
さらに、時間と視点のコヒーレンスを確保するために、時間的相互視の整合性を導入し、高品質な表面再構成を実現する。
総合的な実験は、DeSiRe-GSの効率と有効性を実証し、従来の自己監督技術を超え、外部の3Dバウンディングボックスアノテーションに依存する手法に匹敵する精度を達成する。
コードは \url{https://github.com/chengweialan/DeSiRe-GS} で入手できる。
関連論文リスト
- CityGaussianV2: Efficient and Geometrically Accurate Reconstruction for Large-Scale Scenes [53.107474952492396]
CityGaussianV2は大規模なシーン再構築のための新しいアプローチである。
分解段階の密度化・深さ回帰手法を実装し, ぼやけたアーチファクトを除去し, 収束を加速する。
本手法は, 視覚的品質, 幾何学的精度, ストレージ, トレーニングコストの両立を図っている。
論文 参考訳（メタデータ） (2024-11-01T17:59:31Z) - Space-time 2D Gaussian Splatting for Accurate Surface Reconstruction under Complex Dynamic Scenes [30.32214593068206]
複雑なシーンにおける動的内容と閉塞に対処する時空間2次元ガウス散乱法を提案する。
具体的には、動的シーンにおける幾何学的品質を改善するために、標準2次元ガウススプラットを学習し、これらの2次元ガウススプラットを変形させる。
また, 構成不透明化戦略を導入し, 閉塞領域の表面の回復をさらに抑制する。
実世界のスパースビュービデオデータセットとモノクロダイナミックデータセットの実験は、再構築が最先端の手法より優れていることを示した。
論文 参考訳（メタデータ） (2024-09-27T15:50:36Z) - DynaSurfGS: Dynamic Surface Reconstruction with Planar-based Gaussian Splatting [13.762831851385227]
本研究では,動的シナリオのフォトリアリスティックレンダリングと高忠実な表面再構成を実現するためにDynaSurfGSを提案する。
このフレームワークはまず、4Dニューラルボクセルのガウスの特徴をプラナーベースのガウススプラッティングに組み込んで、表面の正確な再構築を容易にする。
また、ARAP(as-rigid-as-possible)制約を組み込んで、時間ステップ間の3Dガウシアン地区の局所的な剛性を維持する。
論文 参考訳（メタデータ） (2024-08-26T01:36:46Z) - Gaussian Splatting LK [0.11249583407496218]
本稿では,動的ガウススティングフレームワークにおけるネイティブワープフィールドの正規化の可能性について検討する。
フォワードワープフィールドネットワークに固有の知識を利用して解析速度場を導出できることが示される。
このルーカス・カナーデ型解析正規化により,高ダイナミックなシーンを再構成する際の優れた性能を実現することができる。
論文 参考訳（メタデータ） (2024-07-16T01:50:43Z) - GIC: Gaussian-Informed Continuum for Physical Property Identification and Simulation [60.33467489955188]
本稿では,視覚的観察を通して物理特性(システム同定)を推定する問題について検討する。
物理特性推定における幾何学的ガイダンスを容易にするために,我々は新しいハイブリッドフレームワークを提案する。
本研究では,3次元ガウス点集合としてオブジェクトを復元する動き分解に基づく動的3次元ガウスフレームワークを提案する。
抽出された物体表面に加えて、ガウスインフォームド連続体はシミュレーション中の物体マスクのレンダリングを可能にする。
論文 参考訳（メタデータ） (2024-06-21T07:37:17Z) - RoGS: Large Scale Road Surface Reconstruction based on 2D Gaussian Splatting [11.471631481453715]
道路面の再建は自動運転において重要な役割を担っている。
本稿では,2次元ガウススプラッティング (2DGS) に基づく大規模道路表面再構成手法RoGSを提案する。
我々は,様々な挑戦的な現実のシーンにおける道路表面の再構築において,優れた成果を上げた。
論文 参考訳（メタデータ） (2024-05-23T09:11:47Z) - Gaussian Opacity Fields: Efficient Adaptive Surface Reconstruction in Unbounded Scenes [50.92217884840301]
Gaussian Opacity Fields (GOF)は、シーンにおける効率的で高品質で適応的な表面再構成のための新しいアプローチである。
GOFは3Dガウスのレイトレーシングに基づくボリュームレンダリングに由来する。
GOFは、表面再構成と新しいビュー合成において、既存の3DGSベースの手法を超越している。
論文 参考訳（メタデータ） (2024-04-16T17:57:19Z) - 2D Gaussian Splatting for Geometrically Accurate Radiance Fields [50.056790168812114]
3D Gaussian Splatting (3DGS)は近年,高画質の新規ビュー合成と高速レンダリングを実現し,放射界再構成に革命をもたらした。
多視点画像から幾何学的精度の高い放射場をモデル化・再構成するための新しいアプローチである2DGS(2D Gaussian Splatting)を提案する。
競合する外観品質、高速トレーニング速度、リアルタイムレンダリングを維持しつつ、ノイズフリーかつ詳細な幾何学的再構成を可能にする。
論文 参考訳（メタデータ） (2024-03-26T17:21:24Z) - GS-SLAM: Dense Visual SLAM with 3D Gaussian Splatting [51.96353586773191]
我々は,まず3次元ガウス表現を利用したtextbfGS-SLAM を提案する。
提案手法は,地図の最適化とRGB-Dレンダリングの大幅な高速化を実現するリアルタイム微分可能なスプレイティングレンダリングパイプラインを利用する。
提案手法は,Replica,TUM-RGBDデータセット上の既存の最先端リアルタイム手法と比較して,競争性能が向上する。
論文 参考訳（メタデータ） (2023-11-20T12:08:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。