論文の概要: DrivingRecon: Large 4D Gaussian Reconstruction Model For Autonomous Driving

• arxiv url: http://arxiv.org/abs/2412.09043v1
• Date: Thu, 12 Dec 2024 08:10:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-13 13:32:39.242840
• Title: DrivingRecon: Large 4D Gaussian Reconstruction Model For Autonomous Driving
• Title（参考訳）: ドライビング・レコン:自動運転のための大型4Dガウスモデル
• Authors: Hao Lu, Tianshuo Xu, Wenzhao Zheng, Yunpeng Zhang, Wei Zhan, Dalong Du, Masayoshi Tomizuka, Kurt Keutzer, Yingcong Chen,
• Abstract要約: 光リアルな4次元ストリートシーンの再構築は、自動運転における実環境シミュレータの開発に不可欠である。 本稿では,汎用的な運転シーン再構築モデルであるLarge 4D Gaussian Reconstruction Model (DrivingRecon)を紹介する。 ドライビングレコンは既存の手法に比べてシーンの再現性や新しいビュー合成を著しく向上させる。
• 参考スコア（独自算出の注目度）: 83.27075316161086
• License:
• Abstract: Photorealistic 4D reconstruction of street scenes is essential for developing real-world simulators in autonomous driving. However, most existing methods perform this task offline and rely on time-consuming iterative processes, limiting their practical applications. To this end, we introduce the Large 4D Gaussian Reconstruction Model (DrivingRecon), a generalizable driving scene reconstruction model, which directly predicts 4D Gaussian from surround view videos. To better integrate the surround-view images, the Prune and Dilate Block (PD-Block) is proposed to eliminate overlapping Gaussian points between adjacent views and remove redundant background points. To enhance cross-temporal information, dynamic and static decoupling is tailored to better learn geometry and motion features. Experimental results demonstrate that DrivingRecon significantly improves scene reconstruction quality and novel view synthesis compared to existing methods. Furthermore, we explore applications of DrivingRecon in model pre-training, vehicle adaptation, and scene editing. Our code is available at https://github.com/EnVision-Research/DriveRecon.
• Abstract（参考訳）: 光リアルな4次元ストリートシーンの再構築は、自動運転における実環境シミュレータの開発に不可欠である。 しかし、既存のほとんどのメソッドは、このタスクをオフラインで実行し、時間を要する反復的なプロセスに依存し、実践的なアプリケーションを制限する。 そこで本研究では,周囲の映像から4次元ガウスを直接予測する,一般化可能な走行シーン再構築モデルであるLarge 4D Gaussian Reconstruction Model (DrivingRecon)を紹介する。 周辺視像をよりよく統合するために, Prune and Dilate Block (PD-Block) が提案され, 隣接するビュー間の重なり合うガウス点を排除し, 冗長な背景点を除去する。 時空間情報を強化するため、動的および静的デカップリングは幾何学的特徴と運動的特徴をよりよく学習するために調整される。 実験の結果, ドライビングレコンは既存の手法に比べてシーンの再現性や新しいビュー合成を著しく向上させることがわかった。 さらに, モデル事前学習, 車両適応, シーン編集における DrivingRecon の応用について検討する。 私たちのコードはhttps://github.com/EnVision-Research/DriveReconで利用可能です。

関連論文リスト

• DreamDrive: Generative 4D Scene Modeling from Street View Images [55.45852373799639]
  生成と再構成の利点を組み合わせた4次元時空間シーン生成手法であるDreamDriveを提案する。 具体的には,映像拡散モデルの生成力を利用して,映像参照のシーケンスを合成する。 次に、ガウシアンスプラッティングで3D一貫性のあるドライビングビデオをレンダリングします。
  論文  参考訳（メタデータ） (2024-12-31T18:59:57Z)
• Driv3R: Learning Dense 4D Reconstruction for Autonomous Driving [116.10577967146762]
  マルチビュー画像シーケンスからフレーム単位のポイントマップを直接回帰するフレームワークであるDriv3Rを提案する。 我々は4次元フロー予測器を用いてシーン内の移動物体を識別し、これらの動的領域の再構築をより重視する。 Driv3Rは4D動的シーン再構築において従来のフレームワークより優れており、推論速度は15倍高速である。
  論文  参考訳（メタデータ） (2024-12-09T18:58:03Z)
• Stag-1: Towards Realistic 4D Driving Simulation with Video Generation Model [83.31688383891871]
  本稿では,現実世界のシーンを再現するために,DrivinG(Stag-1)モデルのための空間-テンポラル・シミュレートを提案する。 Stag-1は、自動運転車のサラウンドビューデータを使用して、連続した4Dポイントのクラウドシーンを構築する。 空間的時間的関係を分離し、コヒーレントな運転ビデオを生成する。
  論文  参考訳（メタデータ） (2024-12-06T18:59:56Z)
• OmniRe: Omni Urban Scene Reconstruction [78.99262488964423]
  デバイス上でのログから高忠実度な都市景観を効率的に再構築するための総合的アプローチであるOmniReを紹介する。 我々はOmniReという名前のシーンを駆動するための総合的な3DGSフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-29T17:56:33Z)
• DrivingGaussian: Composite Gaussian Splatting for Surrounding Dynamic Autonomous Driving Scenes [57.12439406121721]
  我々は動的自律走行シーンを囲む効率的かつ効果的なフレームワークであるDrivingGaussianを提案する。 動くオブジェクトを持つ複雑なシーンでは、まずシーン全体の静的な背景を逐次、段階的にモデル化します。 次に、複合動的ガウスグラフを利用して、複数の移動物体を処理する。 我々はさらに、ガウススプラッティングに先立ってLiDARを使用して、より詳細でシーンを再構築し、パノラマ一貫性を維持する。
  論文  参考訳（メタデータ） (2023-12-13T06:30:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。