論文の概要: DynamicCity: Large-Scale LiDAR Generation from Dynamic Scenes

• arxiv url: http://arxiv.org/abs/2410.18084v1
• Date: Wed, 23 Oct 2024 17:59:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-24 13:54:55.884817
• Title: DynamicCity: Large-Scale LiDAR Generation from Dynamic Scenes
• Title（参考訳）: DynamicCity: ダイナミックシーンからの大規模LiDAR生成
• Authors: Hengwei Bian, Lingdong Kong, Haozhe Xie, Liang Pan, Yu Qiao, Ziwei Liu,
• Abstract要約: 大規模で高品質なLiDARシーンを生成できる新しい4D LiDAR生成フレームワークであるDynamicCityを紹介する。 特にDynamicCityは、4D LiDAR機能を6つの2D特徴マップに効果的に圧縮するために新しいプロジェクションモジュールを使用している。 特に、HexPlaneの6つの特徴面全てを正方形2次元特徴写像として再編成するために、Padded Rollout Operationを提案する。
• 参考スコア（独自算出の注目度）: 61.07023022220073
• License:
• Abstract: LiDAR scene generation has been developing rapidly recently. However, existing methods primarily focus on generating static and single-frame scenes, overlooking the inherently dynamic nature of real-world driving environments. In this work, we introduce DynamicCity, a novel 4D LiDAR generation framework capable of generating large-scale, high-quality LiDAR scenes that capture the temporal evolution of dynamic environments. DynamicCity mainly consists of two key models. 1) A VAE model for learning HexPlane as the compact 4D representation. Instead of using naive averaging operations, DynamicCity employs a novel Projection Module to effectively compress 4D LiDAR features into six 2D feature maps for HexPlane construction, which significantly enhances HexPlane fitting quality (up to 12.56 mIoU gain). Furthermore, we utilize an Expansion & Squeeze Strategy to reconstruct 3D feature volumes in parallel, which improves both network training efficiency and reconstruction accuracy than naively querying each 3D point (up to 7.05 mIoU gain, 2.06x training speedup, and 70.84% memory reduction). 2) A DiT-based diffusion model for HexPlane generation. To make HexPlane feasible for DiT generation, a Padded Rollout Operation is proposed to reorganize all six feature planes of the HexPlane as a squared 2D feature map. In particular, various conditions could be introduced in the diffusion or sampling process, supporting versatile 4D generation applications, such as trajectory- and command-driven generation, inpainting, and layout-conditioned generation. Extensive experiments on the CarlaSC and Waymo datasets demonstrate that DynamicCity significantly outperforms existing state-of-the-art 4D LiDAR generation methods across multiple metrics. The code will be released to facilitate future research.
• Abstract（参考訳）: LiDARシーン生成は近年急速に発展している。 しかし、既存の手法は主に静的および単一フレームのシーンを生成し、現実の運転環境の本質的にダイナミックな性質を見渡すことに重点を置いている。 本研究では,動的環境の時間的進化を捉えた大規模かつ高品質なLiDARシーンを生成可能な,新しい4D LiDAR生成フレームワークであるDynamicCityを紹介する。 DynamicCityは主に2つの重要なモデルで構成されている。 1)HexPlaneをコンパクトな4次元表現として学習するためのVAEモデル。 一般的な平均演算を使用する代わりに、DynamicCityは新規なプロジェクションモジュールを使用して、4D LiDAR機能を6つの2D特徴マップに効果的に圧縮し、HexPlaneの適合性を大幅に向上させる(最大12.56 mIoUゲイン)。 さらに,3D特徴量を並列に再構成し,ネットワークトレーニング効率と再構築精度を3Dポイントごとの経時的クエリよりも向上させる(最大7.05 mIoUゲイン,2.06倍のトレーニングスピードアップ,70.84%のメモリ削減)。 2) HexPlane 生成のための DiT ベースの拡散モデル。 DiT生成のためのHexPlaneを実現するために、HexPlaneの6つの特徴面すべてを2次元特徴写像として再編成するPadded Rollout Operationを提案する。 特に、拡散またはサンプリングプロセスにおいて様々な条件を導入でき、トラジェクトリおよびコマンド駆動生成、塗装、レイアウト条件付き生成など、汎用的な4D生成アプリケーションをサポートする。 CarlaSCとWaymoのデータセットに関する大規模な実験は、DynamicCityが既存の最先端の4D LiDAR生成メソッドを、複数のメトリクスで大幅に上回っていることを示している。 コードは、将来の研究を促進するためにリリースされます。

関連論文リスト

• DaRePlane: Direction-aware Representations for Dynamic Scene Reconstruction [26.39519157164198]
  DaRePlaneは、6つの異なる方向からダイナミクスをキャプチャする新しい表現手法である。 DaRePlaneは様々な複雑なダイナミックシーンのための新しいビュー合成において最先端のパフォーマンスを得る。
  論文  参考訳（メタデータ） (2024-10-18T04:19:10Z)
• Diffusion4D: Fast Spatial-temporal Consistent 4D Generation via Video Diffusion Models [116.31344506738816]
  高速でスケーラブルな4Dコンテンツ生成のための新しいフレームワーク textbfDiffusion4D を提案する。 ダイナミックな3Dアセットの軌道ビューを合成できる4D対応ビデオ拡散モデルを開発した。 提案手法は, 生成効率と4次元幾何整合性の観点から, 従来の最先端技術を超えている。
  論文  参考訳（メタデータ） (2024-05-26T17:47:34Z)
• SC4D: Sparse-Controlled Video-to-4D Generation and Motion Transfer [57.506654943449796]
  動作と外観を分離するSC4Dという,効率的でスパース制御されたビデオ・ツー・4Dフレームワークを提案する。 我々の手法は、品質と効率の両面で既存の手法を超越している。 動作を多種多様な4Dエンティティにシームレスに転送する新しいアプリケーションを考案する。
  論文  参考訳（メタデータ） (2024-04-04T18:05:18Z)
• LidarDM: Generative LiDAR Simulation in a Generated World [21.343346521878864]
  LidarDMは、リアルでレイアウト対応で、物理的に可視で、時間的に一貫性のあるLiDARビデオを生成することができる、新しいLiDAR生成モデルである。 我々は3次元シーンを生成するために潜時拡散モデルを使用し、それを動的アクターと組み合わせて基礎となる4次元世界を形成し、この仮想環境内で現実的な感覚観察を生成する。 提案手法は,現実性,時間的コヒーレンシ,レイアウト整合性において,競合するアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-04-03T17:59:28Z)
• DreamGaussian4D: Generative 4D Gaussian Splatting [56.49043443452339]
  DG4D(DreamGaussian 4D:DreamGaussian 4D)はGaussian Splatting(GS)をベースとした効率的な4D生成フレームワークである。 我々の重要な洞察は、空間変換の明示的なモデリングと静的GSを組み合わせることで、4次元生成の効率的かつ強力な表現ができるということである。 ビデオ生成手法は、高画質の4D生成を向上し、価値ある時空間前兆を提供する可能性がある。
  論文  参考訳（メタデータ） (2023-12-28T17:16:44Z)
• 4D Gaussian Splatting for Real-Time Dynamic Scene Rendering [103.32717396287751]
  本研究では,動的シーンの全体像として4D-GS(Gaussian Splatting)を提案する。 HexPlaneにインスパイアされたニューラルボクセル符号化アルゴリズムは、4Dニューラルボクセルの機能を効率的に構築するために提案されている。 我々の4D-GS法は、高解像度の82 FPSで、3090 GPUで800$times$800の解像度でリアルタイムレンダリングを実現する。
  論文  参考訳（メタデータ） (2023-10-12T17:21:41Z)
• LiDAR Data Synthesis with Denoising Diffusion Probabilistic Models [1.1965844936801797]
  3D LiDARデータの生成モデリングは、自律移動ロボットに有望な応用をもたらす新たな課題である。 我々は,多種多様かつ高忠実な3Dシーンポイント雲を生成可能な,LiDARデータのための新しい生成モデルR2DMを提案する。 本手法は拡散確率モデル (DDPM) を用いて構築され, 生成モデルフレームワークにおいて顕著な結果が得られた。
  論文  参考訳（メタデータ） (2023-09-17T12:26:57Z)
• HexPlane: A Fast Representation for Dynamic Scenes [18.276921637560445]
  動的3Dシーンは、6つの学習された特徴の平面で明示的に表現できることを示し、HexPlaneと呼ばれるエレガントなソリューションを生み出します。 HexPlaneは、高効率な各平面から抽出されたベクトルを融合させることにより、時空の点の特徴を計算する。
  論文  参考訳（メタデータ） (2023-01-23T18:59:25Z)
• LiDAR-based 4D Panoptic Segmentation via Dynamic Shifting Network [56.71765153629892]
  本稿では,ポイントクラウド領域における効果的な単視分割フレームワークとして機能する動的シフトネットワーク(DS-Net)を提案する。 提案するDS-Netは,両タスクの現在の最先端手法よりも優れた精度を実現する。 DS-Netを4次元パノプティカルLiDARセグメンテーションに拡張し、一列のLiDARフレーム上で時間的に統一されたインスタンスクラスタリングを行う。
  論文  参考訳（メタデータ） (2022-03-14T15:25:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。