論文の概要: LidarDM: Generative LiDAR Simulation in a Generated World
- arxiv url: http://arxiv.org/abs/2404.02903v1
- Date: Wed, 3 Apr 2024 17:59:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-04 16:40:30.917767
- Title: LidarDM: Generative LiDAR Simulation in a Generated World
- Title（参考訳）: LidarDM:世代別世界における世代別LiDARシミュレーション
- Authors: Vlas Zyrianov, Henry Che, Zhijian Liu, Shenlong Wang,
- Abstract要約: LidarDMは、リアルでレイアウト対応で、物理的に可視で、時間的に一貫性のあるLiDARビデオを生成することができる、新しいLiDAR生成モデルである。
我々は3次元シーンを生成するために潜時拡散モデルを使用し、それを動的アクターと組み合わせて基礎となる4次元世界を形成し、この仮想環境内で現実的な感覚観察を生成する。
提案手法は,現実性,時間的コヒーレンシ,レイアウト整合性において,競合するアルゴリズムよりも優れていることを示す。
- 参考スコア（独自算出の注目度）: 21.343346521878864
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present LidarDM, a novel LiDAR generative model capable of producing realistic, layout-aware, physically plausible, and temporally coherent LiDAR videos. LidarDM stands out with two unprecedented capabilities in LiDAR generative modeling: (i) LiDAR generation guided by driving scenarios, offering significant potential for autonomous driving simulations, and (ii) 4D LiDAR point cloud generation, enabling the creation of realistic and temporally coherent sequences. At the heart of our model is a novel integrated 4D world generation framework. Specifically, we employ latent diffusion models to generate the 3D scene, combine it with dynamic actors to form the underlying 4D world, and subsequently produce realistic sensory observations within this virtual environment. Our experiments indicate that our approach outperforms competing algorithms in realism, temporal coherency, and layout consistency. We additionally show that LidarDM can be used as a generative world model simulator for training and testing perception models.
- Abstract（参考訳）: 我々は、リアルでレイアウト対応で、物理的に可視で、時間的にコヒーレントなLiDARビデオを生成することができる、新しいLiDAR生成モデルLidarDMを提案する。
LidarDMは、LiDAR生成モデルにおける前例のない2つの能力で際立っている。
一 運転シナリオにより誘導されたLiDAR生成であって、自律運転シミュレーションに重要な可能性を有するもの
(II) 4次元LiDAR点雲の生成により、現実的かつ時間的に整合したシーケンスの生成が可能となる。
私たちのモデルの中心は、新しい4Dワールドジェネレーションフレームワークです。
具体的には、潜時拡散モデルを用いて3次元シーンを生成し、それを動的アクターと組み合わせて基礎となる4次元世界を形成し、その仮想環境内で現実的な感覚観察を生成する。
提案手法は,現実性,時間的コヒーレンシ,レイアウト整合性において,競合するアルゴリズムよりも優れていることを示す。
また、LidarDMは、知覚モデルのトレーニングとテストのための生成ワールドモデルシミュレータとして使用できることを示す。
関連論文リスト
- DynamicCity: Large-Scale LiDAR Generation from Dynamic Scenes [61.07023022220073]
大規模で高品質なLiDARシーンを生成できる新しい4D LiDAR生成フレームワークであるDynamicCityを紹介する。
特にDynamicCityは、4D LiDAR機能を6つの2D特徴マップに効果的に圧縮するために新しいプロジェクションモジュールを使用している。
特に、HexPlaneの6つの特徴面全てを正方形2次元特徴写像として再編成するために、Padded Rollout Operationを提案する。
論文 参考訳（メタデータ） (2024-10-23T17:59:58Z) - LiDAR-GS:Real-time LiDAR Re-Simulation using Gaussian Splatting [50.808933338389686]
LiDARシミュレーションは、自動運転におけるクローズドループシミュレーションにおいて重要な役割を果たす。
都市景観におけるLiDARセンサスキャンをリアルタイムに再現するために,最初のLiDARガウス法であるLiDAR-GSを提案する。
我々の手法は、深度、強度、レイドロップチャンネルを同時に再現することに成功し、公開可能な大規模シーンデータセットにおけるフレームレートと品質の両方のレンダリング結果を達成する。
論文 参考訳（メタデータ） (2024-10-07T15:07:56Z) - Outdoor Scene Extrapolation with Hierarchical Generative Cellular Automata [70.9375320609781]
我々は,自律走行車(AV)で多量に捕獲された大規模LiDARスキャンから微細な3次元形状を生成することを目指している。
本稿では,空間的にスケーラブルな3次元生成モデルである階層型生成セルオートマトン (hGCA) を提案する。
論文 参考訳（メタデータ） (2024-06-12T14:56:56Z) - OccSora: 4D Occupancy Generation Models as World Simulators for Autonomous Driving [62.54220021308464]
自律運転のための3次元世界開発をシミュレートするために,拡散型4次元占有率生成モデルOccSoraを提案する。
OccSoraは、正確な3Dレイアウトと時間的一貫性を備えた16sビデオを生成し、運転シーンの空間的および時間的分布を理解する能力を示す。
論文 参考訳（メタデータ） (2024-05-30T17:59:42Z) - Towards Realistic Scene Generation with LiDAR Diffusion Models [15.487070964070165]
拡散モデル(DM)はフォトリアリスティック画像合成において優れているが、LiDARシーン生成への適応は大きなハードルとなる。
我々は,LiDARシーンのリアリズムを捉えるために,LiDAR拡散モデル(LiDM)を提案する。
具体的には、実世界のLiDARパターンをシミュレートするための曲線ワイド圧縮、シーン幾何学を学ぶための点ワイド座標調整、フル3Dオブジェクトコンテキストに対するパッチワイド符号化を導入する。
論文 参考訳（メタデータ） (2024-03-31T22:18:56Z) - 3D-VLA: A 3D Vision-Language-Action Generative World Model [68.0388311799959]
最近の視覚言語アクション(VLA)モデルは2D入力に依存しており、3D物理世界の広い領域との統合は欠如している。
本稿では,3次元知覚,推論,行動をシームレスにリンクする新しい基礎モデルのファウンデーションモデルを導入することにより,3D-VLAを提案する。
本実験により,3D-VLAは実環境における推論,マルチモーダル生成,計画能力を大幅に向上することが示された。
論文 参考訳（メタデータ） (2024-03-14T17:58:41Z) - A Unified Generative Framework for Realistic Lidar Simulation in Autonomous Driving Systems [10.036860459686526]
Lidarは、Autonomous Driving Systemsの知覚センサーの中で広く使われているセンサーである。
深層生成モデルは、現実的な感覚データを合成するための有望な解決策として現れてきた。
本稿では,Lidarシミュレーションの忠実度を高めるための統一的な生成フレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-25T21:55:00Z) - LiDAR Data Synthesis with Denoising Diffusion Probabilistic Models [1.1965844936801797]
3D LiDARデータの生成モデリングは、自律移動ロボットに有望な応用をもたらす新たな課題である。
我々は,多種多様かつ高忠実な3Dシーンポイント雲を生成可能な,LiDARデータのための新しい生成モデルR2DMを提案する。
本手法は拡散確率モデル (DDPM) を用いて構築され, 生成モデルフレームワークにおいて顕著な結果が得られた。
論文 参考訳（メタデータ） (2023-09-17T12:26:57Z) - NeRF-LiDAR: Generating Realistic LiDAR Point Clouds with Neural Radiance
Fields [20.887421720818892]
実世界の情報を利用してリアルなLIDAR点雲を生成する新しいLiDARシミュレーション手法であるNeRF-LIDARを提案する。
我々は,生成したLiDAR点雲上で異なる3次元セグメンテーションモデルをトレーニングすることにより,NeRF-LiDARの有効性を検証する。
論文 参考訳（メタデータ） (2023-04-28T12:41:28Z) - LiDARsim: Realistic LiDAR Simulation by Leveraging the Real World [84.57894492587053]
物理に基づくシミュレーションと学習に基づくシミュレーションの両方のパワーをキャプチャする新しいシミュレータを開発した。
まず3Dシーン上でレイキャストを行い、次にディープニューラルネットワークを用いて物理シミュレーションから偏差を生成する。
本稿では,LiDARsimが長距離イベントにおける認識アルゴリズムのテストに有用であること,および安全クリティカルシナリオにおけるエンドツーエンドのクローズループ評価について紹介する。
論文 参考訳（メタデータ） (2020-06-16T17:44:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。