論文の概要: LidarDM: Generative LiDAR Simulation in a Generated World
- arxiv url: http://arxiv.org/abs/2404.02903v1
- Date: Wed, 3 Apr 2024 17:59:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-04 16:40:30.917767
- Title: LidarDM: Generative LiDAR Simulation in a Generated World
- Title(参考訳): LidarDM:世代別世界における世代別LiDARシミュレーション
- Authors: Vlas Zyrianov, Henry Che, Zhijian Liu, Shenlong Wang,
- Abstract要約: LidarDMは、リアルでレイアウト対応で、物理的に可視で、時間的に一貫性のあるLiDARビデオを生成することができる、新しいLiDAR生成モデルである。
我々は3次元シーンを生成するために潜時拡散モデルを使用し、それを動的アクターと組み合わせて基礎となる4次元世界を形成し、この仮想環境内で現実的な感覚観察を生成する。
提案手法は,現実性,時間的コヒーレンシ,レイアウト整合性において,競合するアルゴリズムよりも優れていることを示す。
- 参考スコア(独自算出の注目度): 21.343346521878864
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present LidarDM, a novel LiDAR generative model capable of producing realistic, layout-aware, physically plausible, and temporally coherent LiDAR videos. LidarDM stands out with two unprecedented capabilities in LiDAR generative modeling: (i) LiDAR generation guided by driving scenarios, offering significant potential for autonomous driving simulations, and (ii) 4D LiDAR point cloud generation, enabling the creation of realistic and temporally coherent sequences. At the heart of our model is a novel integrated 4D world generation framework. Specifically, we employ latent diffusion models to generate the 3D scene, combine it with dynamic actors to form the underlying 4D world, and subsequently produce realistic sensory observations within this virtual environment. Our experiments indicate that our approach outperforms competing algorithms in realism, temporal coherency, and layout consistency. We additionally show that LidarDM can be used as a generative world model simulator for training and testing perception models.
- Abstract(参考訳): 我々は、リアルでレイアウト対応で、物理的に可視で、時間的にコヒーレントなLiDARビデオを生成することができる、新しいLiDAR生成モデルLidarDMを提案する。
LidarDMは、LiDAR生成モデルにおける前例のない2つの能力で際立っている。
一 運転シナリオにより誘導されたLiDAR生成であって、自律運転シミュレーションに重要な可能性を有するもの
(II) 4次元LiDAR点雲の生成により、現実的かつ時間的に整合したシーケンスの生成が可能となる。
私たちのモデルの中心は、新しい4Dワールドジェネレーションフレームワークです。
具体的には、潜時拡散モデルを用いて3次元シーンを生成し、それを動的アクターと組み合わせて基礎となる4次元世界を形成し、その仮想環境内で現実的な感覚観察を生成する。
提案手法は,現実性,時間的コヒーレンシ,レイアウト整合性において,競合するアルゴリズムよりも優れていることを示す。
また、LidarDMは、知覚モデルのトレーニングとテストのための生成ワールドモデルシミュレータとして使用できることを示す。
関連論文リスト
- Towards Realistic Scene Generation with LiDAR Diffusion Models [15.487070964070165]
拡散モデル(DM)はフォトリアリスティック画像合成において優れているが、LiDARシーン生成への適応は大きなハードルとなる。
我々は,LiDARシーンのリアリズムを捉えるために,LiDAR拡散モデル(LiDM)を提案する。
具体的には、実世界のLiDARパターンをシミュレートするための曲線ワイド圧縮、シーン幾何学を学ぶための点ワイド座標調整、フル3Dオブジェクトコンテキストに対するパッチワイド符号化を導入する。
論文 参考訳(メタデータ) (2024-03-31T22:18:56Z) - 3D-VLA: A 3D Vision-Language-Action Generative World Model [68.0388311799959]
最近の視覚言語アクション(VLA)モデルは2D入力に依存しており、3D物理世界の広い領域との統合は欠如している。
本稿では,3次元知覚,推論,行動をシームレスにリンクする新しい基礎モデルのファウンデーションモデルを導入することにより,3D-VLAを提案する。
本実験により,3D-VLAは実環境における推論,マルチモーダル生成,計画能力を大幅に向上することが示された。
論文 参考訳(メタデータ) (2024-03-14T17:58:41Z) - LiveHPS: LiDAR-based Scene-level Human Pose and Shape Estimation in Free
Environment [59.320414108383055]
シーンレベルの人間のポーズと形状推定のための単一LiDARに基づく新しいアプローチであるLiveHPSを提案する。
多様な人間のポーズを伴う様々なシナリオで収集される巨大な人間の動きデータセットFreeMotionを提案する。
論文 参考訳(メタデータ) (2024-02-27T03:08:44Z) - LiDAR Data Synthesis with Denoising Diffusion Probabilistic Models [1.1965844936801797]
3D LiDARデータの生成モデリングは、自律移動ロボットに有望な応用をもたらす新たな課題である。
我々は,多種多様かつ高忠実な3Dシーンポイント雲を生成可能な,LiDARデータのための新しい生成モデルR2DMを提案する。
本手法は拡散確率モデル (DDPM) を用いて構築され, 生成モデルフレームワークにおいて顕著な結果が得られた。
論文 参考訳(メタデータ) (2023-09-17T12:26:57Z) - NeRF-LiDAR: Generating Realistic LiDAR Point Clouds with Neural Radiance
Fields [20.887421720818892]
実世界の情報を利用してリアルなLIDAR点雲を生成する新しいLiDARシミュレーション手法であるNeRF-LIDARを提案する。
我々は,生成したLiDAR点雲上で異なる3次元セグメンテーションモデルをトレーニングすることにより,NeRF-LiDARの有効性を検証する。
論文 参考訳(メタデータ) (2023-04-28T12:41:28Z) - Generative Novel View Synthesis with 3D-Aware Diffusion Models [96.78397108732233]
単一入力画像から3D対応の新規ビュー合成のための拡散モデルを提案する。
提案手法は既存の2次元拡散バックボーンを利用するが,重要な点として,幾何学的先行を3次元特徴体積の形で組み込む。
新たなビュー生成に加えて,本手法は3次元一貫性シーケンスを自己回帰的に合成する機能を備えている。
論文 参考訳(メタデータ) (2023-04-05T17:15:47Z) - Learning Versatile 3D Shape Generation with Improved AR Models [91.87115744375052]
自己回帰(AR)モデルはグリッド空間の関節分布をモデル化することにより2次元画像生成において印象的な結果を得た。
本稿では3次元形状生成のための改良された自己回帰モデル(ImAM)を提案する。
論文 参考訳(メタデータ) (2023-03-26T12:03:18Z) - Learning to Simulate Realistic LiDARs [66.7519667383175]
リアルLiDARセンサのデータ駆動シミュレーションのためのパイプラインを提案する。
本モデルでは, 透明表面上の落下点などの現実的な効果を符号化できることが示される。
我々は2つの異なるLiDARセンサのモデルを学習し、それに従ってシミュレーションされたLiDARデータを改善する。
論文 参考訳(メタデータ) (2022-09-22T13:12:54Z) - A Biologically-Inspired Dual Stream World Model [0.456877715768796]
中間側頭葉(MTL)は哺乳類の体験構築システムであると考えられている。
本稿では,高次元観測から学習し,それらを文脈やコンテンツストリームに分解する新たなモデルであるDual Stream World Model (DSWM)を提案する。
この表現は強化学習基盤関数として有用であり,ダイナ様更新を用いた政策学習を支援するために生成モデルが有用であることを示す。
論文 参考訳(メタデータ) (2022-09-16T16:27:48Z) - LiDARsim: Realistic LiDAR Simulation by Leveraging the Real World [84.57894492587053]
物理に基づくシミュレーションと学習に基づくシミュレーションの両方のパワーをキャプチャする新しいシミュレータを開発した。
まず3Dシーン上でレイキャストを行い、次にディープニューラルネットワークを用いて物理シミュレーションから偏差を生成する。
本稿では,LiDARsimが長距離イベントにおける認識アルゴリズムのテストに有用であること,および安全クリティカルシナリオにおけるエンドツーエンドのクローズループ評価について紹介する。
論文 参考訳(メタデータ) (2020-06-16T17:44:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。