論文の概要: Towards Realistic Scene Generation with LiDAR Diffusion Models
- arxiv url: http://arxiv.org/abs/2404.00815v2
- Date: Thu, 18 Apr 2024 19:22:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-22 19:18:16.901609
- Title: Towards Realistic Scene Generation with LiDAR Diffusion Models
- Title(参考訳): LiDAR拡散モデルによるリアルなシーン生成に向けて
- Authors: Haoxi Ran, Vitor Guizilini, Yue Wang,
- Abstract要約: 拡散モデル(DM)はフォトリアリスティック画像合成において優れているが、LiDARシーン生成への適応は大きなハードルとなる。
我々は,LiDARシーンのリアリズムを捉えるために,LiDAR拡散モデル(LiDM)を提案する。
具体的には、実世界のLiDARパターンをシミュレートするための曲線ワイド圧縮、シーン幾何学を学ぶための点ワイド座標調整、フル3Dオブジェクトコンテキストに対するパッチワイド符号化を導入する。
- 参考スコア(独自算出の注目度): 15.487070964070165
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Diffusion models (DMs) excel in photo-realistic image synthesis, but their adaptation to LiDAR scene generation poses a substantial hurdle. This is primarily because DMs operating in the point space struggle to preserve the curve-like patterns and 3D geometry of LiDAR scenes, which consumes much of their representation power. In this paper, we propose LiDAR Diffusion Models (LiDMs) to generate LiDAR-realistic scenes from a latent space tailored to capture the realism of LiDAR scenes by incorporating geometric priors into the learning pipeline. Our method targets three major desiderata: pattern realism, geometry realism, and object realism. Specifically, we introduce curve-wise compression to simulate real-world LiDAR patterns, point-wise coordinate supervision to learn scene geometry, and patch-wise encoding for a full 3D object context. With these three core designs, our method achieves competitive performance on unconditional LiDAR generation in 64-beam scenario and state of the art on conditional LiDAR generation, while maintaining high efficiency compared to point-based DMs (up to 107$\times$ faster). Furthermore, by compressing LiDAR scenes into a latent space, we enable the controllability of DMs with various conditions such as semantic maps, camera views, and text prompts.
- Abstract(参考訳): 拡散モデル(DM)はフォトリアリスティック画像合成において優れているが、LiDARシーン生成への適応は大きなハードルとなる。
これは主に、点空間で動作しているDMが、その表現力の多くを消費するLiDARシーンの曲線のようなパターンと3D幾何学を保存するのに苦労しているためである。
本稿では,LiDARシーンのリアリズムを学習パイプラインに組み込むことで,LiDARシーンの現実性を捉えるために,LiDAR拡散モデル(LiDM)を提案する。
本手法は,パターンリアリズム,幾何学リアリズム,オブジェクトリアリズムの3つの主要なデシダータを対象とする。
具体的には、実世界のLiDARパターンをシミュレートするための曲線ワイド圧縮、シーン幾何学を学ぶための点ワイド座標調整、フル3Dオブジェクトコンテキストに対するパッチワイド符号化を導入する。
これら3つのコア設計により,64ビームシナリオにおける非条件付きLiDAR生成と条件付きLiDAR生成の最先端化を両立させるとともに,点ベースDMに比べて高い効率(最大107$\times$ faster)を維持しながら,非条件付きLiDAR生成の競争性能を実現する。
さらに、LiDARシーンを潜在空間に圧縮することにより、セマンティックマップ、カメラビュー、テキストプロンプトなどの様々な条件でDMの制御を可能にする。
関連論文リスト
- LidarDM: Generative LiDAR Simulation in a Generated World [21.343346521878864]
LidarDMは、リアルでレイアウト対応で、物理的に可視で、時間的に一貫性のあるLiDARビデオを生成することができる、新しいLiDAR生成モデルである。
我々は3次元シーンを生成するために潜時拡散モデルを使用し、それを動的アクターと組み合わせて基礎となる4次元世界を形成し、この仮想環境内で現実的な感覚観察を生成する。
提案手法は,現実性,時間的コヒーレンシ,レイアウト整合性において,競合するアルゴリズムよりも優れていることを示す。
論文 参考訳(メタデータ) (2024-04-03T17:59:28Z) - Pyramid Diffusion for Fine 3D Large Scene Generation [59.346179786957]
3次元シーン生成のためのピラミッド離散拡散モデル(PDD)
この新しいアプローチでは、粗いものから細かいものまで、高品質な3Dシーンを段階的に生成できるマルチスケールモデルを採用している。
我々は,3次元大規模シーン生成のためのシンプルで効果的な粗大な戦略を最初に採用する。
論文 参考訳(メタデータ) (2023-11-20T11:24:21Z) - UltraLiDAR: Learning Compact Representations for LiDAR Completion and
Generation [51.443788294845845]
我々は、シーンレベルのLiDAR補完、LiDAR生成、LiDAR操作のためのデータ駆動フレームワークであるUltraLiDARを提案する。
スパース点雲の表現を高密度点雲の表現に合わせることで、スパース点雲を密度化できることが示される。
個別のコードブック上で事前学習を行うことで、多種多様な現実的なLiDARポイントクラウドを自動走行のために生成できます。
論文 参考訳(メタデータ) (2023-11-02T17:57:03Z) - LiDAR-NeRF: Novel LiDAR View Synthesis via Neural Radiance Fields [112.62936571539232]
本稿では,LiDARセンサのための新しいビュー合成手法を提案する。
スタイルトランスファーニューラルネットワークを用いた従来のモデルベースLiDARシミュレータは、新しいビューのレンダリングに応用できる。
ニューラル放射場(NeRF)を用いて幾何学と3D点の属性の連成学習を容易にする。
論文 参考訳(メタデータ) (2023-04-20T15:44:37Z) - Generative Range Imaging for Learning Scene Priors of 3D LiDAR Data [3.9447103367861542]
本稿では,データレベルドメイン転送に適用可能なLiDARレンジ画像の生成モデルを提案する。
LiDAR測定がポイント・バイ・ポイント・レンジ・イメージングに基づくことから,暗黙的な画像表現に基づく生成対向ネットワークを訓練する。
本モデルの有効性と多様性を,ポイントベースおよびイメージベース・オブ・ザ・アーティファクト・ジェネレーティブ・モデルと比較した。
論文 参考訳(メタデータ) (2022-10-21T06:08:39Z) - MonoDistill: Learning Spatial Features for Monocular 3D Object Detection [80.74622486604886]
本稿では,LiDAR信号からの空間情報を単分子3D検出器に導入するための簡易かつ効果的な手法を提案する。
得られたデータを用いて、ベースラインモデルと同じアーキテクチャで3D検出器をトレーニングする。
実験の結果,提案手法はベースラインモデルの性能を大幅に向上させることができることがわかった。
論文 参考訳(メタデータ) (2022-01-26T09:21:41Z) - A Shading-Guided Generative Implicit Model for Shape-Accurate 3D-Aware
Image Synthesis [163.96778522283967]
そこで本研究では,シェーディング誘導型生成暗黙モデルを提案する。
正確な3D形状は、異なる照明条件下でリアルなレンダリングをもたらす必要がある。
複数のデータセットに対する実験により,提案手法が光リアルな3次元画像合成を実現することを示す。
論文 参考訳(メタデータ) (2021-10-29T10:53:12Z) - Learning Indoor Inverse Rendering with 3D Spatially-Varying Lighting [149.1673041605155]
1枚の画像からアルベド, 正常, 深さ, 3次元の空間的変化を共同で推定する問題に対処する。
既存のほとんどの方法は、シーンの3D特性を無視して、画像から画像への変換としてタスクを定式化する。
本研究では3次元空間変動照明を定式化する統合学習ベースの逆フレームワークを提案する。
論文 参考訳(メタデータ) (2021-09-13T15:29:03Z) - Learning to Drop Points for LiDAR Scan Synthesis [5.132259673802809]
3Dシーンのジェネラティブモデリングは、モバイルロボットが信頼できない観察を改善するための重要なトピックです。
点雲に関する既存の研究のほとんどは、小さく均一な密度のデータに焦点を当てている。
移動ロボットで広く使われている3次元LiDAR点雲は、多数の点と様々な密度のために扱いにくい。
本論文では,リアルなLiDARデータを改良した2次元表現として合成する,ジェネレーティブ・アドバーサリ・ネットワークに基づく新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2021-02-23T21:53:14Z) - DeepLiDARFlow: A Deep Learning Architecture For Scene Flow Estimation
Using Monocular Camera and Sparse LiDAR [10.303618438296981]
シーンフロー(Scene flow)とは、シーンの動きと幾何学を3Dで再現する手法である。
ほとんどの最先端の手法では、ステレオ画像のペアをフルシーン再構築のための入力として利用する。
DeepLiDARFlowは、複数のスケールで高レベルのRGBとLiDAR機能を融合する、新しいディープラーニングアーキテクチャである。
論文 参考訳(メタデータ) (2020-08-18T19:51:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。