論文の概要: Towards Realistic Scene Generation with LiDAR Diffusion Models

• arxiv url: http://arxiv.org/abs/2404.00815v2
• Date: Thu, 18 Apr 2024 19:22:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-22 19:18:16.901609
• Title: Towards Realistic Scene Generation with LiDAR Diffusion Models
• Title（参考訳）: LiDAR拡散モデルによるリアルなシーン生成に向けて
• Authors: Haoxi Ran, Vitor Guizilini, Yue Wang,
• Abstract要約: 拡散モデル(DM)はフォトリアリスティック画像合成において優れているが、LiDARシーン生成への適応は大きなハードルとなる。 我々は,LiDARシーンのリアリズムを捉えるために,LiDAR拡散モデル(LiDM)を提案する。 具体的には、実世界のLiDARパターンをシミュレートするための曲線ワイド圧縮、シーン幾何学を学ぶための点ワイド座標調整、フル3Dオブジェクトコンテキストに対するパッチワイド符号化を導入する。
• 参考スコア（独自算出の注目度）: 15.487070964070165
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion models (DMs) excel in photo-realistic image synthesis, but their adaptation to LiDAR scene generation poses a substantial hurdle. This is primarily because DMs operating in the point space struggle to preserve the curve-like patterns and 3D geometry of LiDAR scenes, which consumes much of their representation power. In this paper, we propose LiDAR Diffusion Models (LiDMs) to generate LiDAR-realistic scenes from a latent space tailored to capture the realism of LiDAR scenes by incorporating geometric priors into the learning pipeline. Our method targets three major desiderata: pattern realism, geometry realism, and object realism. Specifically, we introduce curve-wise compression to simulate real-world LiDAR patterns, point-wise coordinate supervision to learn scene geometry, and patch-wise encoding for a full 3D object context. With these three core designs, our method achieves competitive performance on unconditional LiDAR generation in 64-beam scenario and state of the art on conditional LiDAR generation, while maintaining high efficiency compared to point-based DMs (up to 107$\times$ faster). Furthermore, by compressing LiDAR scenes into a latent space, we enable the controllability of DMs with various conditions such as semantic maps, camera views, and text prompts.
• Abstract（参考訳）: 拡散モデル(DM)はフォトリアリスティック画像合成において優れているが、LiDARシーン生成への適応は大きなハードルとなる。 これは主に、点空間で動作しているDMが、その表現力の多くを消費するLiDARシーンの曲線のようなパターンと3D幾何学を保存するのに苦労しているためである。 本稿では,LiDARシーンのリアリズムを学習パイプラインに組み込むことで,LiDARシーンの現実性を捉えるために,LiDAR拡散モデル(LiDM)を提案する。 本手法は,パターンリアリズム,幾何学リアリズム,オブジェクトリアリズムの3つの主要なデシダータを対象とする。 具体的には、実世界のLiDARパターンをシミュレートするための曲線ワイド圧縮、シーン幾何学を学ぶための点ワイド座標調整、フル3Dオブジェクトコンテキストに対するパッチワイド符号化を導入する。 これら3つのコア設計により,64ビームシナリオにおける非条件付きLiDAR生成と条件付きLiDAR生成の最先端化を両立させるとともに,点ベースDMに比べて高い効率(最大107$\times$ faster)を維持しながら,非条件付きLiDAR生成の競争性能を実現する。 さらに、LiDARシーンを潜在空間に圧縮することにより、セマンティックマップ、カメラビュー、テキストプロンプトなどの様々な条件でDMの制御を可能にする。

関連論文リスト

• LiDAR-GS:Real-time LiDAR Re-Simulation using Gaussian Splatting [50.808933338389686]
  LiDARシミュレーションは、自動運転におけるクローズドループシミュレーションにおいて重要な役割を果たす。 都市景観におけるLiDARセンサスキャンをリアルタイムに再現するために,最初のLiDARガウス法であるLiDAR-GSを提案する。 我々の手法は、深度、強度、レイドロップチャンネルを同時に再現することに成功し、公開可能な大規模シーンデータセットにおけるフレームレートと品質の両方のレンダリング結果を達成する。
  論文  参考訳（メタデータ） (2024-10-07T15:07:56Z)
• Outdoor Scene Extrapolation with Hierarchical Generative Cellular Automata [70.9375320609781]
  我々は,自律走行車(AV)で多量に捕獲された大規模LiDARスキャンから微細な3次元形状を生成することを目指している。 本稿では,空間的にスケーラブルな3次元生成モデルである階層型生成セルオートマトン (hGCA) を提案する。
  論文  参考訳（メタデータ） (2024-06-12T14:56:56Z)
• LidarDM: Generative LiDAR Simulation in a Generated World [21.343346521878864]
  LidarDMは、リアルでレイアウト対応で、物理的に可視で、時間的に一貫性のあるLiDARビデオを生成することができる、新しいLiDAR生成モデルである。 我々は3次元シーンを生成するために潜時拡散モデルを使用し、それを動的アクターと組み合わせて基礎となる4次元世界を形成し、この仮想環境内で現実的な感覚観察を生成する。 提案手法は,現実性,時間的コヒーレンシ,レイアウト整合性において,競合するアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-04-03T17:59:28Z)
• UltraLiDAR: Learning Compact Representations for LiDAR Completion and Generation [51.443788294845845]
  我々は、シーンレベルのLiDAR補完、LiDAR生成、LiDAR操作のためのデータ駆動フレームワークであるUltraLiDARを提案する。 スパース点雲の表現を高密度点雲の表現に合わせることで、スパース点雲を密度化できることが示される。 個別のコードブック上で事前学習を行うことで、多種多様な現実的なLiDARポイントクラウドを自動走行のために生成できます。
  論文  参考訳（メタデータ） (2023-11-02T17:57:03Z)
• LiDAR-NeRF: Novel LiDAR View Synthesis via Neural Radiance Fields [112.62936571539232]
  本稿では,LiDARセンサのための新しいビュー合成手法を提案する。 スタイルトランスファーニューラルネットワークを用いた従来のモデルベースLiDARシミュレータは、新しいビューのレンダリングに応用できる。 ニューラル放射場(NeRF)を用いて幾何学と3D点の属性の連成学習を容易にする。
  論文  参考訳（メタデータ） (2023-04-20T15:44:37Z)
• Generative Range Imaging for Learning Scene Priors of 3D LiDAR Data [3.9447103367861542]
  本稿では,データレベルドメイン転送に適用可能なLiDARレンジ画像の生成モデルを提案する。 LiDAR測定がポイント・バイ・ポイント・レンジ・イメージングに基づくことから,暗黙的な画像表現に基づく生成対向ネットワークを訓練する。 本モデルの有効性と多様性を,ポイントベースおよびイメージベース・オブ・ザ・アーティファクト・ジェネレーティブ・モデルと比較した。
  論文  参考訳（メタデータ） (2022-10-21T06:08:39Z)
• A Shading-Guided Generative Implicit Model for Shape-Accurate 3D-Aware Image Synthesis [163.96778522283967]
  そこで本研究では,シェーディング誘導型生成暗黙モデルを提案する。 正確な3D形状は、異なる照明条件下でリアルなレンダリングをもたらす必要がある。 複数のデータセットに対する実験により,提案手法が光リアルな3次元画像合成を実現することを示す。
  論文  参考訳（メタデータ） (2021-10-29T10:53:12Z)
• Learning Indoor Inverse Rendering with 3D Spatially-Varying Lighting [149.1673041605155]
  1枚の画像からアルベド, 正常, 深さ, 3次元の空間的変化を共同で推定する問題に対処する。 既存のほとんどの方法は、シーンの3D特性を無視して、画像から画像への変換としてタスクを定式化する。 本研究では3次元空間変動照明を定式化する統合学習ベースの逆フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-13T15:29:03Z)
• DeepLiDARFlow: A Deep Learning Architecture For Scene Flow Estimation Using Monocular Camera and Sparse LiDAR [10.303618438296981]
  シーンフロー(Scene flow)とは、シーンの動きと幾何学を3Dで再現する手法である。 ほとんどの最先端の手法では、ステレオ画像のペアをフルシーン再構築のための入力として利用する。 DeepLiDARFlowは、複数のスケールで高レベルのRGBとLiDAR機能を融合する、新しいディープラーニングアーキテクチャである。
  論文  参考訳（メタデータ） (2020-08-18T19:51:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。