論文の概要: LiDAR-NeRF: Novel LiDAR View Synthesis via Neural Radiance Fields

• arxiv url: http://arxiv.org/abs/2304.10406v2
• Date: Fri, 14 Jul 2023 12:44:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-17 16:49:11.127963
• Title: LiDAR-NeRF: Novel LiDAR View Synthesis via Neural Radiance Fields
• Title（参考訳）: LiDAR-NeRF:ニューラルネットワークによる新しいLiDARビュー合成
• Authors: Tang Tao, Longfei Gao, Guangrun Wang, Yixing Lao, Peng Chen, Hengshuang Zhao, Dayang Hao, Xiaodan Liang, Mathieu Salzmann, Kaicheng Yu
• Abstract要約: 本稿では,LiDARセンサのための新しいビュー合成手法を提案する。 スタイルトランスファーニューラルネットワークを用いた従来のモデルベースLiDARシミュレータは、新しいビューのレンダリングに応用できる。 ニューラル放射場(NeRF)を用いて幾何学と3D点の属性の連成学習を容易にする。
• 参考スコア（独自算出の注目度）: 112.62936571539232
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce a new task, novel view synthesis for LiDAR sensors. While traditional model-based LiDAR simulators with style-transfer neural networks can be applied to render novel views, they fall short of producing accurate and realistic LiDAR patterns because the renderers rely on explicit 3D reconstruction and exploit game engines, that ignore important attributes of LiDAR points. We address this challenge by formulating, to the best of our knowledge, the first differentiable end-to-end LiDAR rendering framework, LiDAR-NeRF, leveraging a neural radiance field (NeRF) to facilitate the joint learning of geometry and the attributes of 3D points. However, simply employing NeRF cannot achieve satisfactory results, as it only focuses on learning individual pixels while ignoring local information, especially at low texture areas, resulting in poor geometry. To this end, we have taken steps to address this issue by introducing a structural regularization method to preserve local structural details. To evaluate the effectiveness of our approach, we establish an object-centric multi-view LiDAR dataset, dubbed NeRF-MVL. It contains observations of objects from 9 categories seen from 360-degree viewpoints captured with multiple LiDAR sensors. Our extensive experiments on the scene-level KITTI-360 dataset, and on our object-level NeRF-MVL show that our LiDAR-NeRF surpasses the model-based algorithms significantly.
• Abstract（参考訳）: 我々は,新しいタスクであるlidarセンサのビュー合成を提案する。 スタイルトランスファーニューラルネットワークを用いた従来のモデルベースのLiDARシミュレータは、新しいビューのレンダリングに応用できるが、レンダラーは、LiDARポイントの重要な属性を無視した、明示的な3D再構成とゲームエンジンを利用するため、正確で現実的なLiDARパターンを生成できない。 我々は、この課題に、我々の知る限り、最初の識別可能なエンドツーエンドLiDARレンダリングフレームワークであるLiDAR-NeRFを定式化し、ニューラル放射場(NeRF)を活用して幾何学と3D点の属性の合同学習を容易にする。 しかし、nerfを単純に使用するだけでは、個々のピクセルの学習にのみ焦点を合わせ、特に低テクスチャ領域において局所的な情報を無視するので、十分な結果が得られない。 そこで我々は,局所的な構造的詳細を保存するための構造的正規化手法を導入することで,この問題に対処する措置を講じた。 提案手法の有効性を評価するため,NeRF-MVLと呼ばれるオブジェクト中心の多視点LiDARデータセットを構築した。 それは、複数のLiDARセンサーで捉えた360度視点から見る9つのカテゴリの物体の観測を含んでいる。 シーンレベルのKITTI-360データセットとオブジェクトレベルのNeRF-MVLに関する広範な実験により、LiDAR-NeRFがモデルベースアルゴリズムを大幅に上回っていることが示された。

関連論文リスト

• LiDAR-GS:Real-time LiDAR Re-Simulation using Gaussian Splatting [50.808933338389686]
  LiDARシミュレーションは、自動運転におけるクローズドループシミュレーションにおいて重要な役割を果たす。 都市景観におけるLiDARセンサスキャンをリアルタイムに再現するために,最初のLiDARガウス法であるLiDAR-GSを提案する。 我々の手法は、深度、強度、レイドロップチャンネルを同時に再現することに成功し、公開可能な大規模シーンデータセットにおけるフレームレートと品質の両方のレンダリング結果を達成する。
  論文  参考訳（メタデータ） (2024-10-07T15:07:56Z)
• LiDAR4D: Dynamic Neural Fields for Novel Space-time View LiDAR Synthesis [11.395101473757443]
  我々は,新しい時空LiDARビュー合成のための微分可能なLiDAR専用フレームワークLiDAR4Dを提案する。 空間幅と大規模特性を考慮した4次元ハイブリッド表現を多平面・格子特徴と組み合わせて設計する。 LiDAR点雲の現実的な合成のために、領域横断パターンを保存するために、レイドロップ確率のグローバル最適化を取り入れる。
  論文  参考訳（メタデータ） (2024-04-03T13:39:29Z)
• Mesh2NeRF: Direct Mesh Supervision for Neural Radiance Field Representation and Generation [51.346733271166926]
  Mesh2NeRFは、3次元生成タスクのためのテクスチャメッシュから地上構造放射場を導出するアプローチである。 各種タスクにおけるMesh2NeRFの有効性を検証する。
  論文  参考訳（メタデータ） (2024-03-28T11:22:53Z)
• PC-NeRF: Parent-Child Neural Radiance Fields Using Sparse LiDAR Frames in Autonomous Driving Environments [3.1969023045814753]
  親子ニューラルレイディアンス場(PC-NeRF)と呼ばれる3次元シーン再構成と新しいビュー合成フレームワークを提案する。 PC-NeRFは、シーン、セグメント、ポイントレベルを含む階層的な空間分割とマルチレベルシーン表現を実装している。 広範にわたる実験により,PC-NeRFは大規模シーンにおける高精度なLiDARビュー合成と3次元再構成を実現することが証明された。
  論文  参考訳（メタデータ） (2024-02-14T17:16:39Z)
• Neural LiDAR Fields for Novel View Synthesis [80.45307792404685]
  本稿では,LiDAR計測からニューラルネットワークシーンの表現を最適化する手法であるLiDAR(NFL)について述べる。 NFLは、ニューラルネットワークのレンダリングパワーと、LiDARセンシングプロセスの詳細な物理的動機付けモデルを組み合わせる。 合成されたビューの改良されたリアリズムは、ドメインギャップを実際のスキャンに狭め、より良い登録とセマンティックセグメンテーション性能に変換することを示す。
  論文  参考訳（メタデータ） (2023-05-02T17:55:38Z)
• NeRF-LiDAR: Generating Realistic LiDAR Point Clouds with Neural Radiance Fields [20.887421720818892]
  実世界の情報を利用してリアルなLIDAR点雲を生成する新しいLiDARシミュレーション手法であるNeRF-LIDARを提案する。 我々は,生成したLiDAR点雲上で異なる3次元セグメンテーションモデルをトレーニングすることにより,NeRF-LiDARの有効性を検証する。
  論文  参考訳（メタデータ） (2023-04-28T12:41:28Z)
• NeRF-LOAM: Neural Implicit Representation for Large-Scale Incremental LiDAR Odometry and Mapping [14.433784957457632]
  ニューラルドメトリー,ニューラルマッピング,メッシュ再構成の3つのモジュールからなる新しいNeRF-LOAMを提案する。 提案手法は,LiDARデータを用いた大規模環境において,最先端のオドメトリーとマッピング性能を実現するとともに,強力な一般化を実現する。
  論文  参考訳（メタデータ） (2023-03-19T16:40:36Z)
• Boosting 3D Object Detection by Simulating Multimodality on Point Clouds [51.87740119160152]
  本稿では,LiDAR 画像検出器に追従する特徴や応答をシミュレートすることで,単一モダリティ (LiDAR) 3次元物体検出器を高速化する新しい手法を提案する。 このアプローチでは、単一モダリティ検出器をトレーニングする場合のみ、LiDARイメージデータを必要とし、十分にトレーニングされた場合には、推論時にのみLiDARデータが必要である。 nuScenesデータセットの実験結果から,本手法はSOTA LiDARのみの3D検出器よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2022-06-30T01:44:30Z)
• SelfVoxeLO: Self-supervised LiDAR Odometry with Voxel-based Deep Neural Networks [81.64530401885476]
  本稿では,これら2つの課題に対処するために,自己教師型LiDARオドメトリー法(SelfVoxeLO)を提案する。 具体的には、生のLiDARデータを直接処理する3D畳み込みネットワークを提案し、3D幾何パターンをよりよく符号化する特徴を抽出する。 我々は,KITTIとApollo-SouthBayという2つの大規模データセット上での手法の性能を評価する。
  論文  参考訳（メタデータ） (2020-10-19T09:23:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。