論文の概要: PC-NeRF: Parent-Child Neural Radiance Fields Using Sparse LiDAR Frames
in Autonomous Driving Environments
- arxiv url: http://arxiv.org/abs/2402.09325v1
- Date: Wed, 14 Feb 2024 17:16:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-15 14:18:40.932496
- Title: PC-NeRF: Parent-Child Neural Radiance Fields Using Sparse LiDAR Frames
in Autonomous Driving Environments
- Title(参考訳): PC-NeRF:自律走行環境におけるスパースLiDARフレームを用いた親子ニューラルラジアンスフィールド
- Authors: Xiuzhong Hu, Guangming Xiong, Zheng Zang, Peng Jia, Yuxuan Han, Junyi
Ma
- Abstract要約: 親子ニューラルレイディアンス場(PC-NeRF)と呼ばれる3次元シーン再構成と新しいビュー合成フレームワークを提案する。
PC-NeRFは、シーン、セグメント、ポイントレベルを含む階層的な空間分割とマルチレベルシーン表現を実装している。
広範にわたる実験により,PC-NeRFは大規模シーンにおける高精度なLiDARビュー合成と3次元再構成を実現することが証明された。
- 参考スコア(独自算出の注目度): 3.1969023045814753
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large-scale 3D scene reconstruction and novel view synthesis are vital for
autonomous vehicles, especially utilizing temporally sparse LiDAR frames.
However, conventional explicit representations remain a significant bottleneck
towards representing the reconstructed and synthetic scenes at unlimited
resolution. Although the recently developed neural radiance fields (NeRF) have
shown compelling results in implicit representations, the problem of
large-scale 3D scene reconstruction and novel view synthesis using sparse LiDAR
frames remains unexplored. To bridge this gap, we propose a 3D scene
reconstruction and novel view synthesis framework called parent-child neural
radiance field (PC-NeRF). Based on its two modules, parent NeRF and child NeRF,
the framework implements hierarchical spatial partitioning and multi-level
scene representation, including scene, segment, and point levels. The
multi-level scene representation enhances the efficient utilization of sparse
LiDAR point cloud data and enables the rapid acquisition of an approximate
volumetric scene representation. With extensive experiments, PC-NeRF is proven
to achieve high-precision novel LiDAR view synthesis and 3D reconstruction in
large-scale scenes. Moreover, PC-NeRF can effectively handle situations with
sparse LiDAR frames and demonstrate high deployment efficiency with limited
training epochs. Our approach implementation and the pre-trained models are
available at https://github.com/biter0088/pc-nerf.
- Abstract(参考訳): 大規模な3Dシーンの再構築と新しいビュー合成は、特に時間的に狭いLiDARフレームを利用する自動運転車にとって不可欠である。
しかし、従来の明示的な表現は、再構成されたシーンと合成シーンを無限の解像度で表現するための重要なボトルネックである。
最近開発されたNeRF(Near Raddiance Field)は、暗黙の表現において魅力的な結果を示しているが、大規模な3次元シーン再構成と、スパースLiDARフレームを用いた新しいビュー合成の問題は、まだ解明されていない。
このギャップを埋めるために,親子ニューラルレイディアンス場(PC-NeRF)と呼ばれる3次元シーン再構成と新しいビュー合成フレームワークを提案する。
親のNeRFと子NeRFの2つのモジュールに基づいて、このフレームワークは階層的な空間分割と、シーン、セグメント、ポイントレベルを含む複数レベルのシーン表現を実装している。
マルチレベルシーン表現は、疎LiDAR点クラウドデータの効率的な利用を促進し、近似体積シーン表現の迅速な取得を可能にする。
広範にわたる実験により,PC-NeRFは大規模シーンにおける高精度なLiDARビュー合成と3次元再構成を実現することが証明された。
さらに、PC-NeRFは、疎LiDARフレームによる状況の処理を効果的に行うことができ、限られた訓練エポックで高いデプロイメント効率を示すことができる。
私たちのアプローチ実装と事前トレーニングされたモデルは、https://github.com/biter0088/pc-nerfで利用可能です。
関連論文リスト
- SCARF: Scalable Continual Learning Framework for Memory-efficient Multiple Neural Radiance Fields [9.606992888590757]
我々は,多層パーセプトロンを用いてシーンの密度と放射場を暗黙の関数としてモデル化するニューラルレージアンス場(NeRF)を構築した。
本研究では, 既往のシーンの放射界知識を新しいモデルに転送するための, 不確実な表面知識蒸留戦略を提案する。
実験の結果,提案手法はNeRF-Synthetic, LLFF, TanksAndTemplesデータセット上での連続学習NeRFの最先端のレンダリング品質を実現する。
論文 参考訳(メタデータ) (2024-09-06T03:36:12Z) - Mesh2NeRF: Direct Mesh Supervision for Neural Radiance Field Representation and Generation [51.346733271166926]
Mesh2NeRFは、3次元生成タスクのためのテクスチャメッシュから地上構造放射場を導出するアプローチである。
各種タスクにおけるMesh2NeRFの有効性を検証する。
論文 参考訳(メタデータ) (2024-03-28T11:22:53Z) - PC-NeRF: Parent-Child Neural Radiance Fields under Partial Sensor Data
Loss in Autonomous Driving Environments [3.0170390440173023]
親子ニューラル放射場(PC-NeRF)と呼ばれる新しい3次元シーン再構成フレームワークを提案する。
大規模なシーンで高精度な3次元再構成を実現するために,提案したPC-NeRFを用いて実験を行った。
論文 参考訳(メタデータ) (2023-10-02T03:32:35Z) - Learning Neural Duplex Radiance Fields for Real-Time View Synthesis [33.54507228895688]
本研究では,NeRFを高効率メッシュベースニューラル表現に蒸留・焼成する手法を提案する。
提案手法の有効性と優位性を,各種標準データセットの広範な実験を通じて実証する。
論文 参考訳(メタデータ) (2023-04-20T17:59:52Z) - LiDAR-NeRF: Novel LiDAR View Synthesis via Neural Radiance Fields [112.62936571539232]
本稿では,LiDARセンサのための新しいビュー合成手法を提案する。
スタイルトランスファーニューラルネットワークを用いた従来のモデルベースLiDARシミュレータは、新しいビューのレンダリングに応用できる。
ニューラル放射場(NeRF)を用いて幾何学と3D点の属性の連成学習を容易にする。
論文 参考訳(メタデータ) (2023-04-20T15:44:37Z) - Grid-guided Neural Radiance Fields for Large Urban Scenes [146.06368329445857]
近年のアプローチでは、シーンを地理的に分割し、複数のサブNeRFを採用して各領域を個別にモデル化する手法が提案されている。
もう一つの解決策は、計算効率が良く、大きなシーンに自然にスケールできる機能グリッド表現を使用することである。
本稿では,大規模都市における高忠実度レンダリングを実現し,計算効率を向上する枠組みを提案する。
論文 参考訳(メタデータ) (2023-03-24T13:56:45Z) - CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural
Representations [77.90883737693325]
本稿では,スパース入力センサビューから観測される大規模な屋外運転シーンをモデル化することで,NeRFを大幅に改善するCLONeRを提案する。
これは、NeRFフレームワーク内の占有率と色学習を、それぞれLiDARとカメラデータを用いてトレーニングされた個別のMulti-Layer Perceptron(MLP)に分離することで実現される。
さらに,NeRFモデルと平行に3D Occupancy Grid Maps(OGM)を構築する手法を提案し,この占有グリッドを利用して距離空間のレンダリングのために線に沿った点のサンプリングを改善する。
論文 参考訳(メタデータ) (2022-09-02T17:44:50Z) - NeRFusion: Fusing Radiance Fields for Large-Scale Scene Reconstruction [50.54946139497575]
我々は,NeRF と TSDF をベースとした核融合技術の利点を組み合わせて,大規模再構築とフォトリアリスティックレンダリングを実現する手法であるNeRFusion を提案する。
我々は,大規模な屋内・小規模の両方の物体シーンにおいて,NeRFの最先端性を達成し,NeRFや他の最近の手法よりも大幅に高速に再現できることを実証した。
論文 参考訳(メタデータ) (2022-03-21T18:56:35Z) - MVSNeRF: Fast Generalizable Radiance Field Reconstruction from
Multi-View Stereo [52.329580781898116]
MVSNeRFは、ビュー合成のための神経放射場を効率的に再構築できる新しいニューラルレンダリング手法である。
高密度にキャプチャされた画像に対して,シーン毎の最適化を考慮に入れたニューラルネットワークの先行研究とは異なり,高速ネットワーク推論により,近傍の3つの入力ビューのみからラミアンスフィールドを再構成できる汎用ディープニューラルネットワークを提案する。
論文 参考訳(メタデータ) (2021-03-29T13:15:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。