論文の概要: Lightning NeRF: Efficient Hybrid Scene Representation for Autonomous
Driving
- arxiv url: http://arxiv.org/abs/2403.05907v1
- Date: Sat, 9 Mar 2024 13:14:27 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-13 11:53:57.575945
- Title: Lightning NeRF: Efficient Hybrid Scene Representation for Autonomous
Driving
- Title(参考訳): Lightning NeRF: 自律運転のための効率的なハイブリッドシーン表現
- Authors: Junyi Cao, Zhichao Li, Naiyan Wang, Chao Ma
- Abstract要約: Lightning NeRFは、自動運転シナリオにおいて、LiDAR以前の幾何学を効果的に活用する効率的なハイブリッドシーン表現である。
これは、NeRFの新規なビュー合成性能を大幅に改善し、計算オーバーヘッドを低減する。
提案手法は,トレーニング速度の5倍,レンダリング速度の10倍向上を実現する。
- 参考スコア(独自算出の注目度): 28.788240489289212
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent studies have highlighted the promising application of NeRF in
autonomous driving contexts. However, the complexity of outdoor environments,
combined with the restricted viewpoints in driving scenarios, complicates the
task of precisely reconstructing scene geometry. Such challenges often lead to
diminished quality in reconstructions and extended durations for both training
and rendering. To tackle these challenges, we present Lightning NeRF. It uses
an efficient hybrid scene representation that effectively utilizes the geometry
prior from LiDAR in autonomous driving scenarios. Lightning NeRF significantly
improves the novel view synthesis performance of NeRF and reduces computational
overheads. Through evaluations on real-world datasets, such as KITTI-360,
Argoverse2, and our private dataset, we demonstrate that our approach not only
exceeds the current state-of-the-art in novel view synthesis quality but also
achieves a five-fold increase in training speed and a ten-fold improvement in
rendering speed. Codes are available at
https://github.com/VISION-SJTU/Lightning-NeRF .
- Abstract(参考訳): 最近の研究は、自律運転におけるNeRFの有望な応用を強調している。
しかし,屋外環境の複雑さと運転シナリオの限定的な視点が相まって,景観形状を正確に再構成する作業が複雑になる。
このような課題は、リコンストラクションにおける品質の低下と、トレーニングとレンダリングの両方の期間の延長につながることが多い。
これらの課題に対処するために、Lightning NeRFを紹介する。
自動運転シナリオにおいて、lidar以前の幾何学を効果的に活用する効率的なハイブリッドシーン表現を使用する。
ライニングNeRFは、NeRFの新しいビュー合成性能を大幅に改善し、計算オーバーヘッドを低減する。
KITTI-360、Argoverse2、および我々のプライベートデータセットなどの実世界のデータセットの評価を通じて、我々のアプローチが、新しいビュー合成品質の最先端を超えるだけでなく、トレーニング速度の5倍向上とレンダリング速度の10倍改善を実現していることを示す。
コードはhttps://github.com/VISION-SJTU/Lightning-NeRFで公開されている。
関連論文リスト
- LidaRF: Delving into Lidar for Neural Radiance Field on Street Scenes [73.65115834242866]
光リアリスティックシミュレーションは、自律運転のようなアプリケーションにおいて重要な役割を果たす。
しかし, コリニアカメラの動作やスペーサーのサンプリングにより, 街路景観の再現性は低下する。
街路面のNeRF品質を改善するために,Lidarデータのより優れた利用を可能にするいくつかの知見を提案する。
論文 参考訳(メタデータ) (2024-05-01T23:07:12Z) - NeRF-VPT: Learning Novel View Representations with Neural Radiance
Fields via View Prompt Tuning [63.39461847093663]
本研究では,これらの課題に対処するための新しいビュー合成手法であるNeRF-VPTを提案する。
提案するNeRF-VPTは、先行レンダリング結果から得られたRGB情報を、その後のレンダリングステージのインストラクティブな視覚的プロンプトとして機能するカスケーディングビュープロンプトチューニングパラダイムを用いている。
NeRF-VPTは、追加のガイダンスや複雑なテクニックに頼ることなく、トレーニングステージ毎に前のステージレンダリングからRGBデータをサンプリングするだけである。
論文 参考訳(メタデータ) (2024-03-02T22:08:10Z) - PC-NeRF: Parent-Child Neural Radiance Fields Using Sparse LiDAR Frames
in Autonomous Driving Environments [3.1969023045814753]
親子ニューラルレイディアンス場(PC-NeRF)と呼ばれる3次元シーン再構成と新しいビュー合成フレームワークを提案する。
PC-NeRFは、シーン、セグメント、ポイントレベルを含む階層的な空間分割とマルチレベルシーン表現を実装している。
広範にわたる実験により,PC-NeRFは大規模シーンにおける高精度なLiDARビュー合成と3次元再構成を実現することが証明された。
論文 参考訳(メタデータ) (2024-02-14T17:16:39Z) - VoxNeRF: Bridging Voxel Representation and Neural Radiance Fields for
Enhanced Indoor View Synthesis [51.49008959209671]
本稿では,室内ビュー合成の品質と効率を高めるために,ボリューム表現を活用する新しいアプローチであるVoxNeRFを紹介する。
我々は,空間的特徴を適応的に捉えるためにマルチレゾリューション・ハッシュ・グリッドを使用し,室内シーンの閉塞や複雑な形状を効果的に管理する。
我々は,3つの屋内データセットに対するアプローチを検証するとともに,VoxNeRFが最先端の手法より優れていることを示す。
論文 参考訳(メタデータ) (2023-11-09T11:32:49Z) - From NeRFLiX to NeRFLiX++: A General NeRF-Agnostic Restorer Paradigm [57.73868344064043]
我々は、劣化駆動の視点間ミキサーを学習する一般的なNeRF-Agnostic restorerパラダイムであるNeRFLiXを提案する。
また、より強力な2段階のNeRF分解シミュレータとより高速なビューポイントミキサーを備えたNeRFLiX++を提案する。
NeRFLiX++は、ノイズの多い低解像度のNeRFレンダリングビューからフォトリアリスティックな超高解像度出力を復元することができる。
論文 参考訳(メタデータ) (2023-06-10T09:19:19Z) - Neural Residual Radiance Fields for Streamably Free-Viewpoint Videos [69.22032459870242]
本稿では,Residual Radiance Field(ReRF)という新しい手法を提案する。
このような戦略は品質を犠牲にすることなく大きな動きを扱えることを示す。
ReRFに基づいて,3桁の圧縮率を達成する特別なFVVを設計し,ダイナミックシーンの長期FVVのオンラインストリーミングをサポートするReRFプレーヤを提供する。
論文 参考訳(メタデータ) (2023-04-10T08:36:00Z) - Compressing Explicit Voxel Grid Representations: fast NeRFs become also
small [3.1473798197405944]
Re:NeRFは、同等の性能を維持しながら、NeRFモデルのメモリストレージを削減することを目的としている。
3つのEVG-NeRFアーキテクチャを4つの人気のあるベンチマークでベンチマークする。
論文 参考訳(メタデータ) (2022-10-23T16:42:29Z) - Mega-NeRF: Scalable Construction of Large-Scale NeRFs for Virtual
Fly-Throughs [54.41204057689033]
我々は、ニューラルネットワーク(NeRF)を活用して、建物にまたがる大規模な視覚的キャプチャーや、主にドローンデータから収集された複数の都市ブロックからインタラクティブな3D環境を構築する方法について検討する。
NeRFが伝統的に評価されている単一のオブジェクトシーンとは対照的に、この設定には複数の課題がある。
我々は、訓練画像(またはむしろピクセル)を、並列で訓練できる異なるNeRFサブモジュールに分割する単純なクラスタリングアルゴリズムを導入する。
論文 参考訳(メタデータ) (2021-12-20T17:40:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。