論文の概要: HarmonicNeRF: Geometry-Informed Synthetic View Augmentation for 3D Scene Reconstruction in Driving Scenarios

• arxiv url: http://arxiv.org/abs/2310.05483v5
• Date: Thu, 25 Jul 2024 07:08:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-07-26 19:56:25.677226
• Title: HarmonicNeRF: Geometry-Informed Synthetic View Augmentation for 3D Scene Reconstruction in Driving Scenarios
• Title（参考訳）: HarmonicNeRF: Geometry-Informed Synthetic View Augmentation for 3D Scene Reconstruction in Driving Scenarios
• Authors: Xiaochao Pan, Jiawei Yao, Hongrui Kou, Tong Wu, Canran Xiao,
• Abstract要約: HarmonicNeRFは、屋外の自己監督型単分子シーン再構築のための新しいアプローチである。 形状インフォームド合成ビューで入力空間を拡大することにより、NeRFの強度を生かし、表面再構成精度を高める。 提案手法は,新しい深度ビューを合成し,シーンを再構築するための新しいベンチマークを確立し,既存の手法よりも優れていた。
• 参考スコア（独自算出の注目度）: 2.949710700293865
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the realm of autonomous driving, achieving precise 3D reconstruction of the driving environment is critical for ensuring safety and effective navigation. Neural Radiance Fields (NeRF) have shown promise in creating highly detailed and accurate models of complex environments. However, the application of NeRF in autonomous driving scenarios encounters several challenges, primarily due to the sparsity of viewpoints inherent in camera trajectories and the constraints on data collection in unbounded outdoor scenes, which typically occur along predetermined paths. This limitation not only reduces the available scene information but also poses significant challenges for NeRF training, as the sparse and path-distributed observational data leads to under-representation of the scene's geometry. In this paper, we introduce HarmonicNeRF, a novel approach for outdoor self-supervised monocular scene reconstruction. HarmonicNeRF capitalizes on the strengths of NeRF and enhances surface reconstruction accuracy by augmenting the input space with geometry-informed synthetic views. This is achieved through the application of spherical harmonics to generate novel radiance values, taking into careful consideration the color observations from the limited available real-world views. Additionally, our method incorporates proxy geometry to effectively manage occlusion, generating radiance pseudo-labels that circumvent the limitations of traditional image-warping techniques, which often fail in sparse data conditions typical of autonomous driving environments. Extensive experiments conducted on the KITTI, Argoverse, and NuScenes datasets demonstrate our approach establishes new benchmarks in synthesizing novel depth views and reconstructing scenes, significantly outperforming existing methods. Project page: https://github.com/Jiawei-Yao0812/HarmonicNeRF
• Abstract（参考訳）: 自動運転の分野では、運転環境の正確な3次元再構築を実現することが安全性と効果的なナビゲーションの確保に不可欠である。 Neural Radiance Fields (NeRF)は複雑な環境の高精度で正確なモデルを作成することを約束している。 しかし、自律走行シナリオにおけるNeRFの適用は、主にカメラ軌跡に固有の視点の広さと、通常所定の経路に沿って発生する非有界屋外シーンにおけるデータ収集の制約により、いくつかの課題に直面する。 この制限は、利用可能なシーン情報を減らすだけでなく、スパースとパス分散観測データによってシーンの幾何学が過小評価されるため、NeRFトレーニングに重大な課題をもたらす。 本稿では,屋外の自己監督型単分子シーン再構築のための新しいアプローチであるHarmonicNeRFを紹介する。 HarmonicNeRFは、NeRFの強度を活かし、幾何学的インフォームド合成ビューで入力空間を拡大することで表面再構成の精度を高める。 これは球面調和を利用して新しい放射率値を生成し、利用可能な実世界の限られた視点からの色観測を慎重に検討することで達成される。 さらに,従来のイメージワープ手法の限界を回避し,自律走行環境に典型的な疎らなデータ条件でしばしば失敗するレージアンス擬似ラベルを生成することによって,隠蔽を効果的に管理するためのプロキシ・ジオメトリが組み込まれている。 KITTI,Argoverse,NuScenesのデータセットを用いた大規模な実験により,新しい深度ビューの合成とシーンの再構築のための新しいベンチマークが確立され,既存の手法を著しく上回る結果が得られた。 プロジェクトページ:https://github.com/Jiawei-Yao0812/HarmonicNeRF

関連論文リスト

• Gear-NeRF: Free-Viewpoint Rendering and Tracking with Motion-aware Spatio-Temporal Sampling [70.34875558830241]
  本研究では,シーンをレンダリングする動的領域の階層化モデリングを可能にする意味的セマンティックギアに基づく,時間的(4D)埋め込みの学習方法を提案する。 同時に、ほぼ無償で、当社のトラッキングアプローチは、既存のNeRFベースのメソッドでまだ達成されていない機能である、自由視点(free-view of interest)を可能にします。
  論文  参考訳（メタデータ） (2024-06-06T03:37:39Z)
• Lightning NeRF: Efficient Hybrid Scene Representation for Autonomous Driving [28.788240489289212]
  Lightning NeRFは、自動運転シナリオにおいて、LiDAR以前の幾何学を効果的に活用する効率的なハイブリッドシーン表現である。 これは、NeRFの新規なビュー合成性能を大幅に改善し、計算オーバーヘッドを低減する。 提案手法は,トレーニング速度の5倍,レンダリング速度の10倍向上を実現する。
  論文  参考訳（メタデータ） (2024-03-09T13:14:27Z)
• PC-NeRF: Parent-Child Neural Radiance Fields Using Sparse LiDAR Frames in Autonomous Driving Environments [3.1969023045814753]
  親子ニューラルレイディアンス場(PC-NeRF)と呼ばれる3次元シーン再構成と新しいビュー合成フレームワークを提案する。 PC-NeRFは、シーン、セグメント、ポイントレベルを含む階層的な空間分割とマルチレベルシーン表現を実装している。 広範にわたる実験により,PC-NeRFは大規模シーンにおける高精度なLiDARビュー合成と3次元再構成を実現することが証明された。
  論文  参考訳（メタデータ） (2024-02-14T17:16:39Z)
• Leveraging Neural Radiance Fields for Uncertainty-Aware Visual Localization [56.95046107046027]
  我々は,Neural Radiance Fields (NeRF) を用いてシーン座標回帰のためのトレーニングサンプルを生成することを提案する。 レンダリングにおけるNeRFの効率にもかかわらず、レンダリングされたデータの多くはアーティファクトによって汚染されるか、最小限の情報ゲインしか含まない。
  論文  参考訳（メタデータ） (2023-10-10T20:11:13Z)
• Clean-NeRF: Reformulating NeRF to account for View-Dependent Observations [67.54358911994967]
  本稿では,複雑なシーンにおける3次元再構成と新しいビューレンダリングのためのクリーンネRFを提案する。 clean-NeRFはプラグインとして実装することができ、既存のNeRFベースのメソッドを追加入力なしですぐに利用することができる。
  論文  参考訳（メタデータ） (2023-03-26T12:24:31Z)
• DehazeNeRF: Multiple Image Haze Removal and 3D Shape Reconstruction using Neural Radiance Fields [56.30120727729177]
  DehazeNeRFは,湿潤な環境下で頑健に動作するフレームワークとして紹介する。 提案手法は,複数視点のヘイズ除去,新しいビュー合成,既存手法が失敗する3次元形状再構成を成功させるものである。
  論文  参考訳（メタデータ） (2023-03-20T18:03:32Z)
• AligNeRF: High-Fidelity Neural Radiance Fields via Alignment-Aware Training [100.33713282611448]
  我々は、高分解能データによるNeRFのトレーニングに関する最初のパイロット研究を行う。 本稿では,多層パーセプトロンと畳み込み層との結合を含む,対応する解を提案する。 私たちのアプローチは、明らかなトレーニング/テストコストを導入することなく、ほぼ無償です。
  論文  参考訳（メタデータ） (2022-11-17T17:22:28Z)
• CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural Representations [77.90883737693325]
  本稿では,スパース入力センサビューから観測される大規模な屋外運転シーンをモデル化することで,NeRFを大幅に改善するCLONeRを提案する。 これは、NeRFフレームワーク内の占有率と色学習を、それぞれLiDARとカメラデータを用いてトレーニングされた個別のMulti-Layer Perceptron(MLP)に分離することで実現される。 さらに,NeRFモデルと平行に3D Occupancy Grid Maps(OGM)を構築する手法を提案し,この占有グリッドを利用して距離空間のレンダリングのために線に沿った点のサンプリングを改善する。
  論文  参考訳（メタデータ） (2022-09-02T17:44:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。