論文の概要: S-NeRF: Neural Radiance Fields for Street Views

• arxiv url: http://arxiv.org/abs/2303.00749v1
• Date: Wed, 1 Mar 2023 18:59:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-02 13:36:13.987600
• Title: S-NeRF: Neural Radiance Fields for Street Views
• Title（参考訳）: s-nerf: ストリートビューのためのニューラルラミアンスフィールド
• Authors: Ziyang Xie, Junge Zhang, Wenye Li, Feihu Zhang, Li Zhang
• Abstract要約: 大規模背景シーンと前景移動車両の両面を協調的に合成する新しいストリートビューNeRF(S-NeRF)を提案する。 具体的には、シーンパラメータ化機能を改善し、ストリートビューからより優れたニューラル表現を学習するためのカメラのポーズを示す。 道路ビューにおける平均二乗誤差の7%から40%を削減し、移動車両のレンダリングではPSNRが45%向上した。
• 参考スコア（独自算出の注目度）: 23.550385153214688
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Radiance Fields (NeRFs) aim to synthesize novel views of objects and scenes, given the object-centric camera views with large overlaps. However, we conjugate that this paradigm does not fit the nature of the street views that are collected by many self-driving cars from the large-scale unbounded scenes. Also, the onboard cameras perceive scenes without much overlapping. Thus, existing NeRFs often produce blurs, 'floaters' and other artifacts on street-view synthesis. In this paper, we propose a new street-view NeRF (S-NeRF) that considers novel view synthesis of both the large-scale background scenes and the foreground moving vehicles jointly. Specifically, we improve the scene parameterization function and the camera poses for learning better neural representations from street views. We also use the the noisy and sparse LiDAR points to boost the training and learn a robust geometry and reprojection based confidence to address the depth outliers. Moreover, we extend our S-NeRF for reconstructing moving vehicles that is impracticable for conventional NeRFs. Thorough experiments on the large-scale driving datasets (e.g., nuScenes and Waymo) demonstrate that our method beats the state-of-the-art rivals by reducing 7% to 40% of the mean-squared error in the street-view synthesis and a 45% PSNR gain for the moving vehicles rendering.
• Abstract（参考訳）: neural radiance fields(nerfs)は、オブジェクト中心のカメラビューが重なり合うことから、オブジェクトとシーンの新しいビューを合成することを目的としている。 しかし、このパラダイムは、大規模な無制限シーンから多くの自動運転車が収集したストリートビューの性質に合わないと仮定している。 また、オンボードカメラは重なりを伴わずにシーンを知覚する。 したがって、既存のNeRFは、ストリートビュー合成において、しばしばぼやけや「フローター」などのアーティファクトを生成する。 本稿では,大規模背景シーンと前景移動車両の両面を協調的に合成する新しいストリートビューNeRF(S-NeRF)を提案する。 具体的には、シーンのパラメータ化関数を改善し、カメラはストリートビューからより優れたニューラルネットワーク表現を学習する。 また、ノイズと疎度のLiDAR点を用いてトレーニングを強化し、頑健な幾何学と再投射に基づく信頼度を学習し、奥行きの外れに対処する。 さらに,従来のNRFでは実現不可能な移動車両の再構築のために,S-NeRFを拡張した。 大規模な運転データセット(例えば nuScenes や Waymo など)に関する詳細な実験により、我々の手法は、ストリートビュー合成における平均二乗誤差の7%から40%を減らし、移動車レンダリングのPSNRゲインを45%減らし、最先端のライバルに勝っていることが示された。

関連論文リスト

• NeRF On-the-go: Exploiting Uncertainty for Distractor-free NeRFs in the Wild [55.154625718222995]
  我々は,複雑なシーンにおける新規ビューのロバストな合成を可能にする,シンプルで効果的な方法であるNeRF On-the-goを紹介する。 本手法は,最先端技術よりも大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2024-05-29T02:53:40Z)
• LidaRF: Delving into Lidar for Neural Radiance Field on Street Scenes [73.65115834242866]
  光リアリスティックシミュレーションは、自律運転のようなアプリケーションにおいて重要な役割を果たす。 しかし, コリニアカメラの動作やスペーサーのサンプリングにより, 街路景観の再現性は低下する。 街路面のNeRF品質を改善するために,Lidarデータのより優れた利用を可能にするいくつかの知見を提案する。
  論文  参考訳（メタデータ） (2024-05-01T23:07:12Z)
• SPARF: Neural Radiance Fields from Sparse and Noisy Poses [58.528358231885846]
  SPARF(Sparse Pose Adjusting Radiance Field)を導入し,新規な視点合成の課題に対処する。 提案手法は、NeRFを共同学習し、カメラのポーズを洗練するために、多視点幾何学的制約を利用する。
  論文  参考訳（メタデータ） (2022-11-21T18:57:47Z)
• CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural Representations [77.90883737693325]
  本稿では,スパース入力センサビューから観測される大規模な屋外運転シーンをモデル化することで,NeRFを大幅に改善するCLONeRを提案する。 これは、NeRFフレームワーク内の占有率と色学習を、それぞれLiDARとカメラデータを用いてトレーニングされた個別のMulti-Layer Perceptron(MLP)に分離することで実現される。 さらに,NeRFモデルと平行に3D Occupancy Grid Maps(OGM)を構築する手法を提案し,この占有グリッドを利用して距離空間のレンダリングのために線に沿った点のサンプリングを改善する。
  論文  参考訳（メタデータ） (2022-09-02T17:44:50Z)
• Mip-NeRF 360: Unbounded Anti-Aliased Neural Radiance Fields [43.69542675078766]
  我々は,非線形シーンパラメータ化,オンライン蒸留,新しい歪みベースの正規化器を用いて,非境界シーンの課題を克服するmip-NeRFの拡張を提案する。 このモデルでは,mip-NeRF 360 を用いて平均二乗誤差を mip-NeRF と比較して 54% 削減し,リアルに合成されたビューと詳細な深度マップを作成できる。
  論文  参考訳（メタデータ） (2021-11-23T18:51:18Z)
• BARF: Bundle-Adjusting Neural Radiance Fields [104.97810696435766]
  不完全なカメラポーズからNeRFを訓練するためのバンドル調整ニューラルラジアンスフィールド(BARF)を提案します。 BARFは、ニューラルネットワークシーンの表現を効果的に最適化し、大きなカメラのポーズミスを同時に解決する。 これにより、未知のカメラポーズからの映像シーケンスのビュー合成とローカライズが可能になり、視覚ローカライズシステムのための新しい道を開くことができる。
  論文  参考訳（メタデータ） (2021-04-13T17:59:51Z)
• D-NeRF: Neural Radiance Fields for Dynamic Scenes [72.75686949608624]
  そこで我々は,D-NeRF(D-NeRF)を動的領域に拡張する手法を提案する。 D-NeRFは、周囲を動き回るカメラから、剛体で非剛体な動きの下で物体のイメージを再構成する。 我々は,剛体・調音・非剛体動作下での物体のシーンに対するアプローチの有効性を実証した。
  論文  参考訳（メタデータ） (2020-11-27T19:06:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。