論文の概要: LidaRF: Delving into Lidar for Neural Radiance Field on Street Scenes

• arxiv url: http://arxiv.org/abs/2405.00900v2
• Date: Sat, 4 May 2024 05:36:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-07 12:36:45.057154
• Title: LidaRF: Delving into Lidar for Neural Radiance Field on Street Scenes
• Title（参考訳）: LidaRF:ストリートシーンのニューラルラジアンスフィールドにLidarを埋め込む
• Authors: Shanlin Sun, Bingbing Zhuang, Ziyu Jiang, Buyu Liu, Xiaohui Xie, Manmohan Chandraker,
• Abstract要約: 光リアリスティックシミュレーションは、自律運転のようなアプリケーションにおいて重要な役割を果たす。 しかし, コリニアカメラの動作やスペーサーのサンプリングにより, 街路景観の再現性は低下する。 街路面のNeRF品質を改善するために,Lidarデータのより優れた利用を可能にするいくつかの知見を提案する。
• 参考スコア（独自算出の注目度）: 73.65115834242866
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Photorealistic simulation plays a crucial role in applications such as autonomous driving, where advances in neural radiance fields (NeRFs) may allow better scalability through the automatic creation of digital 3D assets. However, reconstruction quality suffers on street scenes due to largely collinear camera motions and sparser samplings at higher speeds. On the other hand, the application often demands rendering from camera views that deviate from the inputs to accurately simulate behaviors like lane changes. In this paper, we propose several insights that allow a better utilization of Lidar data to improve NeRF quality on street scenes. First, our framework learns a geometric scene representation from Lidar, which is fused with the implicit grid-based representation for radiance decoding, thereby supplying stronger geometric information offered by explicit point cloud. Second, we put forth a robust occlusion-aware depth supervision scheme, which allows utilizing densified Lidar points by accumulation. Third, we generate augmented training views from Lidar points for further improvement. Our insights translate to largely improved novel view synthesis under real driving scenes.
• Abstract（参考訳）: 光リアリスティックシミュレーションは、自律運転のようなアプリケーションにおいて重要な役割を担い、ニューラルラディアンスフィールド(NeRF)の進歩により、デジタル3Dアセットの自動作成によるスケーラビリティの向上が期待できる。 しかし、大半がコリニアカメラの動きとスペーサーサンプリングにより、道路の景観に復元品質が損なわれている。 一方、アプリケーションはしばしば、車線変更のような行動を正確にシミュレートするために、入力から逸脱するカメラビューからのレンダリングを要求する。 本稿では,Lidarデータを利用した街路におけるNeRF品質向上のためのいくつかの知見を提案する。 まず,ラディアンスデコーディングのための暗黙のグリッドベース表現と融合したLidarから幾何学的シーン表現を学習し,明示的な点雲によって提供されるより強力な幾何学的情報を提供する。 次に, 密度化ライダー点の蓄積による利用を可能にする, 密閉型奥行き監視方式を提案する。 第3に、さらなる改善のためにLidarポイントから強化されたトレーニングビューを生成します。 私たちの洞察は、実際の運転シーン下での新規ビュー合成を大幅に改善することにつながります。

関連論文リスト

• Drone-assisted Road Gaussian Splatting with Cross-view Uncertainty [10.37108303188536]
  3D Gaussian Splatting (3D-GS)は、ニューラルレンダリングにおいて画期的な進歩を遂げた。 大規模な道路シーンレンダリングの一般的な忠実度は、入力画像によって制限されることが多い。 カービューのアンサンブルに基づくレンダリングの不確実性と空中画像とのマッチングにより、3D-GSにクロスビューの不確実性を導入する。
  論文  参考訳（メタデータ） (2024-08-27T17:59:55Z)
• SGD: Street View Synthesis with Gaussian Splatting and Diffusion Prior [53.52396082006044]
  現在の手法では、トレーニングの観点から大きく逸脱する観点で、レンダリングの品質を維持するのに苦労しています。 この問題は、移動中の車両の固定カメラが捉えた、まばらなトレーニングビューに起因している。 そこで本研究では,拡散モデルを用いて3DGSのキャパシティを向上させる手法を提案する。
  論文  参考訳（メタデータ） (2024-03-29T09:20:29Z)
• Neural Rendering based Urban Scene Reconstruction for Autonomous Driving [8.007494499012624]
  ニューラルな暗黙表面と放射場を組み合わせたフレームワークを用いたマルチモーダル3次元シーン再構成を提案する。 Dense 3Dリコンストラクションは、自動アノテーションバリデーションを含む自動走行に多くの応用がある。 我々は,挑戦的な自動車シーンの質的,定量的な結果を示す。
  論文  参考訳（メタデータ） (2024-02-09T23:20:23Z)
• Spatiotemporally Consistent HDR Indoor Lighting Estimation [66.26786775252592]
  本研究では,屋内照明推定問題を解決するための物理動機付きディープラーニングフレームワークを提案する。 深度マップを用いた1枚のLDR画像から,任意の画像位置における空間的に一貫した照明を予測できる。 我々のフレームワークは、最先端の単一画像やビデオベースの手法と比較して、高画質で光リアリスティック照明予測を実現する。
  論文  参考訳（メタデータ） (2023-05-07T20:36:29Z)
• S-NeRF: Neural Radiance Fields for Street Views [23.550385153214688]
  大規模背景シーンと前景移動車両の両面を協調的に合成する新しいストリートビューNeRF(S-NeRF)を提案する。 具体的には、シーンパラメータ化機能を改善し、ストリートビューからより優れたニューラル表現を学習するためのカメラのポーズを示す。 道路ビューにおける平均二乗誤差の7%から40%を削減し、移動車両のレンダリングではPSNRが45%向上した。
  論文  参考訳（メタデータ） (2023-03-01T18:59:30Z)
• AligNeRF: High-Fidelity Neural Radiance Fields via Alignment-Aware Training [100.33713282611448]
  我々は、高分解能データによるNeRFのトレーニングに関する最初のパイロット研究を行う。 本稿では,多層パーセプトロンと畳み込み層との結合を含む,対応する解を提案する。 私たちのアプローチは、明らかなトレーニング/テストコストを導入することなく、ほぼ無償です。
  論文  参考訳（メタデータ） (2022-11-17T17:22:28Z)
• CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural Representations [77.90883737693325]
  本稿では,スパース入力センサビューから観測される大規模な屋外運転シーンをモデル化することで,NeRFを大幅に改善するCLONeRを提案する。 これは、NeRFフレームワーク内の占有率と色学習を、それぞれLiDARとカメラデータを用いてトレーニングされた個別のMulti-Layer Perceptron(MLP)に分離することで実現される。 さらに,NeRFモデルと平行に3D Occupancy Grid Maps(OGM)を構築する手法を提案し,この占有グリッドを利用して距離空間のレンダリングのために線に沿った点のサンプリングを改善する。
  論文  参考訳（メタデータ） (2022-09-02T17:44:50Z)
• BARF: Bundle-Adjusting Neural Radiance Fields [104.97810696435766]
  不完全なカメラポーズからNeRFを訓練するためのバンドル調整ニューラルラジアンスフィールド(BARF)を提案します。 BARFは、ニューラルネットワークシーンの表現を効果的に最適化し、大きなカメラのポーズミスを同時に解決する。 これにより、未知のカメラポーズからの映像シーケンスのビュー合成とローカライズが可能になり、視覚ローカライズシステムのための新しい道を開くことができる。
  論文  参考訳（メタデータ） (2021-04-13T17:59:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。