論文の概要: Multiplane Prior Guided Few-Shot Aerial Scene Rendering

• arxiv url: http://arxiv.org/abs/2406.04961v1
• Date: Fri, 7 Jun 2024 14:25:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-10 13:41:57.392997
• Title: Multiplane Prior Guided Few-Shot Aerial Scene Rendering
• Title（参考訳）: 多面体前誘導Few-Shot空中レンダリング
• Authors: Zihan Gao, Licheng Jiao, Lingling Li, Xu Liu, Fang Liu, Puhua Chen, Yuwei Guo,
• Abstract要約: 低空域における多面体先導NeRF(MPNeRF)について紹介する。 MPNeRFは、非航空的文脈で適用された既存の最先端手法より優れている。
• 参考スコア（独自算出の注目度）: 38.298700159713036
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural Radiance Fields (NeRF) have been successfully applied in various aerial scenes, yet they face challenges with sparse views due to limited supervision. The acquisition of dense aerial views is often prohibitive, as unmanned aerial vehicles (UAVs) may encounter constraints in perspective range and energy constraints. In this work, we introduce Multiplane Prior guided NeRF (MPNeRF), a novel approach tailored for few-shot aerial scene rendering-marking a pioneering effort in this domain. Our key insight is that the intrinsic geometric regularities specific to aerial imagery could be leveraged to enhance NeRF in sparse aerial scenes. By investigating NeRF's and Multiplane Image (MPI)'s behavior, we propose to guide the training process of NeRF with a Multiplane Prior. The proposed Multiplane Prior draws upon MPI's benefits and incorporates advanced image comprehension through a SwinV2 Transformer, pre-trained via SimMIM. Our extensive experiments demonstrate that MPNeRF outperforms existing state-of-the-art methods applied in non-aerial contexts, by tripling the performance in SSIM and LPIPS even with three views available. We hope our work offers insights into the development of NeRF-based applications in aerial scenes with limited data.
• Abstract（参考訳）: ニューラル・レージアンス・フィールド(NeRF)は、様々な空撮シーンでうまく適用されているが、監督が限られているため、視界が狭いという問題に直面している。 無人航空機(UAV)は遠近距離とエネルギーの制約に直面する可能性があるため、密集した空中視界の取得はしばしば禁止される。 本研究では,この領域における先駆的取り組みとして,数発の空中映像レンダリングに適した新しいアプローチであるMPNeRF(Multiplane Prior Guided NeRF)を紹介する。 我々の重要な洞察は、空中画像に特有の固有幾何学的規則性を利用して、希薄な空域におけるNeRFを増強できるということである。 我々は、NeRFとMultiplane Image(MPI)の挙動を調査することにより、NeRFのトレーニング過程をマルチプレーンプリミティブでガイドすることを提案する。 提案されたMultiplane Priorは、MPIの利点を引き合いに出し、SwinV2変換器を通じて高度な画像理解を取り入れ、SimMIMを介して事前訓練されている。 我々は,MPNeRFがSSIMとLPIPSの性能を3つのビューで3倍にすることで,非航空的文脈で適用された既存の最先端手法よりも優れていることを示した。 我々の研究は、限られたデータを持つ空中シーンにおけるNeRFベースのアプリケーションの開発に関する洞察を提供してくれることを願っています。

関連論文リスト

• Depth Supervised Neural Surface Reconstruction from Airborne Imagery [0.6749750044497732]
  本研究では, ナディルのみ, 斜め, 高解像度画像など, 異なる特徴を示す空中画像ブロックに対するNeRFの適用性について検討した。 我々の研究は、署名された距離関数(SDF)による3次元シーンをモデル化する最先端のフレームワークであるVolSDFに基づいている。 評価のために、NeRFベースの再構成は、空中画像のための公開ベンチマークデータセットの結果と比較される。
  論文  参考訳（メタデータ） (2024-04-25T09:02:11Z)
• AG-NeRF: Attention-guided Neural Radiance Fields for Multi-height Large-scale Outdoor Scene Rendering [9.365775353436177]
  既存のニューラルラジアンス場(NeRF)をベースとした大規模屋外シーンのための新しいビュー合成法は主に1つの高度上に構築されている。 我々は、AG-NeRFと呼ばれるエンドツーエンドのフレームワークを提案し、様々なシーンの高度に基づいて自由視点画像を合成することにより、良好な再構築を構築するためのトレーニングコストを削減しようとしている。
  論文  参考訳（メタデータ） (2024-04-18T04:54:28Z)
• NeRF-VPT: Learning Novel View Representations with Neural Radiance Fields via View Prompt Tuning [63.39461847093663]
  本研究では,これらの課題に対処するための新しいビュー合成手法であるNeRF-VPTを提案する。 提案するNeRF-VPTは、先行レンダリング結果から得られたRGB情報を、その後のレンダリングステージのインストラクティブな視覚的プロンプトとして機能するカスケーディングビュープロンプトチューニングパラダイムを用いている。 NeRF-VPTは、追加のガイダンスや複雑なテクニックに頼ることなく、トレーニングステージ毎に前のステージレンダリングからRGBデータをサンプリングするだけである。
  論文  参考訳（メタデータ） (2024-03-02T22:08:10Z)
• Transient Neural Radiance Fields for Lidar View Synthesis and 3D Reconstruction [12.86184159775286]
  単一光子ライダーシステムにより測定された生の時間分解光子数ヒストグラムを入力として、一過性NeRFを描画する新しい手法を提案する。 試作した単光子ライダーを用いて, 模擬・捕捉された過渡的マルチビュースキャンの1次データセットについて評価を行った。
  論文  参考訳（メタデータ） (2023-07-14T15:17:04Z)
• Self-NeRF: A Self-Training Pipeline for Few-Shot Neural Radiance Fields [17.725937326348994]
  入力ビューの少ない放射場を反復的に洗練する自己進化型NeRFであるSelf-NeRFを提案する。 各イテレーションでは、予測された色や、前回のイテレーションからモデルが生成した歪んだピクセルで、目に見えないビューをラベル付けします。 これらの拡張された擬似ビューは、NeRFの性能を低下させる色やワープアーティファクトのインプレクションによって悩まされる。
  論文  参考訳（メタデータ） (2023-03-10T08:22:36Z)
• CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural Representations [77.90883737693325]
  本稿では,スパース入力センサビューから観測される大規模な屋外運転シーンをモデル化することで,NeRFを大幅に改善するCLONeRを提案する。 これは、NeRFフレームワーク内の占有率と色学習を、それぞれLiDARとカメラデータを用いてトレーニングされた個別のMulti-Layer Perceptron(MLP)に分離することで実現される。 さらに,NeRFモデルと平行に3D Occupancy Grid Maps(OGM)を構築する手法を提案し,この占有グリッドを利用して距離空間のレンダリングのために線に沿った点のサンプリングを改善する。
  論文  参考訳（メタデータ） (2022-09-02T17:44:50Z)
• Aug-NeRF: Training Stronger Neural Radiance Fields with Triple-Level Physically-Grounded Augmentations [111.08941206369508]
  我々は,NeRFトレーニングの正規化にロバストなデータ拡張のパワーを初めてもたらすAugmented NeRF(Aug-NeRF)を提案する。 提案手法では,最悪の場合の摂動を3段階のNeRFパイプラインにシームレスにブレンドする。 Aug-NeRFは、新しいビュー合成と基礎となる幾何再構成の両方において、NeRF性能を効果的に向上させる。
  論文  参考訳（メタデータ） (2022-07-04T02:27:07Z)
• Mega-NeRF: Scalable Construction of Large-Scale NeRFs for Virtual Fly-Throughs [54.41204057689033]
  我々は、ニューラルネットワーク(NeRF)を活用して、建物にまたがる大規模な視覚的キャプチャーや、主にドローンデータから収集された複数の都市ブロックからインタラクティブな3D環境を構築する方法について検討する。 NeRFが伝統的に評価されている単一のオブジェクトシーンとは対照的に、この設定には複数の課題がある。 我々は、訓練画像(またはむしろピクセル)を、並列で訓練できる異なるNeRFサブモジュールに分割する単純なクラスタリングアルゴリズムを導入する。
  論文  参考訳（メタデータ） (2021-12-20T17:40:48Z)
• NeRF++: Analyzing and Improving Neural Radiance Fields [117.73411181186088]
  ニューラル・レージアンス・フィールド(NeRF)は、様々なキャプチャ設定のための印象的なビュー合成結果を達成する。 NeRFは、ビュー不変不透明度とビュー依存カラーボリュームを表す多層パーセプトロンを一連のトレーニング画像に適合させる。 大規模3次元シーンにおける物体の360度捕獲にNeRFを適用する際のパラメトリゼーション問題に対処する。
  論文  参考訳（メタデータ） (2020-10-15T03:24:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。