論文の概要: AG-NeRF: Attention-guided Neural Radiance Fields for Multi-height Large-scale Outdoor Scene Rendering

• arxiv url: http://arxiv.org/abs/2404.11897v1
• Date: Thu, 18 Apr 2024 04:54:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-19 13:11:02.782948
• Title: AG-NeRF: Attention-guided Neural Radiance Fields for Multi-height Large-scale Outdoor Scene Rendering
• Title（参考訳）: AG-NeRF:マルチハイト大規模屋外レンダリングのための注意誘導型ニューラルネットワーク
• Authors: Jingfeng Guo, Xiaohan Zhang, Baozhu Zhao, Qi Liu,
• Abstract要約: 既存のニューラルラジアンス場(NeRF)をベースとした大規模屋外シーンのための新しいビュー合成法は主に1つの高度上に構築されている。 我々は、AG-NeRFと呼ばれるエンドツーエンドのフレームワークを提案し、様々なシーンの高度に基づいて自由視点画像を合成することにより、良好な再構築を構築するためのトレーニングコストを削減しようとしている。
• 参考スコア（独自算出の注目度）: 9.365775353436177
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing neural radiance fields (NeRF)-based novel view synthesis methods for large-scale outdoor scenes are mainly built on a single altitude. Moreover, they often require a priori camera shooting height and scene scope, leading to inefficient and impractical applications when camera altitude changes. In this work, we propose an end-to-end framework, termed AG-NeRF, and seek to reduce the training cost of building good reconstructions by synthesizing free-viewpoint images based on varying altitudes of scenes. Specifically, to tackle the detail variation problem from low altitude (drone-level) to high altitude (satellite-level), a source image selection method and an attention-based feature fusion approach are developed to extract and fuse the most relevant features of target view from multi-height images for high-fidelity rendering. Extensive experiments demonstrate that AG-NeRF achieves SOTA performance on 56 Leonard and Transamerica benchmarks and only requires a half hour of training time to reach the competitive PSNR as compared to the latest BungeeNeRF.
• Abstract（参考訳）: 既存のニューラルラジアンス場(NeRF)をベースとした大規模屋外シーンのための新しいビュー合成法は主に1つの高度上に構築されている。 さらに、カメラの撮影高度とシーンスコープを必要とすることが多く、カメラの高度が変化すると非効率で非実用的になる。 本稿では,AG-NeRFと呼ばれるエンド・ツー・エンドのフレームワークを提案し,様々なシーンの高度に基づいて自由視点画像を合成することにより,良好な再構築を行うためのトレーニングコストを削減することを目的とする。 具体的には、低高度(水位)から高高度(衛星レベル)までの細部変化問題に対処するため、高精細レンダリングのために、高精細画像からターゲットビューの最も関連性の高い特徴を抽出し、融合させるため、ソース画像選択法とアテンションベース特徴融合法を開発した。 AG-NeRFは56のLeonardとTransamericaのベンチマークでSOTAのパフォーマンスを達成し、最新のBunggeeNeRFと比較して競争力のあるPSNRに到達するのに30時間のトレーニング時間しか必要としないことを示した。

関連論文リスト

• Global-guided Focal Neural Radiance Field for Large-scale Scene Rendering [12.272724419136575]
  大規模シーンの高忠実なレンダリングを実現するグローバル誘導焦点型ニューラルレイディアンス場(GF-NeRF)を提案する。 提案手法は,多種多様な大規模データセットに対して,高忠実で自然なレンダリング結果を実現する。
  論文  参考訳（メタデータ） (2024-03-19T15:45:54Z)
• BirdNeRF: Fast Neural Reconstruction of Large-Scale Scenes From Aerial Imagery [3.4956406636452626]
  本研究では,空中画像を用いた大規模シーンの再構成に特化して設計されたNeRF(Neural Radiance Fields)の適応版であるBirdNeRFを紹介する。 本稿では,大規模な空中画像集合を複数小集合に分解し,空間分解アルゴリズムを提案する。 我々は、既存のデータセットと、独自のドローン映像に対するアプローチを評価し、従来のフォトグラムソフトウェアよりも10倍、最先端の大規模NeRFソリューションよりも50倍の再現速度を向上した。
  論文  参考訳（メタデータ） (2024-02-07T03:18:34Z)
• Drone-NeRF: Efficient NeRF Based 3D Scene Reconstruction for Large-Scale Drone Survey [11.176205645608865]
  本研究では,大規模なドローン撮影シーンの効率的な再構築を支援するために,Drone-NeRFフレームワークを提案する。 我々のアプローチは、シーンをカメラの位置と深さの可視性に基づいて、均一なサブブロックに分割することである。 サブシーンはNeRFを使用して並列にトレーニングされ、完全なシーンにマージされる。
  論文  参考訳（メタデータ） (2023-08-30T03:17:57Z)
• AligNeRF: High-Fidelity Neural Radiance Fields via Alignment-Aware Training [100.33713282611448]
  我々は、高分解能データによるNeRFのトレーニングに関する最初のパイロット研究を行う。 本稿では,多層パーセプトロンと畳み込み層との結合を含む,対応する解を提案する。 私たちのアプローチは、明らかなトレーニング/テストコストを導入することなく、ほぼ無償です。
  論文  参考訳（メタデータ） (2022-11-17T17:22:28Z)
• CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural Representations [77.90883737693325]
  本稿では,スパース入力センサビューから観測される大規模な屋外運転シーンをモデル化することで,NeRFを大幅に改善するCLONeRを提案する。 これは、NeRFフレームワーク内の占有率と色学習を、それぞれLiDARとカメラデータを用いてトレーニングされた個別のMulti-Layer Perceptron(MLP)に分離することで実現される。 さらに,NeRFモデルと平行に3D Occupancy Grid Maps(OGM)を構築する手法を提案し,この占有グリッドを利用して距離空間のレンダリングのために線に沿った点のサンプリングを改善する。
  論文  参考訳（メタデータ） (2022-09-02T17:44:50Z)
• E-NeRF: Neural Radiance Fields from a Moving Event Camera [83.91656576631031]
  理想的な画像からニューラルレイディアンス場(NeRF)を推定する手法はコンピュータビジョンコミュニティで広く研究されている。 本稿では,高速なイベントカメラからNeRFの形式でボリュームシーンを推定する最初の方法であるE-NeRFを提案する。
  論文  参考訳（メタデータ） (2022-08-24T04:53:32Z)
• Aug-NeRF: Training Stronger Neural Radiance Fields with Triple-Level Physically-Grounded Augmentations [111.08941206369508]
  我々は,NeRFトレーニングの正規化にロバストなデータ拡張のパワーを初めてもたらすAugmented NeRF(Aug-NeRF)を提案する。 提案手法では,最悪の場合の摂動を3段階のNeRFパイプラインにシームレスにブレンドする。 Aug-NeRFは、新しいビュー合成と基礎となる幾何再構成の両方において、NeRF性能を効果的に向上させる。
  論文  参考訳（メタデータ） (2022-07-04T02:27:07Z)
• NeRFusion: Fusing Radiance Fields for Large-Scale Scene Reconstruction [50.54946139497575]
  我々は,NeRF と TSDF をベースとした核融合技術の利点を組み合わせて,大規模再構築とフォトリアリスティックレンダリングを実現する手法であるNeRFusion を提案する。 我々は,大規模な屋内・小規模の両方の物体シーンにおいて,NeRFの最先端性を達成し,NeRFや他の最近の手法よりも大幅に高速に再現できることを実証した。
  論文  参考訳（メタデータ） (2022-03-21T18:56:35Z)
• Mega-NeRF: Scalable Construction of Large-Scale NeRFs for Virtual Fly-Throughs [54.41204057689033]
  我々は、ニューラルネットワーク(NeRF)を活用して、建物にまたがる大規模な視覚的キャプチャーや、主にドローンデータから収集された複数の都市ブロックからインタラクティブな3D環境を構築する方法について検討する。 NeRFが伝統的に評価されている単一のオブジェクトシーンとは対照的に、この設定には複数の課題がある。 我々は、訓練画像(またはむしろピクセル)を、並列で訓練できる異なるNeRFサブモジュールに分割する単純なクラスタリングアルゴリズムを導入する。
  論文  参考訳（メタデータ） (2021-12-20T17:40:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。