論文の概要: Aerial-NeRF: Adaptive Spatial Partitioning and Sampling for Large-Scale Aerial Rendering

• arxiv url: http://arxiv.org/abs/2405.06214v1
• Date: Fri, 10 May 2024 02:57:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-13 16:47:25.804186
• Title: Aerial-NeRF: Adaptive Spatial Partitioning and Sampling for Large-Scale Aerial Rendering
• Title（参考訳）: Aerial-NeRF:大規模空中レンダリングのための適応的空間分割とサンプリング
• Authors: Xiaohan Zhang, Yukui Qiu, Zhenyu Sun, Qi Liu,
• Abstract要約: 複雑な空中シーンを高精度でレンダリングするためのAerial-NeRFを提案する。 当社のモデルでは,複数の競合に比べて4倍以上の高速レンダリングを実現しています。 2つのパブリックな大規模空中データセットに対して、最先端の新たな結果が得られた。
• 参考スコア（独自算出の注目度）: 10.340739248752516
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent progress in large-scale scene rendering has yielded Neural Radiance Fields (NeRF)-based models with an impressive ability to synthesize scenes across small objects and indoor scenes. Nevertheless, extending this idea to large-scale aerial rendering poses two critical problems. Firstly, a single NeRF cannot render the entire scene with high-precision for complex large-scale aerial datasets since the sampling range along each view ray is insufficient to cover buildings adequately. Secondly, traditional NeRFs are infeasible to train on one GPU to enable interactive fly-throughs for modeling massive images. Instead, existing methods typically separate the whole scene into multiple regions and train a NeRF on each region, which are unaccustomed to different flight trajectories and difficult to achieve fast rendering. To that end, we propose Aerial-NeRF with three innovative modifications for jointly adapting NeRF in large-scale aerial rendering: (1) Designing an adaptive spatial partitioning and selection method based on drones' poses to adapt different flight trajectories; (2) Using similarity of poses instead of (expert) network for rendering speedup to determine which region a new viewpoint belongs to; (3) Developing an adaptive sampling approach for rendering performance improvement to cover the entire buildings at different heights. Extensive experiments have conducted to verify the effectiveness and efficiency of Aerial-NeRF, and new state-of-the-art results have been achieved on two public large-scale aerial datasets and presented SCUTic dataset. Note that our model allows us to perform rendering over 4 times as fast as compared to multiple competitors. Our dataset, code, and model are publicly available at https://drliuqi.github.io/.
• Abstract（参考訳）: 大規模シーンレンダリングの最近の進歩は、小さな物体や屋内シーンにまたがってシーンを合成する印象的な能力を持つニューラル・ラジアンス・フィールズ(NeRF)ベースのモデルを生み出している。 それでも、このアイデアを大規模な空中レンダリングに拡張することは、2つの重要な問題を引き起こす。 まず、1つのNeRFは、各ビュー線に沿ったサンプリング範囲が不十分なため、複雑な大規模航空データセットに対して高い精度でシーン全体をレンダリングできない。 第二に、従来のNeRFは、1つのGPUでトレーニングし、大規模な画像をモデリングするためのインタラクティブなフライスルーを可能にすることができない。 既存の手法では、シーン全体を複数のリージョンに分割し、それぞれのリージョンでNeRFを訓練する。 そこで我々は,大規模な空中レンダリングにおいて,NeRFを協調的に適応させる3つの革新的な改良を施したAerial-NeRFを提案する。(1)ドローンの姿勢に基づく適応的空間分割と選択の手法を設計し,異なる飛行軌道に適応させること,(2)新しい視点がどの領域に属するかを決定するために,(専門)ネットワークの代わりにポーズの類似性を利用すること,(3)異なる高さで建物全体をカバーするための適応的サンプリング手法を開発する。 Aerial-NeRFの有効性と有効性を検証するために大規模な実験が行われ、新しい最先端の成果が2つの大規模航空データセットとSCUTicデータセットで達成された。 当社のモデルでは,複数の競合に比べて4倍以上高速なレンダリングを実現しています。 私たちのデータセット、コード、モデルはhttps://drliuqi.github.io/で公開されています。

関連論文リスト

• BirdNeRF: Fast Neural Reconstruction of Large-Scale Scenes From Aerial Imagery [3.4956406636452626]
  本研究では,空中画像を用いた大規模シーンの再構成に特化して設計されたNeRF(Neural Radiance Fields)の適応版であるBirdNeRFを紹介する。 本稿では,大規模な空中画像集合を複数小集合に分解し,空間分解アルゴリズムを提案する。 我々は、既存のデータセットと、独自のドローン映像に対するアプローチを評価し、従来のフォトグラムソフトウェアよりも10倍、最先端の大規模NeRFソリューションよりも50倍の再現速度を向上した。
  論文  参考訳（メタデータ） (2024-02-07T03:18:34Z)
• MuRF: Multi-Baseline Radiance Fields [117.55811938988256]
  スパースビュー合成におけるフィードフォワードアプローチであるmulti-Baseline Radiance Fields(MuRF)を提案する。 MuRFは、複数の異なるベースライン設定で最先端のパフォーマンスを達成する。 また、Mip-NeRF 360データセット上でゼロショットの一般化能力を示す。
  論文  参考訳（メタデータ） (2023-12-07T18:59:56Z)
• HybridNeRF: Efficient Neural Rendering via Adaptive Volumetric Surfaces [71.1071688018433]
  ニューラル放射場は、最先端のビュー合成品質を提供するが、レンダリングが遅くなる傾向がある。 本稿では,ほとんどの物体を表面としてレンダリングすることで,両表現の強みを生かしたHybridNeRFを提案する。 仮想現実分解能(2Kx2K)のリアルタイムフレームレート(少なくとも36FPS)を達成しながら、エラー率を15～30%改善する。
  論文  参考訳（メタデータ） (2023-12-05T22:04:49Z)
• Grid-guided Neural Radiance Fields for Large Urban Scenes [146.06368329445857]
  近年のアプローチでは、シーンを地理的に分割し、複数のサブNeRFを採用して各領域を個別にモデル化する手法が提案されている。 もう一つの解決策は、計算効率が良く、大きなシーンに自然にスケールできる機能グリッド表現を使用することである。 本稿では,大規模都市における高忠実度レンダリングを実現し,計算効率を向上する枠組みを提案する。
  論文  参考訳（メタデータ） (2023-03-24T13:56:45Z)
• Efficient Large-scale Scene Representation with a Hybrid of High-resolution Grid and Plane Features [44.25307397334988]
  大規模シーンモデリングのための既存のニューラルレイディアンスフィールド(NeRF)法は、複数のGPUを用いたトレーニングの日数を必要とする。 我々は,3次元ハッシュグレードと高分解能2次元高密度平面特徴を融合したNeRFの高速ハイブリッド特徴表現を提案する。 このハイブリッド表現に基づいて,コンパクトなモデルサイズを維持しつつ,より優れたレンダリング結果が得られるGP-NeRFと呼ばれる高速最適化NeRF変種を提案する。
  論文  参考訳（メタデータ） (2023-03-06T10:04:50Z)
• AligNeRF: High-Fidelity Neural Radiance Fields via Alignment-Aware Training [100.33713282611448]
  我々は、高分解能データによるNeRFのトレーニングに関する最初のパイロット研究を行う。 本稿では,多層パーセプトロンと畳み込み層との結合を含む,対応する解を提案する。 私たちのアプローチは、明らかなトレーニング/テストコストを導入することなく、ほぼ無償です。
  論文  参考訳（メタデータ） (2022-11-17T17:22:28Z)
• CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural Representations [77.90883737693325]
  本稿では,スパース入力センサビューから観測される大規模な屋外運転シーンをモデル化することで,NeRFを大幅に改善するCLONeRを提案する。 これは、NeRFフレームワーク内の占有率と色学習を、それぞれLiDARとカメラデータを用いてトレーニングされた個別のMulti-Layer Perceptron(MLP)に分離することで実現される。 さらに,NeRFモデルと平行に3D Occupancy Grid Maps(OGM)を構築する手法を提案し,この占有グリッドを利用して距離空間のレンダリングのために線に沿った点のサンプリングを改善する。
  論文  参考訳（メタデータ） (2022-09-02T17:44:50Z)
• Mega-NeRF: Scalable Construction of Large-Scale NeRFs for Virtual Fly-Throughs [54.41204057689033]
  我々は、ニューラルネットワーク(NeRF)を活用して、建物にまたがる大規模な視覚的キャプチャーや、主にドローンデータから収集された複数の都市ブロックからインタラクティブな3D環境を構築する方法について検討する。 NeRFが伝統的に評価されている単一のオブジェクトシーンとは対照的に、この設定には複数の課題がある。 我々は、訓練画像(またはむしろピクセル)を、並列で訓練できる異なるNeRFサブモジュールに分割する単純なクラスタリングアルゴリズムを導入する。
  論文  参考訳（メタデータ） (2021-12-20T17:40:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。