論文の概要: Mega-NeRF: Scalable Construction of Large-Scale NeRFs for Virtual Fly-Throughs

• arxiv url: http://arxiv.org/abs/2112.10703v1
• Date: Mon, 20 Dec 2021 17:40:48 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-21 16:07:44.395288
• Title: Mega-NeRF: Scalable Construction of Large-Scale NeRFs for Virtual Fly-Throughs
• Title（参考訳）: Mega-NeRF:Virtual Fly-Throughsのための大規模NeRFのスケーラブル構築
• Authors: Haithem Turki, Deva Ramanan, Mahadev Satyanarayanan
• Abstract要約: 我々は、ニューラルネットワーク(NeRF)を活用して、建物にまたがる大規模な視覚的キャプチャーや、主にドローンデータから収集された複数の都市ブロックからインタラクティブな3D環境を構築する方法について検討する。 NeRFが伝統的に評価されている単一のオブジェクトシーンとは対照的に、この設定には複数の課題がある。 我々は、訓練画像(またはむしろピクセル)を、並列で訓練できる異なるNeRFサブモジュールに分割する単純なクラスタリングアルゴリズムを導入する。
• 参考スコア（独自算出の注目度）: 54.41204057689033
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We explore how to leverage neural radiance fields (NeRFs) to build interactive 3D environments from large-scale visual captures spanning buildings or even multiple city blocks collected primarily from drone data. In contrast to the single object scenes against which NeRFs have been traditionally evaluated, this setting poses multiple challenges including (1) the need to incorporate thousands of images with varying lighting conditions, all of which capture only a small subset of the scene, (2) prohibitively high model capacity and ray sampling requirements beyond what can be naively trained on a single GPU, and (3) an arbitrarily large number of possible viewpoints that make it unfeasible to precompute all relevant information beforehand (as real-time NeRF renderers typically do). To address these challenges, we begin by analyzing visibility statistics for large-scale scenes, motivating a sparse network structure where parameters are specialized to different regions of the scene. We introduce a simple geometric clustering algorithm that partitions training images (or rather pixels) into different NeRF submodules that can be trained in parallel. We evaluate our approach across scenes taken from the Quad 6k and UrbanScene3D datasets as well as against our own drone footage and show a 3x training speedup while improving PSNR by over 11% on average. We subsequently perform an empirical evaluation of recent NeRF fast renderers on top of Mega-NeRF and introduce a novel method that exploits temporal coherence. Our technique achieves a 40x speedup over conventional NeRF rendering while remaining within 0.5 db in PSNR quality, exceeding the fidelity of existing fast renderers.
• Abstract（参考訳）: 我々は、ニューラルネットワーク(NeRF)を利用して、建物にまたがる大規模な視覚的キャプチャーや、主にドローンデータから収集された複数の都市ブロックからインタラクティブな3D環境を構築する方法について検討する。 In contrast to the single object scenes against which NeRFs have been traditionally evaluated, this setting poses multiple challenges including (1) the need to incorporate thousands of images with varying lighting conditions, all of which capture only a small subset of the scene, (2) prohibitively high model capacity and ray sampling requirements beyond what can be naively trained on a single GPU, and (3) an arbitrarily large number of possible viewpoints that make it unfeasible to precompute all relevant information beforehand (as real-time NeRF renderers typically do). これらの課題に対処するために、大規模シーンの可視性統計を解析し、各シーンの異なる領域にパラメータが特化しているスパースネットワーク構造を動機付ける。 我々は、訓練画像(またはむしろピクセル)を並列に訓練できる異なるNeRFサブモジュールに分割する単純な幾何学的クラスタリングアルゴリズムを導入する。 我々は、Quad 6kとUrbanScene3Dのデータセットから得られたシーンのアプローチと、ドローンの映像を比較し、PSNRを平均11%以上改善しながら3倍のトレーニングスピードアップを示す。 その後,Mega-NeRF上における最近のNeRF高速レンダラーの実証評価を行い,時間的コヒーレンスを利用した新しい手法を提案する。 提案手法は,既存の高速レンダラーの忠実度を超えながら,PSNR品質0.5db以内で従来のNeRFレンダリングの40倍の高速化を実現する。

関連論文リスト

• Aerial-NeRF: Adaptive Spatial Partitioning and Sampling for Large-Scale Aerial Rendering [10.340739248752516]
  複雑な空中シーンを高精度でレンダリングするためのAerial-NeRFを提案する。 当社のモデルでは,複数の競合に比べて4倍以上の高速レンダリングを実現しています。 2つのパブリックな大規模空中データセットに対して、最先端の新たな結果が得られた。
  論文  参考訳（メタデータ） (2024-05-10T02:57:02Z)
• BirdNeRF: Fast Neural Reconstruction of Large-Scale Scenes From Aerial Imagery [3.4956406636452626]
  本研究では,空中画像を用いた大規模シーンの再構成に特化して設計されたNeRF(Neural Radiance Fields)の適応版であるBirdNeRFを紹介する。 本稿では,大規模な空中画像集合を複数小集合に分解し,空間分解アルゴリズムを提案する。 我々は、既存のデータセットと、独自のドローン映像に対するアプローチを評価し、従来のフォトグラムソフトウェアよりも10倍、最先端の大規模NeRFソリューションよりも50倍の再現速度を向上した。
  論文  参考訳（メタデータ） (2024-02-07T03:18:34Z)
• Multi-Space Neural Radiance Fields [74.46513422075438]
  既存のニューラルレージアンス場(NeRF)法は反射物体の存在に悩まされている。 並列部分空間における特徴場の群を用いてシーンを表現するマルチスペースニューラルレイディアンス場(MS-NeRF)を提案する。 提案手法は,高品質シーンのレンダリングにおいて,既存の単一空間NeRF法よりも優れていた。
  論文  参考訳（メタデータ） (2023-05-07T13:11:07Z)
• Pre-NeRF 360: Enriching Unbounded Appearances for Neural Radiance Fields [8.634008996263649]
  我々は,NeRFアーキテクチャの性能向上のための新しいフレームワークを提案する。 我々のソリューションは、以前のバージョンのNeRFに悩まされていたいくつかの障害を克服します。 我々はN5k360データセットとして知られるNutrition5kデータセットの更新版を導入する。
  論文  参考訳（メタデータ） (2023-03-21T23:29:38Z)
• AligNeRF: High-Fidelity Neural Radiance Fields via Alignment-Aware Training [100.33713282611448]
  我々は、高分解能データによるNeRFのトレーニングに関する最初のパイロット研究を行う。 本稿では,多層パーセプトロンと畳み込み層との結合を含む,対応する解を提案する。 私たちのアプローチは、明らかなトレーニング/テストコストを導入することなく、ほぼ無償です。
  論文  参考訳（メタデータ） (2022-11-17T17:22:28Z)
• NeRFPlayer: A Streamable Dynamic Scene Representation with Decomposed Neural Radiance Fields [99.57774680640581]
  本稿では、高速な再構成、コンパクトなモデリング、およびストリーム可能なレンダリングが可能な効率的なフレームワークを提案する。 本稿では, 時間特性に応じて4次元空間を分解することを提案する。4次元空間の点は, 静的, 変形, および新しい領域の3つのカテゴリに属する確率に関連付けられている。
  論文  参考訳（メタデータ） (2022-10-28T07:11:05Z)
• CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural Representations [77.90883737693325]
  本稿では,スパース入力センサビューから観測される大規模な屋外運転シーンをモデル化することで,NeRFを大幅に改善するCLONeRを提案する。 これは、NeRFフレームワーク内の占有率と色学習を、それぞれLiDARとカメラデータを用いてトレーニングされた個別のMulti-Layer Perceptron(MLP)に分離することで実現される。 さらに,NeRFモデルと平行に3D Occupancy Grid Maps(OGM)を構築する手法を提案し,この占有グリッドを利用して距離空間のレンダリングのために線に沿った点のサンプリングを改善する。
  論文  参考訳（メタデータ） (2022-09-02T17:44:50Z)
• Aug-NeRF: Training Stronger Neural Radiance Fields with Triple-Level Physically-Grounded Augmentations [111.08941206369508]
  我々は,NeRFトレーニングの正規化にロバストなデータ拡張のパワーを初めてもたらすAugmented NeRF(Aug-NeRF)を提案する。 提案手法では,最悪の場合の摂動を3段階のNeRFパイプラインにシームレスにブレンドする。 Aug-NeRFは、新しいビュー合成と基礎となる幾何再構成の両方において、NeRF性能を効果的に向上させる。
  論文  参考訳（メタデータ） (2022-07-04T02:27:07Z)
• Baking Neural Radiance Fields for Real-Time View Synthesis [41.07052395570522]
  我々は、NeRFをトレーニングし、プリコンプリートし、保存する(すなわち)方法を提案する。 「ベイク」はスパースニューラルネットワーク放射格子(snerg)と呼ばれる新しい表現である。 結果として生じるシーン表現は、細かい幾何学的詳細とビュー依存の外観をレンダリングするNeRFの能力を保持し、コンパクトであり、リアルタイムでレンダリングすることができる。
  論文  参考訳（メタデータ） (2021-03-26T17:59:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。