論文の概要: Global-guided Focal Neural Radiance Field for Large-scale Scene Rendering

• arxiv url: http://arxiv.org/abs/2403.12839v1
• Date: Tue, 19 Mar 2024 15:45:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-20 13:44:06.760278
• Title: Global-guided Focal Neural Radiance Field for Large-scale Scene Rendering
• Title（参考訳）: 大規模シーンレンダリングのためのグローバル誘導型フーカルニューラルラジアンスフィールド
• Authors: Mingqi Shao, Feng Xiong, Hang Zhang, Shuang Yang, Mu Xu, Wei Bian, Xueqian Wang,
• Abstract要約: 大規模シーンの高忠実なレンダリングを実現するグローバル誘導焦点型ニューラルレイディアンス場(GF-NeRF)を提案する。 提案手法は,多種多様な大規模データセットに対して,高忠実で自然なレンダリング結果を実現する。
• 参考スコア（独自算出の注目度）: 12.272724419136575
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural radiance fields~(NeRF) have recently been applied to render large-scale scenes. However, their limited model capacity typically results in blurred rendering results. Existing large-scale NeRFs primarily address this limitation by partitioning the scene into blocks, which are subsequently handled by separate sub-NeRFs. These sub-NeRFs, trained from scratch and processed independently, lead to inconsistencies in geometry and appearance across the scene. Consequently, the rendering quality fails to exhibit significant improvement despite the expansion of model capacity. In this work, we present global-guided focal neural radiance field (GF-NeRF) that achieves high-fidelity rendering of large-scale scenes. Our proposed GF-NeRF utilizes a two-stage (Global and Focal) architecture and a global-guided training strategy. The global stage obtains a continuous representation of the entire scene while the focal stage decomposes the scene into multiple blocks and further processes them with distinct sub-encoders. Leveraging this two-stage architecture, sub-encoders only need fine-tuning based on the global encoder, thus reducing training complexity in the focal stage while maintaining scene-wide consistency. Spatial information and error information from the global stage also benefit the sub-encoders to focus on crucial areas and effectively capture more details of large-scale scenes. Notably, our approach does not rely on any prior knowledge about the target scene, attributing GF-NeRF adaptable to various large-scale scene types, including street-view and aerial-view scenes. We demonstrate that our method achieves high-fidelity, natural rendering results on various types of large-scale datasets. Our project page: https://shaomq2187.github.io/GF-NeRF/
• Abstract（参考訳）: ニューラル放射場~(NeRF)は近年,大規模シーンのレンダリングに応用されている。 しかし、その限られたモデル容量は、通常、ぼやけたレンダリング結果をもたらす。 既存の大規模なNeRFは、シーンをブロックに分割することでこの制限に対処し、その後別のサブNeRFによって処理される。 これらのサブNeRFは、スクラッチから訓練され、独立して処理されるため、シーン全体の幾何学と外観に矛盾が生じます。 その結果, モデルキャパシティの拡張にもかかわらず, レンダリング品質は著しく向上しなかった。 本研究では,大規模シーンの高忠実なレンダリングを実現するグローバル誘導焦点型ニューラルレイディアンス場(GF-NeRF)を提案する。 提案するGF-NeRFは,2段階 (Global and Focal) アーキテクチャとグローバル誘導型トレーニング戦略を利用する。 グローバルステージはシーン全体を連続的に表現し、フォーカスステージはシーンを複数のブロックに分解し、異なるサブエンコーダで処理する。 この2段階アーキテクチャを利用することで、サブエンコーダはグローバルエンコーダに基づいた微調整のみを必要とするため、シーン全体の一貫性を維持しながら、フォーカスステージにおけるトレーニングの複雑さを低減できる。 グローバルステージからの空間情報やエラー情報は、サブエンコーダが重要な領域に集中し、大規模シーンのより詳細な情報を効果的に取得するのに役立つ。 特に,本手法は対象シーンに関する事前の知識に頼らず,ストリートビューや空中ビューなど,大規模シーンに適応可能なGF-NeRFに寄与する。 提案手法は,様々な種類の大規模データセットに対して,高忠実で自然なレンダリング結果が得られることを示す。 プロジェクトページ: https://shaomq2187.github.io/GF-NeRF/

関連論文リスト

• InterNeRF: Scaling Radiance Fields via Parameter Interpolation [36.014610797521605]
  モデルパラメータのサブセットを用いてターゲットビューをレンダリングする新しいアーキテクチャであるInterNeRFを提案する。 標準ベンチマークでは競争力を維持しながら,マルチルームシーンにおいて大幅な改善が示された。
  論文  参考訳（メタデータ） (2024-06-17T16:55:22Z)
• Aerial-NeRF: Adaptive Spatial Partitioning and Sampling for Large-Scale Aerial Rendering [10.340739248752516]
  複雑な空中シーンを高精度でレンダリングするためのAerial-NeRFを提案する。 当社のモデルでは,複数の競合に比べて4倍以上の高速レンダリングを実現しています。 2つのパブリックな大規模空中データセットに対して、最先端の新たな結果が得られた。
  論文  参考訳（メタデータ） (2024-05-10T02:57:02Z)
• SCALAR-NeRF: SCAlable LARge-scale Neural Radiance Fields for Scene Reconstruction [66.69049158826677]
  本稿では,スケーラブルな大規模ニューラルシーン再構築に適した新しいフレームワークであるSCALAR-NeRFを紹介する。 ニューラル表現をエンコーダ・デコーダアーキテクチャとして構成し、そこではエンコーダが3次元点座標を処理してエンコーダ化された特徴を生成する。 そこで本研究では,これらの局所モデルから出力を抽出し,最終的な再構築を実現するための効率的かつ効率的な手法を提案する。
  論文  参考訳（メタデータ） (2023-11-28T10:18:16Z)
• Grid-guided Neural Radiance Fields for Large Urban Scenes [146.06368329445857]
  近年のアプローチでは、シーンを地理的に分割し、複数のサブNeRFを採用して各領域を個別にモデル化する手法が提案されている。 もう一つの解決策は、計算効率が良く、大きなシーンに自然にスケールできる機能グリッド表現を使用することである。 本稿では,大規模都市における高忠実度レンダリングを実現し,計算効率を向上する枠組みを提案する。
  論文  参考訳（メタデータ） (2023-03-24T13:56:45Z)
• CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural Representations [77.90883737693325]
  本稿では,スパース入力センサビューから観測される大規模な屋外運転シーンをモデル化することで,NeRFを大幅に改善するCLONeRを提案する。 これは、NeRFフレームワーク内の占有率と色学習を、それぞれLiDARとカメラデータを用いてトレーニングされた個別のMulti-Layer Perceptron(MLP)に分離することで実現される。 さらに,NeRFモデルと平行に3D Occupancy Grid Maps(OGM)を構築する手法を提案し,この占有グリッドを利用して距離空間のレンダリングのために線に沿った点のサンプリングを改善する。
  論文  参考訳（メタデータ） (2022-09-02T17:44:50Z)
• NeRFusion: Fusing Radiance Fields for Large-Scale Scene Reconstruction [50.54946139497575]
  我々は,NeRF と TSDF をベースとした核融合技術の利点を組み合わせて,大規模再構築とフォトリアリスティックレンダリングを実現する手法であるNeRFusion を提案する。 我々は,大規模な屋内・小規模の両方の物体シーンにおいて,NeRFの最先端性を達成し,NeRFや他の最近の手法よりも大幅に高速に再現できることを実証した。
  論文  参考訳（メタデータ） (2022-03-21T18:56:35Z)
• Mega-NeRF: Scalable Construction of Large-Scale NeRFs for Virtual Fly-Throughs [54.41204057689033]
  我々は、ニューラルネットワーク(NeRF)を活用して、建物にまたがる大規模な視覚的キャプチャーや、主にドローンデータから収集された複数の都市ブロックからインタラクティブな3D環境を構築する方法について検討する。 NeRFが伝統的に評価されている単一のオブジェクトシーンとは対照的に、この設定には複数の課題がある。 我々は、訓練画像(またはむしろピクセル)を、並列で訓練できる異なるNeRFサブモジュールに分割する単純なクラスタリングアルゴリズムを導入する。
  論文  参考訳（メタデータ） (2021-12-20T17:40:48Z)
• BungeeNeRF: Progressive Neural Radiance Field for Extreme Multi-scale Scene Rendering [145.95688637309746]
  本稿では,大々的に変化するスケールにわたる詳細レンダリングを実現するプログレッシブ・ニューラル放射場である BungeeNeRF を紹介する。 多様なマルチスケールシーンをモデル化する上での BungeeNeRF の優位性を示す。
  論文  参考訳（メタデータ） (2021-12-10T13:16:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。