論文の概要: AligNeRF: High-Fidelity Neural Radiance Fields via Alignment-Aware Training

• arxiv url: http://arxiv.org/abs/2211.09682v1
• Date: Thu, 17 Nov 2022 17:22:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-18 16:39:10.269249
• Title: AligNeRF: High-Fidelity Neural Radiance Fields via Alignment-Aware Training
• Title（参考訳）: AligNeRF:アライメント・アウェアトレーニングによる高忠実神経放射場
• Authors: Yifan Jiang, Peter Hedman, Ben Mildenhall, Dejia Xu, Jonathan T. Barron, Zhangyang Wang, Tianfan Xue
• Abstract要約: 我々は、高分解能データによるNeRFのトレーニングに関する最初のパイロット研究を行う。 本稿では,多層パーセプトロンと畳み込み層との結合を含む,対応する解を提案する。 私たちのアプローチは、明らかなトレーニング/テストコストを導入することなく、ほぼ無償です。
• 参考スコア（独自算出の注目度）: 100.33713282611448
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Radiance Fields (NeRFs) are a powerful representation for modeling a 3D scene as a continuous function. Though NeRF is able to render complex 3D scenes with view-dependent effects, few efforts have been devoted to exploring its limits in a high-resolution setting. Specifically, existing NeRF-based methods face several limitations when reconstructing high-resolution real scenes, including a very large number of parameters, misaligned input data, and overly smooth details. In this work, we conduct the first pilot study on training NeRF with high-resolution data and propose the corresponding solutions: 1) marrying the multilayer perceptron (MLP) with convolutional layers which can encode more neighborhood information while reducing the total number of parameters; 2) a novel training strategy to address misalignment caused by moving objects or small camera calibration errors; and 3) a high-frequency aware loss. Our approach is nearly free without introducing obvious training/testing costs, while experiments on different datasets demonstrate that it can recover more high-frequency details compared with the current state-of-the-art NeRF models. Project page: \url{https://yifanjiang.net/alignerf.}
• Abstract（参考訳）: ニューラル・ラジアンス・フィールド(NeRF)は3次元シーンを連続関数としてモデル化するための強力な表現である。 nerfは、ビューに依存した複雑な3dシーンをレンダリングできるが、高解像度設定でその限界を探索する努力は少ない。 具体的には、非常に多くのパラメータ、不整合入力データ、過度に滑らかな詳細を含む、高解像度のリアルシーンを再構成する際に、既存のNeRFベースの手法にはいくつかの制限がある。 本研究では,高分解能データを用いたnrf訓練に関する最初のパイロット研究を行い,対応する解を提案する。 1) 多層パーセプトロン(mlp)と、パラメータの総数を減少させながら、より多くの近傍情報をエンコードできる畳み込み層との結合 2 移動物体又は小型カメラキャリブレーション誤差による不一致に対処するための新しい訓練戦略 3)高周波認識損失。 我々のアプローチは、明らかなトレーニング/テストコストを導入することなくほぼ無料で、異なるデータセットでの実験では、現在のnerfモデルと比較して、より高周波な詳細を回復できることが示されています。 プロジェクトページ: \url{https://yifanjiang.net/alignerf。 }

関連論文リスト

• SCARF: Scalable Continual Learning Framework for Memory-efficient Multiple Neural Radiance Fields [9.606992888590757]
  我々は,多層パーセプトロンを用いてシーンの密度と放射場を暗黙の関数としてモデル化するニューラルレージアンス場(NeRF)を構築した。 本研究では, 既往のシーンの放射界知識を新しいモデルに転送するための, 不確実な表面知識蒸留戦略を提案する。 実験の結果,提案手法はNeRF-Synthetic, LLFF, TanksAndTemplesデータセット上での連続学習NeRFの最先端のレンダリング品質を実現する。
  論文  参考訳（メタデータ） (2024-09-06T03:36:12Z)
• Leveraging Neural Radiance Fields for Uncertainty-Aware Visual Localization [56.95046107046027]
  我々は,Neural Radiance Fields (NeRF) を用いてシーン座標回帰のためのトレーニングサンプルを生成することを提案する。 レンダリングにおけるNeRFの効率にもかかわらず、レンダリングされたデータの多くはアーティファクトによって汚染されるか、最小限の情報ゲインしか含まない。
  論文  参考訳（メタデータ） (2023-10-10T20:11:13Z)
• Multi-Space Neural Radiance Fields [74.46513422075438]
  既存のニューラルレージアンス場(NeRF)法は反射物体の存在に悩まされている。 並列部分空間における特徴場の群を用いてシーンを表現するマルチスペースニューラルレイディアンス場(MS-NeRF)を提案する。 提案手法は,高品質シーンのレンダリングにおいて,既存の単一空間NeRF法よりも優れていた。
  論文  参考訳（メタデータ） (2023-05-07T13:11:07Z)
• Clean-NeRF: Reformulating NeRF to account for View-Dependent Observations [67.54358911994967]
  本稿では,複雑なシーンにおける3次元再構成と新しいビューレンダリングのためのクリーンネRFを提案する。 clean-NeRFはプラグインとして実装することができ、既存のNeRFベースのメソッドを追加入力なしですぐに利用することができる。
  論文  参考訳（メタデータ） (2023-03-26T12:24:31Z)
• 4K-NeRF: High Fidelity Neural Radiance Fields at Ultra High Resolutions [19.380248980850727]
  超高分解能の難易度シナリオにおいて、高忠実度ビュー合成を追求するために、4K-NeRFという新規で効果的なフレームワークを提案する。 本稿では,高頻度詳細回復のために線量相関を探索し,この問題に対処する。 提案手法は, 4K超高分解能シナリオにおいて, 最新のNeRF法と比較して, 高周波数細部でのレンダリング品質を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2022-12-09T07:26:49Z)
• CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural Representations [77.90883737693325]
  本稿では,スパース入力センサビューから観測される大規模な屋外運転シーンをモデル化することで,NeRFを大幅に改善するCLONeRを提案する。 これは、NeRFフレームワーク内の占有率と色学習を、それぞれLiDARとカメラデータを用いてトレーニングされた個別のMulti-Layer Perceptron(MLP)に分離することで実現される。 さらに,NeRFモデルと平行に3D Occupancy Grid Maps(OGM)を構築する手法を提案し,この占有グリッドを利用して距離空間のレンダリングのために線に沿った点のサンプリングを改善する。
  論文  参考訳（メタデータ） (2022-09-02T17:44:50Z)
• Mega-NeRF: Scalable Construction of Large-Scale NeRFs for Virtual Fly-Throughs [54.41204057689033]
  我々は、ニューラルネットワーク(NeRF)を活用して、建物にまたがる大規模な視覚的キャプチャーや、主にドローンデータから収集された複数の都市ブロックからインタラクティブな3D環境を構築する方法について検討する。 NeRFが伝統的に評価されている単一のオブジェクトシーンとは対照的に、この設定には複数の課題がある。 我々は、訓練画像(またはむしろピクセル)を、並列で訓練できる異なるNeRFサブモジュールに分割する単純なクラスタリングアルゴリズムを導入する。
  論文  参考訳（メタデータ） (2021-12-20T17:40:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。