論文の概要: NeRFVS: Neural Radiance Fields for Free View Synthesis via Geometry Scaffolds

• arxiv url: http://arxiv.org/abs/2304.06287v2
• Date: Tue, 23 May 2023 12:49:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-24 23:54:44.676702
• Title: NeRFVS: Neural Radiance Fields for Free View Synthesis via Geometry Scaffolds
• Title（参考訳）: NeRFVS: 幾何学による自由視点合成のためのニューラルラジアンス場
• Authors: Chen Yang, Peihao Li, Zanwei Zhou, Shanxin Yuan, Bingbing Liu, Xiaokang Yang, Weichao Qiu, Wei Shen
• Abstract要約: 室内における自由ナビゲーションを可能にする新しいニューラル放射場(NeRF)法であるNeRFVSを提案する。 NeRFは、トレーニングビューと大きく異なる新規ビューに苦しむ一方で、入力ビューと同様の新規ビューの画像のレンダリングにおいて、印象的なパフォーマンスを実現している。
• 参考スコア（独自算出の注目度）: 60.1382112938132
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present NeRFVS, a novel neural radiance fields (NeRF) based method to enable free navigation in a room. NeRF achieves impressive performance in rendering images for novel views similar to the input views while suffering for novel views that are significantly different from the training views. To address this issue, we utilize the holistic priors, including pseudo depth maps and view coverage information, from neural reconstruction to guide the learning of implicit neural representations of 3D indoor scenes. Concretely, an off-the-shelf neural reconstruction method is leveraged to generate a geometry scaffold. Then, two loss functions based on the holistic priors are proposed to improve the learning of NeRF: 1) A robust depth loss that can tolerate the error of the pseudo depth map to guide the geometry learning of NeRF; 2) A variance loss to regularize the variance of implicit neural representations to reduce the geometry and color ambiguity in the learning procedure. These two loss functions are modulated during NeRF optimization according to the view coverage information to reduce the negative influence brought by the view coverage imbalance. Extensive results demonstrate that our NeRFVS outperforms state-of-the-art view synthesis methods quantitatively and qualitatively on indoor scenes, achieving high-fidelity free navigation results.
• Abstract（参考訳）: 室内における自由ナビゲーションを可能にする新しいニューラル放射場(NeRF)法であるNeRFVSを提案する。 nerfは、トレーニングビューと大きく異なる新規ビューに苦しむ一方で、入力ビューに似た新規ビューのレンダリングで印象的なパフォーマンスを達成している。 この問題に対処するために,3次元屋内シーンの暗黙的ニューラルネットワーク表現の学習のガイドとして,ニューラルネットワーク再構成から疑似深度マップや視野カバレッジ情報を含む全体論的事前情報を利用する。 具体的には、既製のニューラル再構成法を利用して幾何学的足場を生成する。 そして、NeRFの学習を改善するために、全体論的事前に基づく2つの損失関数を提案する。 1)NeRFの幾何学的学習を導くために擬似深度マップの誤差を許容できる頑健な深度損失 2) 暗黙の神経表現の分散を規則化する分散損失は、学習手順の幾何学的・色彩的曖昧さを減少させる。 これらの2つの損失関数は、ビューカバレッジ情報に従ってNeRF最適化中に変調され、ビューカバレッジの不均衡による負の影響を低減する。 以上の結果から,NeRFVSは室内のシーンにおいて定量的かつ質的に最先端のビュー合成法より優れ,高忠実度なナビゲーション結果が得られることが示された。

関連論文リスト

• Re-Nerfing: Improving Novel View Synthesis through Novel View Synthesis [80.3686833921072]
  最近のニューラルレンダリングや、NeRFsやGaussian Splattingのような再構成技術は、目覚ましいビュー合成能力を示している。 画像が少ないほど、これらの手法は、基礎となる3D幾何学を正しく三角測量できないため、失敗し始めます。 本稿では,新規なビュー合成自体を活用するシンプルで汎用的なアドオン手法であるRe-Nerfingを提案する。
  論文  参考訳（メタデータ） (2023-12-04T18:56:08Z)
• Improving Neural Radiance Fields with Depth-aware Optimization for Novel View Synthesis [12.3338393483795]
  SfMNeRFは,新規な視点の合成と3次元シーン形状の再構成を行う手法である。 SfMNeRFは、エピポーラ性、光度整合性、深さの滑らかさ、および3Dシーン構造を明示的に再構成するためにマッチ位置制約を用いる。 2つの公開データセットの実験では、SfMNeRFが最先端のアプローチを上回ることが示されている。
  論文  参考訳（メタデータ） (2023-04-11T13:37:17Z)
• Clean-NeRF: Reformulating NeRF to account for View-Dependent Observations [67.54358911994967]
  本稿では,複雑なシーンにおける3次元再構成と新しいビューレンダリングのためのクリーンネRFを提案する。 clean-NeRFはプラグインとして実装することができ、既存のNeRFベースのメソッドを追加入力なしですぐに利用することができる。
  論文  参考訳（メタデータ） (2023-03-26T12:24:31Z)
• SCADE: NeRFs from Space Carving with Ambiguity-Aware Depth Estimates [16.344734292989504]
  SCADEは、スパースで制約のない入力ビューにおけるNeRF再構成品質を改善する新しい技術である。 本研究では,各視点に対して,深度推定の連続的マルチモーダル分布を予測する新しい手法を提案する。 実験により,本手法はスパースビューから高忠実度ノベルビューの合成を可能にすることが示された。
  論文  参考訳（メタデータ） (2023-03-23T18:00:07Z)
• NerfDiff: Single-image View Synthesis with NeRF-guided Distillation from 3D-aware Diffusion [107.67277084886929]
  単一の画像からの新しいビュー合成には、オブジェクトやシーンの隠蔽領域を推論すると同時に、入力とのセマンティックおよび物理的整合性を同時に維持する必要がある。 そこで我々は,NerfDiffを提案する。NerfDiffは3D対応条件拡散モデル(CDM)の知識を,テスト時に仮想ビューの集合を合成・精製することで,NeRFに抽出することでこの問題に対処する。 さらに,CDMサンプルから3次元一貫した仮想ビューを同時に生成し,改良された仮想ビューに基づいてNeRFを微調整する新しいNeRF誘導蒸留アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-20T17:12:00Z)
• Aug-NeRF: Training Stronger Neural Radiance Fields with Triple-Level Physically-Grounded Augmentations [111.08941206369508]
  我々は,NeRFトレーニングの正規化にロバストなデータ拡張のパワーを初めてもたらすAugmented NeRF(Aug-NeRF)を提案する。 提案手法では,最悪の場合の摂動を3段階のNeRFパイプラインにシームレスにブレンドする。 Aug-NeRFは、新しいビュー合成と基礎となる幾何再構成の両方において、NeRF性能を効果的に向上させる。
  論文  参考訳（メタデータ） (2022-07-04T02:27:07Z)
• InfoNeRF: Ray Entropy Minimization for Few-Shot Neural Volume Rendering [55.70938412352287]
  ニューラルな暗黙表現に基づく数ショットの新規ビュー合成のための情報理論正規化手法を提案する。 提案手法は,不十分な視点で発生する潜在的な復元の不整合を最小化する。 複数の標準ベンチマークにおいて,既存のニューラルビュー合成手法と比較して一貫した性能向上を実現している。
  論文  参考訳（メタデータ） (2021-12-31T11:56:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。