論文の概要: Improving Neural Radiance Fields with Depth-aware Optimization for Novel View Synthesis

• arxiv url: http://arxiv.org/abs/2304.05218v2
• Date: Tue, 20 Feb 2024 02:23:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-21 21:45:16.494219
• Title: Improving Neural Radiance Fields with Depth-aware Optimization for Novel View Synthesis
• Title（参考訳）: 新しいビュー合成のための深さ認識最適化によるニューラルラジアンス場の改善
• Authors: Shu Chen, Junyao Li, Yang Zhang, and Beiji Zou
• Abstract要約: SfMNeRFは,新規な視点の合成と3次元シーン形状の再構成を行う手法である。 SfMNeRFは、エピポーラ性、光度整合性、深さの滑らかさ、および3Dシーン構造を明示的に再構成するためにマッチ位置制約を用いる。 2つの公開データセットの実験では、SfMNeRFが最先端のアプローチを上回ることが示されている。
• 参考スコア（独自算出の注目度）: 12.3338393483795
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With dense inputs, Neural Radiance Fields (NeRF) is able to render photo-realistic novel views under static conditions. Although the synthesis quality is excellent, existing NeRF-based methods fail to obtain moderate three-dimensional (3D) structures. The novel view synthesis quality drops dramatically given sparse input due to the implicitly reconstructed inaccurate 3D-scene structure. We propose SfMNeRF, a method to better synthesize novel views as well as reconstruct the 3D-scene geometry. SfMNeRF leverages the knowledge from the self-supervised depth estimation methods to constrain the 3D-scene geometry during view synthesis training. Specifically, SfMNeRF employs the epipolar, photometric consistency, depth smoothness, and position-of-matches constraints to explicitly reconstruct the 3D-scene structure. Through these explicit constraints and the implicit constraint from NeRF, our method improves the view synthesis as well as the 3D-scene geometry performance of NeRF at the same time. In addition, SfMNeRF synthesizes novel sub-pixels in which the ground truth is obtained by image interpolation. This strategy enables SfMNeRF to include more samples to improve generalization performance. Experiments on two public datasets demonstrate that SfMNeRF surpasses state-of-the-art approaches. Code is available at https://github.com/XTU-PR-LAB/SfMNeRF
• Abstract（参考訳）: 密度の高い入力により、Neural Radiance Fields (NeRF) は静止条件下でフォトリアリスティックな新しいビューを描画することができる。 合成品質は優れているが、既存のNeRF法では適度な3次元構造が得られない。 新規なビュー合成品質は、暗黙的に再構成された3Dシーン構造によりスパース入力が劇的に低下する。 SfMNeRFは,新規な視点の合成と3次元シーン形状の再構成を行う手法である。 SfMNeRFは、自己教師付き深度推定法からの知識を活用し、ビュー合成訓練中の3次元シーン形状を制約する。 具体的には、SfMNeRFは3Dシーン構造を明示的に再構成するために、エピポーラ、測光整合性、深さの滑らかさ、および位置の制約を用いる。 これらの明示的な制約と、NeRFからの暗黙的な制約により、この手法は、NeRFの3次元シーン幾何性能と、ビュー合成を同時に改善する。 さらに、SfMNeRFは、画像補間により基底真理が得られる新しいサブピクセルを合成する。 この戦略により、SfMNeRFはより多くのサンプルを組み込んで一般化性能を向上させることができる。 2つの公開データセットの実験では、SfMNeRFが最先端のアプローチを上回ることが示されている。 コードはhttps://github.com/XTU-PR-LAB/SfMNeRFで公開されている。

関連論文リスト

• Denoising Diffusion via Image-Based Rendering [54.20828696348574]
  実世界の3Dシーンの高速かつ詳細な再構築と生成を可能にする最初の拡散モデルを提案する。 まず、大きな3Dシーンを効率よく正確に表現できる新しいニューラルシーン表現であるIBプレーンを導入する。 第二に,2次元画像のみを用いて,この新たな3次元シーン表現の事前学習を行うためのデノイング拡散フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-05T19:00:45Z)
• Re-Nerfing: Improving Novel View Synthesis through Novel View Synthesis [80.3686833921072]
  最近のニューラルレンダリングや、NeRFsやGaussian Splattingのような再構成技術は、目覚ましいビュー合成能力を示している。 画像が少ないほど、これらの手法は、基礎となる3D幾何学を正しく三角測量できないため、失敗し始めます。 本稿では,新規なビュー合成自体を活用するシンプルで汎用的なアドオン手法であるRe-Nerfingを提案する。
  論文  参考訳（メタデータ） (2023-12-04T18:56:08Z)
• NeRF-Det: Learning Geometry-Aware Volumetric Representation for Multi-View 3D Object Detection [65.02633277884911]
  提案するNeRF-Detは,RGB画像を入力として室内3次元検出を行う新しい手法である。 提案手法は3次元形状を明示的に推定するため, エンドツーエンドでNeRFを用いて3次元検出性能を向上する。
  論文  参考訳（メタデータ） (2023-07-27T04:36:16Z)
• NeRF synthesis with shading guidance [16.115903198836698]
  我々は,NeRFパッチの構造的内容を利用したNeRF合成という新しいタスクを提案する。 我々は,複雑な照明シーンであっても,一貫した形状と外観で高品質な結果が得られることを示した。
  論文  参考訳（メタデータ） (2023-06-20T14:18:20Z)
• NeRFMeshing: Distilling Neural Radiance Fields into Geometrically-Accurate 3D Meshes [56.31855837632735]
  我々は、NeRF駆動のアプローチで容易に3次元表面を再構成できるコンパクトで柔軟なアーキテクチャを提案する。 最後の3Dメッシュは物理的に正確で、デバイスアレイ上でリアルタイムでレンダリングできます。
  論文  参考訳（メタデータ） (2023-03-16T16:06:03Z)
• NerfDiff: Single-image View Synthesis with NeRF-guided Distillation from 3D-aware Diffusion [107.67277084886929]
  単一の画像からの新しいビュー合成には、オブジェクトやシーンの隠蔽領域を推論すると同時に、入力とのセマンティックおよび物理的整合性を同時に維持する必要がある。 そこで我々は,NerfDiffを提案する。NerfDiffは3D対応条件拡散モデル(CDM)の知識を,テスト時に仮想ビューの集合を合成・精製することで,NeRFに抽出することでこの問題に対処する。 さらに,CDMサンプルから3次元一貫した仮想ビューを同時に生成し,改良された仮想ビューに基づいてNeRFを微調整する新しいNeRF誘導蒸留アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-20T17:12:00Z)
• Semantic 3D-aware Portrait Synthesis and Manipulation Based on Compositional Neural Radiance Field [55.431697263581626]
  セマンティックな3次元画像合成と操作のための合成ニューラルネットワーク場(CNeRF)を提案する。 CNeRFは、イメージを意味領域に分割し、各領域の独立した神経放射場を学び、最終的にそれらを融合し、完全な画像をレンダリングする。 最先端の3D-Aware GAN法と比較して,我々は高品質な3D一貫性合成を維持しつつ,きめ細かな意味領域操作を可能にする。
  論文  参考訳（メタデータ） (2023-02-03T07:17:46Z)
• Learning Neural Radiance Fields from Multi-View Geometry [1.1011268090482573]
  画像に基づく3次元再構成のために,多視点幾何アルゴリズムとニューラルレージアンス場(NeRF)を組み合わせたMVG-NeRF(MVG-NeRF)というフレームワークを提案する。 NeRFは暗黙の3D表現の分野に革命をもたらした。
  論文  参考訳（メタデータ） (2022-10-24T08:53:35Z)
• StructNeRF: Neural Radiance Fields for Indoor Scenes with Structural Hints [23.15914545835831]
  StructNeRFは、スパース入力を持つ屋内シーンのための新しいビュー合成のソリューションである。 本手法は,外部データに付加的なトレーニングを加えることなく,NeRFの幾何とビュー合成性能を向上する。
  論文  参考訳（メタデータ） (2022-09-12T14:33:27Z)
• 3D-aware Image Synthesis via Learning Structural and Textural Representations [39.681030539374994]
  生成モデルを作成することは、2D画像空間と3D物理世界を橋渡しするが、まだ難しい。 近年、GAN(Generative Adversarial Network)とNeRF(Neural Radiance Field)という3次元座標をピクセル値にマッピングする手法が試みられている。 本稿では,構造表現とテクスチャ表現を明示的に学習することで,高忠実度3次元画像合成のための新しいフレームワーク,VolumeGANを提案する。
  論文  参考訳（メタデータ） (2021-12-20T18:59:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。