論文の概要: Learning Neural Radiance Fields from Multi-View Geometry

• arxiv url: http://arxiv.org/abs/2210.13041v1
• Date: Mon, 24 Oct 2022 08:53:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-25 17:37:08.016283
• Title: Learning Neural Radiance Fields from Multi-View Geometry
• Title（参考訳）: マルチビュー幾何によるニューラルラジアンス場学習
• Authors: Marco Orsingher, Paolo Zani, Paolo Medici, Massimo Bertozzi
• Abstract要約: 画像に基づく3次元再構成のために,多視点幾何アルゴリズムとニューラルレージアンス場(NeRF)を組み合わせたMVG-NeRF(MVG-NeRF)というフレームワークを提案する。 NeRFは暗黙の3D表現の分野に革命をもたらした。
• 参考スコア（独自算出の注目度）: 1.1011268090482573
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a framework, called MVG-NeRF, that combines classical Multi-View Geometry algorithms and Neural Radiance Fields (NeRF) for image-based 3D reconstruction. NeRF has revolutionized the field of implicit 3D representations, mainly due to a differentiable volumetric rendering formulation that enables high-quality and geometry-aware novel view synthesis. However, the underlying geometry of the scene is not explicitly constrained during training, thus leading to noisy and incorrect results when extracting a mesh with marching cubes. To this end, we propose to leverage pixelwise depths and normals from a classical 3D reconstruction pipeline as geometric priors to guide NeRF optimization. Such priors are used as pseudo-ground truth during training in order to improve the quality of the estimated underlying surface. Moreover, each pixel is weighted by a confidence value based on the forward-backward reprojection error for additional robustness. Experimental results on real-world data demonstrate the effectiveness of this approach in obtaining clean 3D meshes from images, while maintaining competitive performances in novel view synthesis.
• Abstract（参考訳）: 本稿では,従来のマルチビュー幾何アルゴリズムとNeRF(Neural Radiance Fields)を組み合わせたMVG-NeRFというフレームワークについて述べる。 NeRFは暗黙の3D表現の分野に革命をもたらしたが、それは主に、高品質で幾何学的な新しいビューの合成を可能にする、様々なボリュームレンダリングの定式化が原因である。 しかしながら、シーンの基本的な幾何学は、トレーニング中に明示的に制約されないため、マーチングキューブでメッシュを抽出する際にノイズや誤った結果をもたらす。 この目的のために,古典的な3次元再構成パイプラインの画素幅と正規度を幾何学的先行値として活用し,NeRF最適化を導くことを提案する。 このような先行は、推定表面の質を向上させるために、訓練中に擬似地上真実として使用される。 さらに、各画素は、付加ロバスト性のための前方再投影誤差に基づく信頼値で重み付けされる。 実世界のデータを用いた実験により,新しい視点合成における競合性能を維持しつつ,画像からクリーンな3Dメッシュを得る手法の有効性が示された。

関連論文リスト

• PlaNeRF: SVD Unsupervised 3D Plane Regularization for NeRF Large-Scale Scene Reconstruction [2.2369578015657954]
  ニューラル・ラジアンス・フィールド(NeRF)は2次元画像から3次元シーンを再構成し、新しいビュー・シンセサイザー(NVS)のためのカメラポーズを可能にする NeRFはオーバーフィットからトレーニングの視点に苦しむことが多く、ジオメトリーの再構築は不十分である。 本稿では,RGB画像とセマンティックマップのみを用いて,NeRFの3次元構造を改善する手法を提案する。
  論文  参考訳（メタデータ） (2023-05-26T13:26:46Z)
• Improving Neural Radiance Fields with Depth-aware Optimization for Novel View Synthesis [12.3338393483795]
  SfMNeRFは,新規な視点の合成と3次元シーン形状の再構成を行う手法である。 SfMNeRFは、エピポーラ性、光度整合性、深さの滑らかさ、および3Dシーン構造を明示的に再構成するためにマッチ位置制約を用いる。 2つの公開データセットの実験では、SfMNeRFが最先端のアプローチを上回ることが示されている。
  論文  参考訳（メタデータ） (2023-04-11T13:37:17Z)
• NeRFMeshing: Distilling Neural Radiance Fields into Geometrically-Accurate 3D Meshes [56.31855837632735]
  我々は、NeRF駆動のアプローチで容易に3次元表面を再構成できるコンパクトで柔軟なアーキテクチャを提案する。 最後の3Dメッシュは物理的に正確で、デバイスアレイ上でリアルタイムでレンダリングできます。
  論文  参考訳（メタデータ） (2023-03-16T16:06:03Z)
• Delicate Textured Mesh Recovery from NeRF via Adaptive Surface Refinement [78.48648360358193]
  画像からテクスチャ化された表面メッシュを生成する新しいフレームワークを提案する。 我々のアプローチは、NeRFを用いて幾何学とビュー依存の外観を効率的に初期化することから始まります。 ジオメトリと共同で外観を洗練し、テクスチャ画像に変換してリアルタイムレンダリングします。
  論文  参考訳（メタデータ） (2023-03-03T17:14:44Z)
• High-fidelity 3D GAN Inversion by Pseudo-multi-view Optimization [51.878078860524795]
  フォトリアリスティック・ノベルビューを合成可能な高忠実度3次元生成対向ネットワーク(GAN)インバージョン・フレームワークを提案する。 提案手法は,1枚の画像から高忠実度3Dレンダリングを可能にし,AI生成3Dコンテンツの様々な応用に期待できる。
  論文  参考訳（メタデータ） (2022-11-28T18:59:52Z)
• IRON: Inverse Rendering by Optimizing Neural SDFs and Materials from Photometric Images [52.021529273866896]
  我々は、光メトリック画像を操作し、高品質な3Dコンテンツを出力するIRONと呼ばれるニューラルネットワーク逆レンダリングパイプラインを提案する。 提案手法は, 符号付き距離場 (SDF) と材料として, その柔軟性とコンパクトさを享受するために, 形状のニューラル表現を最適化中に採用する。 我々のIRONは、以前の作品に比べて、逆レンダリング品質が大幅に向上していることが示される。
  論文  参考訳（メタデータ） (2022-04-05T14:14:18Z)
• Learnable Triangulation for Deep Learning-based 3D Reconstruction of Objects of Arbitrary Topology from Single RGB Images [12.693545159861857]
  モノクロ画像から3次元物体を再構成する深層強化学習手法を提案する。 提案手法は, 視覚的品質, 再構成精度, 計算時間において, 最先端技術よりも優れる。
  論文  参考訳（メタデータ） (2021-09-24T09:44:22Z)
• Fast-GANFIT: Generative Adversarial Network for High Fidelity 3D Face Reconstruction [76.1612334630256]
  我々は、GAN(Generative Adversarial Networks)とDCNN(Deep Convolutional Neural Networks)の力を利用して、単一画像から顔のテクスチャと形状を再構築する。 3次元顔再構成を保存したフォトリアリスティックでアイデンティティに優れた結果を示し, 初めて, 高精度な顔テクスチャ再構成を実現する。
  論文  参考訳（メタデータ） (2021-05-16T16:35:44Z)
• Hybrid Approach for 3D Head Reconstruction: Using Neural Networks and Visual Geometry [3.970492757288025]
  本稿では,深層学習と幾何学的手法に基づくハイブリッド手法を用いて,複数の画像から3次元頭部を再構築する手法を提案する。 U-netアーキテクチャに基づくエンコーダデコーダネットワークを提案し、合成データのみを学習する。
  論文  参考訳（メタデータ） (2021-04-28T11:31:35Z)
• Learning Deformable Tetrahedral Meshes for 3D Reconstruction [78.0514377738632]
  学習に基づく3次元再構成に対応する3次元形状表現は、機械学習とコンピュータグラフィックスにおいてオープンな問題である。 ニューラル3D再構成に関するこれまでの研究は、利点だけでなく、ポイントクラウド、ボクセル、サーフェスメッシュ、暗黙の関数表現といった制限も示していた。 Deformable Tetrahedral Meshes (DefTet) を, ボリューム四面体メッシュを再構成問題に用いるパラメータ化として導入する。
  論文  参考訳（メタデータ） (2020-11-03T02:57:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。