論文の概要: MVIP-NeRF: Multi-view 3D Inpainting on NeRF Scenes via Diffusion Prior

• arxiv url: http://arxiv.org/abs/2405.02859v1
• Date: Sun, 5 May 2024 09:04:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-07 18:00:36.453259
• Title: MVIP-NeRF: Multi-view 3D Inpainting on NeRF Scenes via Diffusion Prior
• Title（参考訳）: MVIP-NeRF:拡散先行によるNeRFシーンのマルチビュー3Dインペインティング
• Authors: Honghua Chen, Chen Change Loy, Xingang Pan,
• Abstract要約: 露光RGBと深度2Dの塗布監督を基盤としたNeRF塗布法は,その基礎となる2D塗布能力によって本質的に制限されている。 我々は,NeRF塗装における拡散先行の可能性を生かし,外観面と幾何学面の両方に対処するMVIP-NeRFを提案する。 実験の結果,従来のNeRF塗装法よりも外観や形状の回復性が良好であった。
• 参考スコア（独自算出の注目度）: 65.05773512126089
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the emergence of successful NeRF inpainting methods built upon explicit RGB and depth 2D inpainting supervisions, these methods are inherently constrained by the capabilities of their underlying 2D inpainters. This is due to two key reasons: (i) independently inpainting constituent images results in view-inconsistent imagery, and (ii) 2D inpainters struggle to ensure high-quality geometry completion and alignment with inpainted RGB images. To overcome these limitations, we propose a novel approach called MVIP-NeRF that harnesses the potential of diffusion priors for NeRF inpainting, addressing both appearance and geometry aspects. MVIP-NeRF performs joint inpainting across multiple views to reach a consistent solution, which is achieved via an iterative optimization process based on Score Distillation Sampling (SDS). Apart from recovering the rendered RGB images, we also extract normal maps as a geometric representation and define a normal SDS loss that motivates accurate geometry inpainting and alignment with the appearance. Additionally, we formulate a multi-view SDS score function to distill generative priors simultaneously from different view images, ensuring consistent visual completion when dealing with large view variations. Our experimental results show better appearance and geometry recovery than previous NeRF inpainting methods.
• Abstract（参考訳）: 明示的なRGBと深度2Dの塗布監督に基づいて構築されたNeRF塗布法が成功したにもかかわらず、これらの方法は根底にある2D塗布の能力によって本質的に制約されている。 主な理由は2つある。 (i)構成像を独立に塗布すると、表示不整合画像となり、 (II)2次元インペイントは、高品質な幾何学的完成と、インペイントされたRGB画像との整合性を確保するのに苦労する。 これらの制約を克服するため, MVIP-NeRFと呼ばれる新しい手法を提案し, 外観面と幾何学面の両方に対処する。 MVIP-NeRFは、複数のビューにまたがる共同塗装を行い、一貫したソリューションに到達し、スコア蒸留サンプリング(SDS)に基づいた反復最適化プロセスによって達成される。 レンダリングされたRGB画像の復元とは別に、幾何学的表現として正規地図を抽出し、正確な幾何学的インペイントと外観との整合を動機付ける通常のSDS損失を定義する。 さらに、多視点SDSスコア関数を定式化し、異なるビュー画像から生成前の情報を同時に抽出し、大きなビュー変動を扱う際に一貫した視覚的補完を確保する。 実験の結果,従来のNeRF塗装法よりも外観や形状の回復性が良好であった。

関連論文リスト

• NeRF Inpainting with Geometric Diffusion Prior and Balanced Score Distillation [12.249522014019144]
  GB-NeRF(GB-NeRF)は,2次元拡散前処理の改良によりNeRFの塗布性を高める新しいフレームワークである。 当社のアプローチでは,外観と幾何学的先行を同時に学習する微調整戦略という,2つの重要なイノベーションを取り入れています。 本手法は既存の手法に比べて外観の忠実度と幾何的整合性に優れる。
  論文  参考訳（メタデータ） (2024-11-23T13:17:00Z)
• Sketch-guided Image Inpainting with Partial Discrete Diffusion Process [5.005162730122933]
  スケッチ誘導インペイントのための新しい部分離散拡散法(PDDP)を提案する。 PDDPは画像のマスキング領域を破損させ、手描きスケッチで条件付けられたこれらのマスキング領域を再構築する。 提案するトランスモジュールは,2つの入力を受信する。マスク領域を含む画像はインペイントされ,クエリスケッチは逆拡散過程をモデル化する。
  論文  参考訳（メタデータ） (2024-04-18T07:07:38Z)
• HI-GAN: Hierarchical Inpainting GAN with Auxiliary Inputs for Combined RGB and Depth Inpainting [3.736916304884176]
  画像中のピクセルや領域を埋め込む。 既存の方法は、複数のカメラを必要とするデジタル交換技術に頼っている。 本稿では3つのGANを階層的に構成した新しいアプローチであるHI-GAN(Hierarchical Inpainting GAN)を提案する。
  論文  参考訳（メタデータ） (2024-02-15T21:43:56Z)
• NeuSD: Surface Completion with Multi-View Text-to-Image Diffusion [56.98287481620215]
  本稿では,対象物の一部のみを捉えた複数の画像から3次元表面再構成を行う手法を提案する。 提案手法は, 表面の可視部分の再構成に神経放射場を用いた表面再構成法と, SDS (Score Distillation Sampling) 方式で事前学習した2次元拡散モデルを用いて, 可観測領域の形状を再現する手法である。
  論文  参考訳（メタデータ） (2023-12-07T19:30:55Z)
• StableDreamer: Taming Noisy Score Distillation Sampling for Text-to-3D [88.66678730537777]
  本稿では3つの進歩を取り入れた方法論であるStableDreamerを紹介する。 まず、SDS生成前の等価性と、簡単な教師付きL2再構成損失を定式化する。 第2に,画像空間拡散は幾何学的精度に寄与するが,色調の鮮明化には潜時空間拡散が不可欠であることを示す。
  論文  参考訳（メタデータ） (2023-12-02T02:27:58Z)
• Wonder3D: Single Image to 3D using Cross-Domain Diffusion [105.16622018766236]
  Wonder3Dは、単一視点画像から高忠実なテクスチャメッシュを効率的に生成する新しい手法である。 画像から3Dまでのタスクの品質,一貫性,効率性を総括的に改善するため,領域間拡散モデルを提案する。
  論文  参考訳（メタデータ） (2023-10-23T15:02:23Z)
• Symmetric Uncertainty-Aware Feature Transmission for Depth Super-Resolution [52.582632746409665]
  カラー誘導DSRのためのSymmetric Uncertainty-aware Feature Transmission (SUFT)を提案する。 本手法は最先端の手法と比較して優れた性能を実現する。
  論文  参考訳（メタデータ） (2023-06-01T06:35:59Z)
• A Hierarchical Representation Network for Accurate and Detailed Face Reconstruction from In-The-Wild Images [15.40230841242637]
  本稿では,1つの画像から正確な顔再構成を実現するために,新しい階層型表現ネットワーク(HRN)を提案する。 我々のフレームワークは、異なるビューの詳細な一貫性を考慮し、マルチビューに拡張することができる。 本手法は,再現精度と視覚効果の両方において既存手法より優れる。
  論文  参考訳（メタデータ） (2023-02-28T09:24:36Z)
• PC-GANs: Progressive Compensation Generative Adversarial Networks for Pan-sharpening [50.943080184828524]
  空間情報とスペクトル情報の漸進的補償によりMS画像のシャープ化を行うパンシャーピングの新しい2段階モデルを提案する。 モデル全体が三重GANで構成されており、特定のアーキテクチャに基づいて、三重GANを同時に訓練できるように、共同補償損失関数が設計されている。
  論文  参考訳（メタデータ） (2022-07-29T03:09:21Z)
• Leveraging Photogrammetric Mesh Models for Aerial-Ground Feature Point Matching Toward Integrated 3D Reconstruction [19.551088857830944]
  地上・地上画像の統合は, 都市環境における表面の再構築を効果的に進めるためのアプローチとして証明されている。 幾何認識による画像補正に基づく従来の研究により,この問題は緩和された。 地上画像マッチングにフォトグラムメッシュモデルを利用する新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-02-21T01:47:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。