論文の概要: NeRF Inpainting with Geometric Diffusion Prior and Balanced Score Distillation

• arxiv url: http://arxiv.org/abs/2411.15551v1
• Date: Sat, 23 Nov 2024 13:17:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-26 14:21:10.765757
• Title: NeRF Inpainting with Geometric Diffusion Prior and Balanced Score Distillation
• Title（参考訳）: 幾何拡散前とバランスの取れたスコア蒸留によるNeRF塗布
• Authors: Menglin Zhang, Xin Luo, Yunwei Lan, Chang Liu, Rui Li, Kaidong Zhang, Ganlin Yang, Dong Liu,
• Abstract要約: GB-NeRF(GB-NeRF)は,2次元拡散前処理の改良によりNeRFの塗布性を高める新しいフレームワークである。 当社のアプローチでは,外観と幾何学的先行を同時に学習する微調整戦略という,2つの重要なイノベーションを取り入れています。 本手法は既存の手法に比べて外観の忠実度と幾何的整合性に優れる。
• 参考スコア（独自算出の注目度）: 12.249522014019144
• License:
• Abstract: Recent advances in NeRF inpainting have leveraged pretrained diffusion models to enhance performance. However, these methods often yield suboptimal results due to their ineffective utilization of 2D diffusion priors. The limitations manifest in two critical aspects: the inadequate capture of geometric information by pretrained diffusion models and the suboptimal guidance provided by existing Score Distillation Sampling (SDS) methods. To address these problems, we introduce GB-NeRF, a novel framework that enhances NeRF inpainting through improved utilization of 2D diffusion priors. Our approach incorporates two key innovations: a fine-tuning strategy that simultaneously learns appearance and geometric priors and a specialized normal distillation loss that integrates these geometric priors into NeRF inpainting. We propose a technique called Balanced Score Distillation (BSD) that surpasses existing methods such as Score Distillation (SDS) and the improved version, Conditional Score Distillation (CSD). BSD offers improved inpainting quality in appearance and geometric aspects. Extensive experiments show that our method provides superior appearance fidelity and geometric consistency compared to existing approaches.
• Abstract（参考訳）: NeRF塗装の最近の進歩は、事前訓練された拡散モデルを利用して性能を向上している。 しかしながら、これらの手法は2次元拡散前の非効率な利用により、しばしば準最適結果をもたらす。 この制限は、事前訓練された拡散モデルによる幾何情報の取得が不十分であることと、既存のスコア蒸留サンプリング法(SDS)によって提供される準最適ガイダンスの2つの重要な側面に現れている。 GB-NeRFは2次元拡散前処理の改良によりNeRFの塗布を向上する新しいフレームワークである。 提案手法には,外観と幾何学的先行点を同時に学習する微調整戦略と,これらの幾何学的先行点をNeRF塗装に統合する専門的な正規蒸留損失という,2つの重要なイノベーションが組み込まれている。 本稿では,SDS (Score Distillation) や改良版である条件付きスコア蒸留 (Conditional Score Distillation, CSD) など,既存の手法を超越した平衡スコア蒸留 (BSD) 手法を提案する。 BSDは外観と幾何学的な面における質の向上を提供する。 大規模な実験により,本手法は既存手法と比較して外観の忠実度と幾何的整合性に優れることが示された。

関連論文リスト

• MVIP-NeRF: Multi-view 3D Inpainting on NeRF Scenes via Diffusion Prior [65.05773512126089]
  露光RGBと深度2Dの塗布監督を基盤としたNeRF塗布法は,その基礎となる2D塗布能力によって本質的に制限されている。 我々は,NeRF塗装における拡散先行の可能性を生かし,外観面と幾何学面の両方に対処するMVIP-NeRFを提案する。 実験の結果,従来のNeRF塗装法よりも外観や形状の回復性が良好であった。
  論文  参考訳（メタデータ） (2024-05-05T09:04:42Z)
• Self-Play Fine-Tuning of Diffusion Models for Text-to-Image Generation [59.184980778643464]
  ファインチューニング拡散モデル : 生成人工知能(GenAI)の最前線 本稿では,拡散モデル(SPIN-Diffusion)のための自己演奏ファインチューニングという革新的な手法を紹介する。 提案手法は従来の教師付き微調整とRL戦略の代替として,モデル性能とアライメントの両方を大幅に改善する。
  論文  参考訳（メタデータ） (2024-02-15T18:59:18Z)
• Learn to Optimize Denoising Scores for 3D Generation: A Unified and Improved Diffusion Prior on NeRF and 3D Gaussian Splatting [60.393072253444934]
  本稿では,3次元生成タスクの拡散先行性向上を目的とした統合フレームワークを提案する。 拡散先行と拡散モデルの訓練手順の相違を同定し、3次元生成の質を著しく損なう。
  論文  参考訳（メタデータ） (2023-12-08T03:55:34Z)
• NeuSD: Surface Completion with Multi-View Text-to-Image Diffusion [56.98287481620215]
  本稿では,対象物の一部のみを捉えた複数の画像から3次元表面再構成を行う手法を提案する。 提案手法は, 表面の可視部分の再構成に神経放射場を用いた表面再構成法と, SDS (Score Distillation Sampling) 方式で事前学習した2次元拡散モデルを用いて, 可観測領域の形状を再現する手法である。
  論文  参考訳（メタデータ） (2023-12-07T19:30:55Z)
• StableDreamer: Taming Noisy Score Distillation Sampling for Text-to-3D [88.66678730537777]
  本稿では3つの進歩を取り入れた方法論であるStableDreamerを紹介する。 まず、SDS生成前の等価性と、簡単な教師付きL2再構成損失を定式化する。 第2に,画像空間拡散は幾何学的精度に寄与するが,色調の鮮明化には潜時空間拡散が不可欠であることを示す。
  論文  参考訳（メタデータ） (2023-12-02T02:27:58Z)
• Learning A Coarse-to-Fine Diffusion Transformer for Image Restoration [39.071637725773314]
  画像復元のための粗大な拡散変換器(C2F-DFT)を提案する。 C2F-DFTは拡散自己注意(DFSA)と拡散フィードフォワードネットワーク(DFN)を含んでいる 粗い訓練段階において,我々のC2F-DFTはノイズを推定し,サンプリングアルゴリズムにより最終クリーン画像を生成する。
  論文  参考訳（メタデータ） (2023-08-17T01:59:59Z)
• Diffusion Sampling with Momentum for Mitigating Divergence Artifacts [10.181486597424486]
  本研究では, 分散アーティファクトの潜在的な原因について検討し, 数値的手法の小さな安定性領域が主な原因である可能性が示唆された。 第1のテクニックは、最適化を改善するためのよく知られたテクニックであるヘビーボール運動量(HB)を、既存の拡散数値法に組み入れて安定性領域を広げることである。 第2のテクニックは、GHVB(Generalized Heavy Ball)と呼ばれ、精度とアーティファクトの抑制のトレードオフを提供する新しい高階法を構築する。
  論文  参考訳（メタデータ） (2023-07-20T14:37:30Z)
• Low-Light Image Enhancement with Wavelet-based Diffusion Models [50.632343822790006]
  拡散モデルは画像復元作業において有望な結果を得たが、時間を要する、過剰な計算資源消費、不安定な復元に悩まされている。 本稿では,DiffLLと呼ばれる高能率かつ高能率な拡散型低光画像強調手法を提案する。
  論文  参考訳（メタデータ） (2023-06-01T03:08:28Z)
• DAG: Depth-Aware Guidance with Denoising Diffusion Probabilistic Models [23.70476220346754]
  拡散モデルの豊かな中間表現から得られた推定深度情報を利用する拡散モデルのための新しいガイダンス手法を提案する。 実験と広範囲にわたるアブレーション研究により,幾何学的に妥当な画像生成に向けた拡散モデルの導出における本手法の有効性が示された。
  論文  参考訳（メタデータ） (2022-12-17T12:47:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。