論文の概要: Taming Latent Diffusion Model for Neural Radiance Field Inpainting

• arxiv url: http://arxiv.org/abs/2404.09995v2
• Date: Wed, 13 Nov 2024 00:41:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-14 16:09:44.552412
• Title: Taming Latent Diffusion Model for Neural Radiance Field Inpainting
• Title（参考訳）: ニューラルラジアンスフィールド塗布における遅延拡散モデル
• Authors: Chieh Hubert Lin, Changil Kim, Jia-Bin Huang, Qinbo Li, Chih-Yao Ma, Johannes Kopf, Ming-Hsuan Yang, Hung-Yu Tseng,
• Abstract要約: ニューラル・ラジアンス・フィールド(NeRF)は多視点画像からの3次元再構成の表現である。 本研究では,シーンごとのカスタマイズによる拡散モデルの傾向の緩和と,マスキングトレーニングによるテクスチャシフトの緩和を提案する。 我々のフレームワークは、様々な現実世界のシーンに最先端のNeRF塗装結果をもたらす。
• 参考スコア（独自算出の注目度）: 63.297262813285265
• License:
• Abstract: Neural Radiance Field (NeRF) is a representation for 3D reconstruction from multi-view images. Despite some recent work showing preliminary success in editing a reconstructed NeRF with diffusion prior, they remain struggling to synthesize reasonable geometry in completely uncovered regions. One major reason is the high diversity of synthetic contents from the diffusion model, which hinders the radiance field from converging to a crisp and deterministic geometry. Moreover, applying latent diffusion models on real data often yields a textural shift incoherent to the image condition due to auto-encoding errors. These two problems are further reinforced with the use of pixel-distance losses. To address these issues, we propose tempering the diffusion model's stochasticity with per-scene customization and mitigating the textural shift with masked adversarial training. During the analyses, we also found the commonly used pixel and perceptual losses are harmful in the NeRF inpainting task. Through rigorous experiments, our framework yields state-of-the-art NeRF inpainting results on various real-world scenes. Project page: https://hubert0527.github.io/MALD-NeRF
• Abstract（参考訳）: ニューラル・ラジアンス・フィールド(NeRF)は多視点画像からの3次元再構成の表現である。 いくつかの最近の研究は、再構成されたNeRFを拡散前に編集することに予備的な成功をおさめたが、完全に未発見の領域における合理的な幾何学の合成に苦慮している。 主な理由の1つは、拡散モデルからの合成内容の多様性が高いことであり、これは収束からクリップで決定論的幾何学への放射場を妨げている。 さらに、実データに潜時拡散モデルを適用すると、自動符号化エラーによる画像条件に不整合が生じることが多い。 これら2つの問題は、ピクセル距離損失を用いることでさらに強化される。 これらの課題に対処するために,拡散モデルの確率性をシーンごとのカスタマイズで誘惑し,マスク付き対人訓練によるテクスチャシフトを軽減することを提案する。 また,NeRF塗布作業において,一般的に用いられている画素や知覚的損失が有害であることも確認した。 厳密な実験を通じて、我々のフレームワークは様々な現実世界のシーンに最先端のNeRF塗装結果をもたらす。 プロジェクトページ:https://hubert0527.github.io/MALD-NeRF

関連論文リスト

• NeRF-Casting: Improved View-Dependent Appearance with Consistent Reflections [57.63028964831785]
  最近の研究は、遠方の環境照明の詳細な明細な外観を描画するNeRFの能力を改善しているが、近い内容の一貫した反射を合成することはできない。 我々はこれらの問題をレイトレーシングに基づくアプローチで解決する。 このモデルでは、それぞれのカメラ線に沿った点における視界依存放射率を求めるために高価なニューラルネットワークをクエリする代わりに、これらの点から光を流し、NeRF表現を通して特徴ベクトルを描画します。
  論文  参考訳（メタデータ） (2024-05-23T17:59:57Z)
• RustNeRF: Robust Neural Radiance Field with Low-Quality Images [29.289408956815727]
  実世界の高品質ニューラルネットワーク(NeRF)のためのRustNeRFを提案する。 実世界の入力下でのNeRFのロバスト性を改善するために,実世界の劣化モデリングを取り入れた3D対応前処理ネットワークを訓練する。 本稿では,画像の劣化と復元に伴う情報損失に対処するための,暗黙的な多視点ガイダンスを提案する。
  論文  参考訳（メタデータ） (2024-01-06T16:54:02Z)
• RePaint-NeRF: NeRF Editting via Semantic Masks and Diffusion Models [36.236190350126826]
  本稿では,RGB画像を入力として取り出し,ニューラルシーンの3Dコンテンツを変更可能な新しいフレームワークを提案する。 具体的には,対象オブジェクトを意味的に選択し,事前学習した拡散モデルを用いてNeRFモデルを誘導し,新しい3Dオブジェクトを生成する。 実験の結果,本アルゴリズムは,異なるテキストプロンプト下でのNeRFの3次元オブジェクトの編集に有効であることがわかった。
  論文  参考訳（メタデータ） (2023-06-09T04:49:31Z)
• Enhance-NeRF: Multiple Performance Evaluation for Neural Radiance Fields [2.5432277893532116]
  ニューラル・ラジアンス・フィールド(NeRF)は任意の視点からリアルな画像を生成することができる。 NeRFベースのモデルは、色付きの"fog"ノイズによって引き起こされる干渉問題の影響を受けやすい。 当社のアプローチはEnhance-NeRFと呼ばれ、低反射率と高反射率のオブジェクトの表示のバランスをとるためにジョイントカラーを採用している。
  論文  参考訳（メタデータ） (2023-06-08T15:49:30Z)
• Dehazing-NeRF: Neural Radiance Fields from Hazy Images [13.92247691561793]
  画像入力からNRFを除去する手法であるDehazing-NeRFを提案する。 本研究では,大気散乱モデルを用いて,ハズ画像の物理像化過程をシミュレートする。 画像のデハージングと新しいビュー合成の両方において、単一像のデハージングとNeRFの単純な組み合わせよりも優れる。
  論文  参考訳（メタデータ） (2023-04-22T17:09:05Z)
• DehazeNeRF: Multiple Image Haze Removal and 3D Shape Reconstruction using Neural Radiance Fields [56.30120727729177]
  DehazeNeRFは,湿潤な環境下で頑健に動作するフレームワークとして紹介する。 提案手法は,複数視点のヘイズ除去,新しいビュー合成,既存手法が失敗する3次元形状再構成を成功させるものである。
  論文  参考訳（メタデータ） (2023-03-20T18:03:32Z)
• Self-NeRF: A Self-Training Pipeline for Few-Shot Neural Radiance Fields [17.725937326348994]
  入力ビューの少ない放射場を反復的に洗練する自己進化型NeRFであるSelf-NeRFを提案する。 各イテレーションでは、予測された色や、前回のイテレーションからモデルが生成した歪んだピクセルで、目に見えないビューをラベル付けします。 これらの拡張された擬似ビューは、NeRFの性能を低下させる色やワープアーティファクトのインプレクションによって悩まされる。
  論文  参考訳（メタデータ） (2023-03-10T08:22:36Z)
• NerfDiff: Single-image View Synthesis with NeRF-guided Distillation from 3D-aware Diffusion [107.67277084886929]
  単一の画像からの新しいビュー合成には、オブジェクトやシーンの隠蔽領域を推論すると同時に、入力とのセマンティックおよび物理的整合性を同時に維持する必要がある。 そこで我々は,NerfDiffを提案する。NerfDiffは3D対応条件拡散モデル(CDM)の知識を,テスト時に仮想ビューの集合を合成・精製することで,NeRFに抽出することでこの問題に対処する。 さらに,CDMサンプルから3次元一貫した仮想ビューを同時に生成し,改良された仮想ビューに基づいてNeRFを微調整する新しいNeRF誘導蒸留アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-20T17:12:00Z)
• NeRFInvertor: High Fidelity NeRF-GAN Inversion for Single-shot Real Image Animation [66.0838349951456]
  Nerfベースの生成モデルは、一貫した3次元幾何で高品質な画像を生成する能力を示している。 本研究では,このNeRF-GANモデルを外科的に微調整し,実物体の高忠実度アニメーションを単一画像のみで実現するための普遍的手法を提案する。
  論文  参考訳（メタデータ） (2022-11-30T18:36:45Z)
• iNeRF: Inverting Neural Radiance Fields for Pose Estimation [68.91325516370013]
  Neural RadianceField(NeRF)を「反転」してメッシュフリーポーズ推定を行うフレームワークiNeRFを紹介します。 NeRFはビュー合成のタスクに極めて有効であることが示されている。
  論文  参考訳（メタデータ） (2020-12-10T18:36:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。