論文の概要: DualNeRF: Text-Driven 3D Scene Editing via Dual-Field Representation

• arxiv url: http://arxiv.org/abs/2502.16302v1
• Date: Sat, 22 Feb 2025 17:21:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 15:54:23.218866
• Title: DualNeRF: Text-Driven 3D Scene Editing via Dual-Field Representation
• Title（参考訳）: DualNeRF:Dual-Field表現によるテキスト駆動3Dシーン編集
• Authors: Yuxuan Xiong, Yue Shi, Yishun Dou, Bingbing Ni,
• Abstract要約: Instruct-NeRF2NeRF (IN2N) は、"Iterative dataset update" (IDU) 戦略を通じて、三次元シーン編集への拡散を成功させる。 IN2Nは、背景のぼやけた問題や、局所的なオプティマのトラップに悩まされている。 これらの問題に対処するためにDualNeRFを導入する。
• 参考スコア（独自算出の注目度）: 38.362924589327356
• License:
• Abstract: Recently, denoising diffusion models have achieved promising results in 2D image generation and editing. Instruct-NeRF2NeRF (IN2N) introduces the success of diffusion into 3D scene editing through an "Iterative dataset update" (IDU) strategy. Though achieving fascinating results, IN2N suffers from problems of blurry backgrounds and trapping in local optima. The first problem is caused by IN2N's lack of efficient guidance for background maintenance, while the second stems from the interaction between image editing and NeRF training during IDU. In this work, we introduce DualNeRF to deal with these problems. We propose a dual-field representation to preserve features of the original scene and utilize them as additional guidance to the model for background maintenance during IDU. Moreover, a simulated annealing strategy is embedded into IDU to endow our model with the power of addressing local optima issues. A CLIP-based consistency indicator is used to further improve the editing quality by filtering out low-quality edits. Extensive experiments demonstrate that our method outperforms previous methods both qualitatively and quantitatively.
• Abstract（参考訳）: 近年, 2次元画像の生成と編集において, 拡散モデルが有望な成果を上げている。 Instruct-NeRF2NeRF (IN2N) は、"Iterative dataset update" (IDU) 戦略を通じて、三次元シーン編集への拡散を成功させる。 興味深い結果を得たものの、IN2Nは背景のぼやけた問題や、局所的なオプティマのトラップに悩まされている。 第1の問題は、IN2Nがバックグラウンドメンテナンスのための効率的なガイダンスを欠いていることによるものであり、第2の問題は、IDU中の画像編集とNeRFトレーニングの相互作用に起因する。 本稿では,これらの問題に対処するためにDualNeRFを導入する。 IDUにおける背景維持のためのモデルとして,オリジナルシーンの特徴を保存し,追加のガイダンスとして活用するためのデュアルフィールド表現を提案する。 さらに、IDUにシミュレーションアニーリング戦略を組み込んで、局所的な最適問題に対処する能力を持つモデルを実現する。 CLIPベースの一貫性インジケータを使用して、低品質の編集をフィルタリングすることで、編集品質をさらに向上する。 実験結果から,本手法は定性的,定量的に,従来の手法よりも優れていたことが判明した。

関連論文リスト

• SyncNoise: Geometrically Consistent Noise Prediction for Text-based 3D Scene Editing [58.22339174221563]
  高忠実度3Dシーン編集のための新しい幾何誘導型マルチビュー一貫したノイズ編集手法SyncNoiseを提案する。 SyncNoiseは2次元拡散モデルで複数のビューを同期的に編集し、幾何的に一貫した多視点ノイズ予測を行う。 本手法は,特に複雑なテクスチャを持つシーンにおいて,テキストの指示に配慮した高品質な3D編集結果を実現する。
  論文  参考訳（メタデータ） (2024-06-25T09:17:35Z)
• Preserving Identity with Variational Score for General-purpose 3D Editing [48.314327790451856]
  Pivaは拡散モデルに基づいて画像や3Dモデルを編集する新しい最適化手法である。 我々は2Dと3Dの編集の限界を指摘し、細かな損失と過飽和を引き起こす。 恒常保存を強制する追加のスコア蒸留項を提案する。
  論文  参考訳（メタデータ） (2024-06-13T09:32:40Z)
• Zero-Shot Video Editing through Adaptive Sliding Score Distillation [51.57440923362033]
  本研究は,オリジナルビデオコンテンツの直接操作を容易にする,ビデオベースのスコア蒸留の新たなパラダイムを提案する。 本稿では,グローバルとローカルの両方の動画ガイダンスを取り入れた適応スライディングスコア蒸留方式を提案する。
  論文  参考訳（メタデータ） (2024-06-07T12:33:59Z)
• DATENeRF: Depth-Aware Text-based Editing of NeRFs [49.08848777124736]
  我々は、NeRFシーンの深度情報を利用して異なる画像に2D編集を分散する塗装手法を提案する。 以上の結果から,本手法は既存のテキスト駆動型NeRFシーン編集手法よりも,より一貫性があり,ライフライクで,詳細な編集が可能であることが判明した。
  論文  参考訳（メタデータ） (2024-04-06T06:48:16Z)
• ViCA-NeRF: View-Consistency-Aware 3D Editing of Neural Radiance Fields [45.020585071312475]
  ViCA-NeRFはテキストによる3D編集のための最初のビュー一貫性対応方式である。 我々は、異なるビューにまたがって編集情報を明示的に伝達する正規化の2つの源を利用する。
  論文  参考訳（メタデータ） (2024-02-01T18:59:09Z)
• ED-NeRF: Efficient Text-Guided Editing of 3D Scene with Latent Space NeRF [60.47731445033151]
  ED-NeRFと呼ばれる新しい3次元NeRF編集手法を提案する。 現実のシーンを、ユニークな精細化層を通して、潜時拡散モデル(LDM)の潜時空間に埋め込む。 このアプローチにより、より高速であるだけでなく、より編集しやすいNeRFバックボーンが得られる。
  論文  参考訳（メタデータ） (2023-10-04T10:28:38Z)
• In-N-Out: Faithful 3D GAN Inversion with Volumetric Decomposition for Face Editing [28.790900756506833]
  3D対応のGANは、2D対応の編集機能を保ちながら、ビュー合成のための新しい機能を提供する。 GANインバージョンは、入力画像や動画を再構成する潜時コードを求める重要なステップであり、この潜時コードを操作することで様々な編集タスクを可能にする。 我々は3次元GANの入力からOODオブジェクトを明示的にモデル化することでこの問題に対処する。
  論文  参考訳（メタデータ） (2023-02-09T18:59:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。