論文の概要: DreamCatalyst: Fast and High-Quality 3D Editing via Controlling Editability and Identity Preservation
- arxiv url: http://arxiv.org/abs/2407.11394v1
- Date: Tue, 16 Jul 2024 05:26:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-17 18:22:47.525940
- Title: DreamCatalyst: Fast and High-Quality 3D Editing via Controlling Editability and Identity Preservation
- Title(参考訳): DreamCatalyst: 編集可能性とアイデンティティ保存の制御による高速かつ高品質な3D編集
- Authors: Jiwook Kim, Seonho Lee, Jaeyo Shin, Jiho Choi, Hyunjung Shim,
- Abstract要約: DreamCatalystは、SDSベースの編集を拡散逆プロセスとして解釈する新しいフレームワークである。
目的関数はサンプリングダイナミクスを考慮し,DreamCatalystの最適化プロセスを拡散逆過程の近似とする。
我々の高品質モードは、スピードと品質の両面で現在の最先端のNeRF編集方法より優れています。
- 参考スコア(独自算出の注目度): 17.930032337081673
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Score distillation sampling (SDS) has emerged as an effective framework in text-driven 3D editing tasks due to its inherent 3D consistency. However, existing SDS-based 3D editing methods suffer from extensive training time and lead to low-quality results, primarily because these methods deviate from the sampling dynamics of diffusion models. In this paper, we propose DreamCatalyst, a novel framework that interprets SDS-based editing as a diffusion reverse process. Our objective function considers the sampling dynamics, thereby making the optimization process of DreamCatalyst an approximation of the diffusion reverse process in editing tasks. DreamCatalyst aims to reduce training time and improve editing quality. DreamCatalyst presents two modes: (1) a faster mode, which edits the NeRF scene in only about 25 minutes, and (2) a high-quality mode, which produces superior results in less than 70 minutes. Specifically, our high-quality mode outperforms current state-of-the-art NeRF editing methods both in terms of speed and quality. See more extensive results on our project page: https://dream-catalyst.github.io.
- Abstract(参考訳): スコア蒸留サンプリング(SDS)は,本質的な3D一貫性のため,テキスト駆動型3D編集作業において有効なフレームワークとして登場した。
しかし、既存のSDSベースの3D編集手法は、広範囲なトレーニング時間に悩まされ、主に拡散モデルのサンプリング力学から逸脱するため、低品質な結果をもたらす。
本稿では,SDSベースの編集を拡散逆過程として解釈する新しいフレームワークであるDreamCatalystを提案する。
目的関数はサンプリングのダイナミクスを考慮し,DreamCatalystの最適化プロセスは編集作業における拡散逆過程の近似となる。
DreamCatalystは、トレーニング時間を短縮し、編集品質を改善することを目的としている。
DreamCatalystは,(1)NeRFシーンを25分程度で編集する高速モード,(2)高品質モード,そして,70分未満で優れた結果が得られる。
具体的には、我々の高品質モードは、現在の最先端のNeRF編集方法よりも、スピードと品質の両面で優れています。
より広範な結果については、プロジェクトのページを参照してください。
関連論文リスト
- ConsistDreamer: 3D-Consistent 2D Diffusion for High-Fidelity Scene Editing [43.57569035470579]
ConsistDreamerは、3D認識と3D一貫性を備えた2D拡散モデルを持ち上げるフレームワークである。
本稿では,2次元拡散モデルの入力を3次元対応に増強する3つの相乗戦略を提案する。
また、シーンごとの編集手順の中で、自己教師付き一貫性強化トレーニングを導入する。
論文 参考訳(メタデータ) (2024-06-13T17:59:32Z) - Preserving Identity with Variational Score for General-purpose 3D Editing [48.314327790451856]
Pivaは拡散モデルに基づいて画像や3Dモデルを編集する新しい最適化手法である。
我々は2Dと3Dの編集の限界を指摘し、細かな損失と過飽和を引き起こす。
恒常保存を強制する追加のスコア蒸留項を提案する。
論文 参考訳(メタデータ) (2024-06-13T09:32:40Z) - Real-time 3D-aware Portrait Editing from a Single Image [111.27169315556444]
3DPEは、参照画像やテキスト記述など、与えられたプロンプトに従って顔画像を編集することができる。
軽量モジュールは、3Dポートレートジェネレータとテキスト・ツー・イメージ・モデルから蒸留される。
論文 参考訳(メタデータ) (2024-02-21T18:36:26Z) - SHAP-EDITOR: Instruction-guided Latent 3D Editing in Seconds [73.91114735118298]
Shap-Editorは、新しいフィードフォワード3D編集フレームワークである。
フィードフォワード・エディター・ネットワークを構築することで,この空間で直接3D編集を行うことが可能であることを示す。
論文 参考訳(メタデータ) (2023-12-14T18:59:06Z) - Efficient-NeRF2NeRF: Streamlining Text-Driven 3D Editing with Multiview
Correspondence-Enhanced Diffusion Models [83.97844535389073]
3Dコンテンツ編集の普及を妨げている大きな障害は、その時間集約的な処理である。
共振器の正規化を拡散モデルに組み込むことで,3次元編集のプロセスを大幅に高速化できることを示す。
多くのシナリオにおいて,提案手法はベースライン法と比較して10$times$の高速化を実現し,2分で3Dシーンの編集を完了させる。
論文 参考訳(メタデータ) (2023-12-13T23:27:17Z) - ED-NeRF: Efficient Text-Guided Editing of 3D Scene with Latent Space NeRF [60.47731445033151]
ED-NeRFと呼ばれる新しい3次元NeRF編集手法を提案する。
現実のシーンを、ユニークな精細化層を通して、潜時拡散モデル(LDM)の潜時空間に埋め込む。
このアプローチにより、より高速であるだけでなく、より編集しやすいNeRFバックボーンが得られる。
論文 参考訳(メタデータ) (2023-10-04T10:28:38Z) - Magic3D: High-Resolution Text-to-3D Content Creation [78.40092800817311]
DreamFusionは最近、NeRF(Neural Radiance Fields)を最適化するための事前訓練されたテキスト-画像拡散モデルの有用性を実証した。
本稿では,2段階最適化フレームワークを用いて,これらの制約に対処する。
Magic3Dと呼ばれる我々の手法は、DreamFusionより2倍高速な高品質な3Dメッシュモデルを40分で作成できる。
論文 参考訳(メタデータ) (2022-11-18T18:59:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。