論文の概要: Efficient-NeRF2NeRF: Streamlining Text-Driven 3D Editing with Multiview
Correspondence-Enhanced Diffusion Models
- arxiv url: http://arxiv.org/abs/2312.08563v2
- Date: Tue, 26 Dec 2023 21:30:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-29 21:23:22.487200
- Title: Efficient-NeRF2NeRF: Streamlining Text-Driven 3D Editing with Multiview
Correspondence-Enhanced Diffusion Models
- Title(参考訳): マルチビュー対応強化拡散モデルによるテキスト駆動3次元編集の効率化
- Authors: Liangchen Song, Liangliang Cao, Jiatao Gu, Yifan Jiang, Junsong Yuan,
Hao Tang
- Abstract要約: 3Dコンテンツ編集の普及を妨げている大きな障害は、その時間集約的な処理である。
共振器の正規化を拡散モデルに組み込むことで,3次元編集のプロセスを大幅に高速化できることを示す。
多くのシナリオにおいて,提案手法はベースライン法と比較して10$times$の高速化を実現し,2分で3Dシーンの編集を完了させる。
- 参考スコア(独自算出の注目度): 83.97844535389073
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The advancement of text-driven 3D content editing has been blessed by the
progress from 2D generative diffusion models. However, a major obstacle
hindering the widespread adoption of 3D content editing is its time-intensive
processing. This challenge arises from the iterative and refining steps
required to achieve consistent 3D outputs from 2D image-based generative
models. Recent state-of-the-art methods typically require optimization time
ranging from tens of minutes to several hours to edit a 3D scene using a single
GPU. In this work, we propose that by incorporating correspondence
regularization into diffusion models, the process of 3D editing can be
significantly accelerated. This approach is inspired by the notion that the
estimated samples during diffusion should be multiview-consistent during the
diffusion generation process. By leveraging this multiview consistency, we can
edit 3D content at a much faster speed. In most scenarios, our proposed
technique brings a 10$\times$ speed-up compared to the baseline method and
completes the editing of a 3D scene in 2 minutes with comparable quality.
- Abstract(参考訳): テキスト駆動3dコンテンツ編集の進歩は、2次元生成拡散モデルからの進歩によって祝福されている。
しかし、3Dコンテンツ編集の普及を妨げる大きな障害は、その時間集約的な処理である。
この課題は、2次元画像ベース生成モデルから一貫した3D出力を達成するのに必要な反復的および精製的なステップから生じる。
最近の最先端の手法は通常、単一のgpuを使って3dシーンを編集するのに、数十分から数時間の最適化時間を必要とする。
本研究では,拡散モデルに対応正規化を組み込むことにより,3次元編集のプロセスを大幅に高速化できることを示す。
このアプローチは、拡散中の推定サンプルは拡散生成過程においてマルチビュー一貫性を持つべきであるという考え方に触発されている。
このマルチビューの一貫性を利用することで、3dコンテンツをより高速に編集できるのです。
ほとんどのシナリオにおいて、提案手法はベースライン法と比較して10$\times$のスピードアップをもたらし、同等の品質で2分間で3dシーンの編集を完了する。
関連論文リスト
- GaussCtrl: Multi-View Consistent Text-Driven 3D Gaussian Splatting Editing [38.948892064761914]
GaussCtrlは、3D Gaussian Splatting(3DGS)によって再構成された3Dシーンを編集するテキスト駆動方式である。
私たちの重要な貢献は、複数ビューの一貫性のある編集であり、1つの画像を反復的に編集する代わりに、すべての画像を一緒に編集できる。
論文 参考訳(メタデータ) (2024-03-13T17:35:28Z) - Real-time 3D-aware Portrait Editing from a Single Image [114.97405659269198]
本研究は,与えられたプロンプトに従って顔画像を効率よく編集できる3DPEを提示する。
ライトウェイトモジュールは、3Dポートレートジェネレータとテキスト・ツー・イメージ・モデルから抽出され、顔形状とオープン語彙編集能力の事前知識を提供する。
コード、モデル、インターフェースは、将来の研究を促進するために公開されます。
論文 参考訳(メタデータ) (2024-02-21T18:36:26Z) - Plasticine3D: Non-rigid 3D editting with text guidance [24.75903764018142]
プラスチック3Dは、汎用的で、高忠実で、フォトリアリスティックで、制御可能な非剛性編集パイプラインである。
本研究は, 編集過程を幾何学的編集段階とテクスチャ的編集段階に分割し, より詳細な, フォトリアリスティックな結果を得る。
論文 参考訳(メタデータ) (2023-12-15T09:01:54Z) - Instant3D: Fast Text-to-3D with Sparse-View Generation and Large
Reconstruction Model [68.98311213582949]
テキストプロンプトから高品質で多様な3Dアセットをフィードフォワードで生成する新しい手法であるInstant3Dを提案する。
提案手法は,従来の最適化手法よりも2桁早く,20秒以内に高画質の多種多様な3Dアセットを生成できる。
論文 参考訳(メタデータ) (2023-11-10T18:03:44Z) - 3D-CLFusion: Fast Text-to-3D Rendering with Contrastive Latent Diffusion [55.71215821923401]
我々は、事前訓練された潜伏型NeRF(入力潜伏符号を与えられた3次元オブジェクトを生成するNeRF)によるテキストから3次元生成の課題に取り組む。
本稿では,3D-CLFusion という3D-CLFusion という手法を提案する。
論文 参考訳(メタデータ) (2023-03-21T15:38:26Z) - 3DDesigner: Towards Photorealistic 3D Object Generation and Editing with
Text-guided Diffusion Models [71.25937799010407]
テキスト誘導拡散モデルを用いて3次元連続生成を実現する。
本研究では3次元局所編集について検討し,2段階の解法を提案する。
モデルを拡張してワンショットのノベルビュー合成を行う。
論文 参考訳(メタデータ) (2022-11-25T13:50:00Z) - RenderDiffusion: Image Diffusion for 3D Reconstruction, Inpainting and
Generation [68.06991943974195]
単分子2次元観察のみを用いて学習した3次元生成と推論のための最初の拡散モデルであるRenderDiffusionを提案する。
FFHQ,AFHQ,ShapeNet,CLEVRのデータセット上でRenderDiffusionを評価し,3Dシーンの生成と2D画像からの3Dシーンの推測の競合性能を示した。
論文 参考訳(メタデータ) (2022-11-17T20:17:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。