論文の概要: DreamEdit3D: Personalization of Multi-View Diffusion Models for 3D Editing
- arxiv url: http://arxiv.org/abs/2605.16990v1
- Date: Sat, 16 May 2026 13:21:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-19 17:57:47.40783
- Title: DreamEdit3D: Personalization of Multi-View Diffusion Models for 3D Editing
- Title（参考訳）: DreamEdit3D:3次元編集のための多視点拡散モデルのパーソナライズ
- Authors: Jinxin Ai, Matthias Nießner, Ziya Erkoç,
- Abstract要約: 自然言語による合成・オブジェクトレベルの制御が可能なテキスト誘導型3D編集のための新しいパーソナライズ手法を提案する。
本手法は,2次元のパーソナライゼーションの柔軟性を3次元に伝達し,忠実な編集とアイデンティティ保存を実現する。
- 参考スコア（独自算出の注目度）: 47.437239634403426
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While 2D diffusion models have achieved remarkable success in identity-preserving personalization, extending this capability to 3D assets remains a significant challenge due to the complexities of multi-view consistency and spatial control. Inspired by these 2D advancements, we present a novel personalization method for text-guided 3D editing that enables compositional, object-level control through natural language. Given a 3D input, we render orthogonal views and extract object-level segmentation masks to isolate semantic components. We then learn distinct token embeddings for each component through a tailored two-phase optimization strategy: multi-view textual inversion with attention alignment, followed by full fine-tuning of multi-view diffusion model. During inference, these disentangled tokens seamlessly compose with editing prompts to generate multi-view consistent images, which are subsequently lifted into high-fidelity textured 3D meshes. Extensive evaluations across diverse editing scenarios demonstrate that our method successfully transfers the flexibility of 2D personalization to 3D, achieving state-of-the-art edit faithfulness and identity preservation compared to existing baselines.
- Abstract（参考訳）: 2次元拡散モデルはアイデンティティ保存のパーソナライゼーションにおいて顕著な成功を収めてきたが、多視点一貫性と空間制御の複雑さのため、この能力を3次元アセットに拡張することは大きな課題である。
これら2Dの進歩に触発されて、自然言語による合成・オブジェクトレベルの制御を可能にするテキスト誘導3D編集の新しいパーソナライズ手法を提案する。
3次元入力が与えられた場合、直交ビューを描画し、オブジェクトレベルのセグメンテーションマスクを抽出し、セマンティックコンポーネントを分離する。
次に、各コンポーネントに対する異なるトークン埋め込みを、2相最適化戦略により学習する:多視点テキスト変換とアテンションアライメント、そして多視点拡散モデルの完全な微調整を行う。
推論中、これらの歪んだトークンは、編集プロンプトでシームレスに構成され、マルチビュー一貫性のある画像を生成し、その後高忠実なテクスチャ化された3Dメッシュに持ち上げられる。
多様な編集シナリオにわたる広範囲な評価の結果,本手法は既存のベースラインと比較して,2次元のパーソナライゼーションの柔軟性を3Dに伝達し,最先端の編集忠実度とアイデンティティの保存を実現している。
関連論文リスト
- VGGT-Edit: Feed-forward Native 3D Scene Editing with Residual Field Prediction [59.303842406260124]
VGGT-Editはテキスト条件のネイティブ3Dシーン編集のためのフィードフォワードフレームワークである。
本研究では,奥行き同期テキストインジェクションを導入し,意味的指導をバックボーンの空間的ポーズと整合させる。
VGGT-Editは2Dリフトベースラインを大幅に上回り、よりシャープなオブジェクトの詳細、より強力なマルチビュー一貫性、ほぼインスタントな推論速度を生み出している。
論文 参考訳（メタデータ） (2026-05-14T17:59:04Z) - Geometry-Guided Reinforcement Learning for Multi-view Consistent 3D Scene Editing [106.07976338405793]
3次元編集における2次元拡散モデルの先行的活用は、有望なパラダイムとして現れている。
我々は3次元基礎モデルであるVGGTから得られた新たな報酬を用いて、強化学習によって駆動されるシングルパスフレームワークであるtextbfRL3DEditを提案する。
実験により、RL3DEditは安定したマルチビューの一貫性を実現し、高い効率で品質を編集する最先端の手法より優れていることが示された。
論文 参考訳（メタデータ） (2026-03-03T16:31:10Z) - Easy3E: Feed-Forward 3D Asset Editing via Rectified Voxel Flow [29.8200628539749]
TRELLIS生成バックボーンに基づく,効果的かつ完全なフィードフォワード3D編集フレームワークを提案する。
本フレームワークは,3次元表現に自由な2次元編集を適用すること,圧縮された3次元特徴の外観忠実性のボトルネックを克服すること,の2つの主要な課題に対処する。
論文 参考訳（メタデータ） (2026-02-25T02:15:14Z) - POCI-Diff: Position Objects Consistently and Interactively with 3D-Layout Guided Diffusion [46.97254555348757]
本稿では,テキスト・トゥ・イメージ(T2I)生成のための拡散型アプローチを提案する。
連続的かつインタラクティブな位置決めのためのフレームワーク(POCI-Diff)を導入する。
本手法は,個々のテキスト記述を特定の3次元境界ボックスに結合することで,オブジェクトごとのセマンティック制御を可能にする。
論文 参考訳（メタデータ） (2026-01-20T15:13:43Z) - Native 3D Editing with Full Attention [47.908091876301796]
本研究では,1つのフィードフォワードパスで直接3D表現を操作できる新しい3D編集フレームワークを提案する。
このデータセットは慎重にキュレーションされ、編集されたオブジェクトが命令の変更に忠実に従うことを保証する。
その結果,トークンの連結はパラメータ効率が良く,優れた性能が得られることがわかった。
論文 参考訳（メタデータ） (2025-11-21T18:59:26Z) - 3D-LATTE: Latent Space 3D Editing from Textual Instructions [64.77718887666312]
本研究では,ネイティブな3次元拡散モデルの潜在空間内で動作する学習自由な編集手法を提案する。
生成元からの3Dアテンションマップとソースオブジェクトをブレンドすることで、編集合成をガイドする。
論文 参考訳（メタデータ） (2025-08-29T22:51:59Z) - CDI3D: Cross-guided Dense-view Interpolation for 3D Reconstruction [25.468907201804093]
大規模再構成モデル (LRM) は, 2次元拡散モデルにより生成された多視点画像を利用して3次元コンテンツを抽出する際の大きな可能性を示している。
しかし、2次元拡散モデルはしばしば、強い多視点一貫性を持つ高密度画像を生成するのに苦労する。
CDI3Dは,高画質で高画質な3D画像生成を実現するためのフィードフォワードフレームワークである。
論文 参考訳（メタデータ） (2025-03-11T03:08:43Z) - Guide3D: Create 3D Avatars from Text and Image Guidance [55.71306021041785]
Guide3Dは拡散モデルに基づく3Dアバター生成のためのテキスト・画像誘導生成モデルである。
我々のフレームワークは、トポロジカルかつ構造的に正しい幾何と高分解能なテクスチャを生成する。
論文 参考訳（メタデータ） (2023-08-18T17:55:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。