論文の概要: Plasticine3D: Non-rigid 3D editting with text guidance
- arxiv url: http://arxiv.org/abs/2312.10111v1
- Date: Fri, 15 Dec 2023 09:01:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-19 18:36:56.479492
- Title: Plasticine3D: Non-rigid 3D editting with text guidance
- Title（参考訳）: plasticine3d:テキスト誘導による非剛性3d編集
- Authors: Yige Chen, Ang Chen, Siyuan Chen, Ran Yi
- Abstract要約: プラスチック3Dは、汎用的で、高忠実で、フォトリアリスティックで、制御可能な非剛性編集パイプラインである。
本研究は, 編集過程を幾何学的編集段階とテクスチャ的編集段階に分割し, より詳細な, フォトリアリスティックな結果を得る。
- 参考スコア（独自算出の注目度）: 24.75903764018142
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With the help of Score Distillation Sampling(SDS) and the rapid development
of various trainable 3D representations, Text-to-Image(T2I) diffusion models
have been applied to 3D generation tasks and achieved considerable results.
There are also some attempts toward the task of editing 3D objects leveraging
this Text-to-3D pipeline. However, most methods currently focus on adding
additional geometries, overwriting textures or both. But few of them can
perform non-rigid transformation of 3D objects. For those who can perform
non-rigid editing, on the other hand, suffer from low-resolution, lack of
fidelity and poor flexibility. In order to address these issues, we present:
Plasticine3D, a general, high-fidelity, photo-realistic and controllable
non-rigid editing pipeline. Firstly, our work divides the editing process into
a geometry editing stage and a texture editing stage to achieve more detailed
and photo-realistic results ; Secondly, in order to perform non-rigid
transformation with controllable results while maintain the fidelity towards
original 3D models in the same time, we propose a multi-view-embedding(MVE)
optimization strategy to ensure that the diffusion model learns the overall
features of the original object and an embedding-fusion(EF) to control the
degree of editing by adjusting the value of the fusing rate. We also design a
geometry processing step before optimizing on the base geometry to cope with
different needs of various editing tasks. Further more, to fully leverage the
geometric prior from the original 3D object, we provide an optional replacement
of score distillation sampling named score projection sampling(SPS) which
enables us to directly perform optimization from the origin 3D mesh in most
common median non-rigid editing scenarios. We demonstrate the effectiveness of
our method on both the non-rigid 3D editing task and general 3D editing task.
- Abstract（参考訳）: SDS(Score Distillation Sampling)と様々なトレーニング可能な3D表現の迅速な開発により、テキスト・トゥ・イメージ(T2I)拡散モデルが3次元生成タスクに適用され、かなりの成果を上げている。
また、このText-to-3Dパイプラインを利用した3Dオブジェクトの編集作業に向けた試みもある。
しかし、現在のほとんどのメソッドは、追加のジオメトリの追加、オーバーライトテクスチャ、あるいは両方に焦点を当てている。
しかし、3Dオブジェクトの非剛性変換を実行できるものはほとんどない。
一方、非厳密な編集ができる人には、低解像度、忠実性の欠如、柔軟性の欠如がある。
これらの問題に対処するため、be plasticine3dは一般的な高忠実度でフォトリアリスティックで制御可能な非リギッド編集パイプラインである。
Firstly, our work divides the editing process into a geometry editing stage and a texture editing stage to achieve more detailed and photo-realistic results ; Secondly, in order to perform non-rigid transformation with controllable results while maintain the fidelity towards original 3D models in the same time, we propose a multi-view-embedding(MVE) optimization strategy to ensure that the diffusion model learns the overall features of the original object and an embedding-fusion(EF) to control the degree of editing by adjusting the value of the fusing rate.
また,様々な編集タスクの異なるニーズに対応するため,基本形状を最適化する前に,幾何処理のステップを設計する。
さらに、元の3Dオブジェクトから得られる幾何的事前を十分に活用するために、スコア抽出サンプリング (SPS) を任意に置き換えることで、最も一般的な非剛性編集シナリオにおいて、原点3Dメッシュから直接最適化を行うことができる。
非剛性3D編集タスクと汎用3D編集タスクにおいて,本手法の有効性を示す。
関連論文リスト
- ProEdit: Simple Progression is All You Need for High-Quality 3D Scene Editing [33.42456524414643]
ProEditは、拡散蒸留によって誘導される高品質な3Dシーン編集のためのフレームワークである。
我々のフレームワークはFOSのサイズを制御し、全体的な編集タスクを複数のサブタスクに分解することで一貫性を低下させる。
ProEditは、様々な場面で最先端の結果を達成し、編集作業に挑戦する。
論文 参考訳（メタデータ） (2024-11-07T18:59:54Z) - EditRoom: LLM-parameterized Graph Diffusion for Composable 3D Room Layout Editing [114.14164860467227]
自然言語コマンドで様々なレイアウト編集を実行できるフレームワークであるEdit-Roomを提案する。
特にEditRoomは、コマンドプランニングとターゲットシーンの生成にLarge Language Models(LLM)を利用している。
既存の3Dシーンデータセットを拡張する自動パイプラインを開発し,83kの編集ペアを備えた大規模データセットであるEditRoom-DBを導入した。
論文 参考訳（メタデータ） (2024-10-03T17:42:24Z) - 3D Gaussian Editing with A Single Image [19.662680524312027]
本稿では,3次元ガウシアンスプラッティングをベースとしたワンイメージ駆動の3Dシーン編集手法を提案する。
提案手法は,ユーザが指定した視点から描画した画像の編集版に合わせるために,3次元ガウスを最適化することを学ぶ。
実験により, 幾何学的詳細処理, 長距離変形, 非剛性変形処理における本手法の有効性が示された。
論文 参考訳（メタデータ） (2024-08-14T13:17:42Z) - View-Consistent 3D Editing with Gaussian Splatting [50.6460814430094]
View-Consistent Editing (VcEdit)は、3DGSをシームレスに画像編集プロセスに組み込む新しいフレームワークである。
一貫性モジュールを反復パターンに組み込むことで、VcEditはマルチビューの不整合の問題を十分に解決する。
論文 参考訳（メタデータ） (2024-03-18T15:22:09Z) - SHAP-EDITOR: Instruction-guided Latent 3D Editing in Seconds [73.91114735118298]
Shap-Editorは、新しいフィードフォワード3D編集フレームワークである。
フィードフォワード・エディター・ネットワークを構築することで,この空間で直接3D編集を行うことが可能であることを示す。
論文 参考訳（メタデータ） (2023-12-14T18:59:06Z) - Customize your NeRF: Adaptive Source Driven 3D Scene Editing via
Local-Global Iterative Training [61.984277261016146]
テキスト記述や参照画像を編集プロンプトとして統合するCustomNeRFモデルを提案する。
最初の課題に取り組むために,前景領域編集とフルイメージ編集を交互に行うローカル・グローバル反復編集(LGIE)トレーニング手法を提案する。
第2の課題として、生成モデル内のクラス事前を利用して、一貫性の問題を緩和するクラス誘導正規化を設計する。
論文 参考訳（メタデータ） (2023-12-04T06:25:06Z) - Object-aware Inversion and Reassembly for Image Editing [61.19822563737121]
オブジェクトレベルのきめ細かい編集を可能にするために,オブジェクト認識型インバージョンと再アセンブリ(OIR)を提案する。
画像の編集時に各編集ペアに対して最適な反転ステップを見つけるために,検索基準を用いる。
本手法は,オブジェクトの形状,色,材料,カテゴリなどの編集において,特に多目的編集シナリオにおいて優れた性能を発揮する。
論文 参考訳（メタデータ） (2023-10-18T17:59:02Z) - Editing 3D Scenes via Text Prompts without Retraining [80.57814031701744]
DN2Nはテキスト駆動編集方式であり、普遍的な編集機能を備えたNeRFモデルの直接取得を可能にする。
本手法では,2次元画像のテキストベース編集モデルを用いて3次元シーン画像の編集を行う。
本手法は,外観編集,天気変化,材質変化,スタイル伝達など,複数種類の編集を行う。
論文 参考訳（メタデータ） (2023-09-10T02:31:50Z) - SINE: Semantic-driven Image-based NeRF Editing with Prior-guided Editing
Field [37.8162035179377]
我々は,1つの画像でニューラルラディアンスフィールドを編集できる,新しい意味駆動型NeRF編集手法を提案する。
この目的を達成するために,3次元空間における微細な幾何学的・テクスチャ的編集を符号化する事前誘導編集場を提案する。
本手法は,1枚の編集画像のみを用いた写真リアルな3D編集を実現し,実世界の3Dシーンにおけるセマンティックな編集の限界を押し上げる。
論文 参考訳（メタデータ） (2023-03-23T13:58:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。