論文の概要: Control4D: Dynamic Portrait Editing by Learning 4D GAN from 2D
Diffusion-based Editor
- arxiv url: http://arxiv.org/abs/2305.20082v1
- Date: Wed, 31 May 2023 17:55:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-01 14:32:03.276846
- Title: Control4D: Dynamic Portrait Editing by Learning 4D GAN from 2D
Diffusion-based Editor
- Title(参考訳): Control4D:2次元拡散に基づくエディタから4D GANを学習した動的画像編集
- Authors: Ruizhi Shao, Jingxiang Sun, Cheng Peng, Zerong Zheng, Boyao Zhou,
Hongwen Zhang, Yebin Liu
- Abstract要約: Control4Dは、高忠実で時間的に一貫した4D画像編集のための新しいアプローチである。
本手法では,編集者から直接の監督を行う代わりに4D GANを学習し,一貫性のない監視信号を回避する。
実験の結果,Control4Dは従来の手法を超越し,よりフォトリアリスティックで一貫した4D編集性能を実現することがわかった。
- 参考スコア(独自算出の注目度): 33.501330347163844
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent years have witnessed considerable achievements in editing images with
text instructions. When applying these editors to dynamic scene editing, the
new-style scene tends to be temporally inconsistent due to the frame-by-frame
nature of these 2D editors. To tackle this issue, we propose Control4D, a novel
approach for high-fidelity and temporally consistent 4D portrait editing.
Control4D is built upon an efficient 4D representation with a 2D
diffusion-based editor. Instead of using direct supervisions from the editor,
our method learns a 4D GAN from it and avoids the inconsistent supervision
signals. Specifically, we employ a discriminator to learn the generation
distribution based on the edited images and then update the generator with the
discrimination signals. For more stable training, multi-level information is
extracted from the edited images and used to facilitate the learning of the
generator. Experimental results show that Control4D surpasses previous
approaches and achieves more photo-realistic and consistent 4D editing
performances. The link to our project website is
https://control4darxiv.github.io.
- Abstract(参考訳): 近年は、テキストによる画像編集でかなりの成果を上げている。
これらのエディターを動的シーン編集に適用する場合、新しいスタイルのシーンは2Dエディターのフレーム・バイ・フレームの性質のために時間的に矛盾する傾向がある。
この問題に対処するため,我々は高忠実かつ時間的に一貫した4D画像編集のための新しいアプローチであるControl4Dを提案する。
Control4Dは2D拡散ベースのエディタで効率的な4D表現の上に構築されている。
本手法では,編集者から直接の監督の代わりに4D GANを学習し,一貫性のない監視信号を回避する。
具体的には、識別器を用いて、編集画像に基づいて生成分布を学習し、識別信号で生成器を更新する。
より安定したトレーニングのために、編集された画像から多レベル情報を抽出し、ジェネレータの学習を容易にするために使用する。
実験の結果,Control4Dは従来の手法を超越し,よりフォトリアリスティックで一貫した4D編集性能を実現することがわかった。
私たちのプロジェクトwebサイトへのリンクはhttps://control4darxiv.github.ioです。
関連論文リスト
- DragGaussian: Enabling Drag-style Manipulation on 3D Gaussian Representation [57.406031264184584]
DragGaussianは、3D Gaussian Splattingをベースにした3Dオブジェクトのドラッグ編集フレームワークである。
我々の貢献は、新しいタスクの導入、インタラクティブなポイントベース3D編集のためのDragGaussianの開発、質的かつ定量的な実験によるその効果の包括的検証などである。
論文 参考訳(メタデータ) (2024-05-09T14:34:05Z) - DGE: Direct Gaussian 3D Editing by Consistent Multi-view Editing [72.54566271694654]
オープンな言語命令に基づいて3Dオブジェクトやシーンを編集する際の問題点を考察する。
この問題を解決するための確立されたパラダイムは、3D編集プロセスをガイドするために2Dイメージジェネレータまたはエディタを使用することである。
これは、神経放射場のような計算コストのかかる3D表現を更新する必要があるため、しばしば遅くなる。
そこで我々は,これらの問題に2つの方法で対処する手法であるDirect Gaussian Editor (DGE)を導入する。
論文 参考訳(メタデータ) (2024-04-29T17:59:30Z) - Reference-Based 3D-Aware Image Editing with Triplane [15.222454412573455]
本研究は、EG3Dの3次元平面空間の高度な参照ベース編集における有効性について検討し、実証する。
提案手法は,三面体特徴の符号化,空間的ゆがみ,三面体領域の特徴の自動局在化,および所望の画像編集のための融合学習を統合する。
本手法は,定性的にも定量的にも,関連する3D対応潜時編集や2D参照ベース編集よりも大幅に改善されている。
論文 参考訳(メタデータ) (2024-04-04T17:53:33Z) - Comp4D: LLM-Guided Compositional 4D Scene Generation [65.5810466788355]
合成 4D 生成のための新しいフレームワーク Comp4D について述べる。
シーン全体の特異な4D表現を生成する従来の方法とは異なり、Comp4Dはシーン内の各4Dオブジェクトを革新的に別々に構築する。
提案手法は, 予め定義された軌道で導かれる合成スコア蒸留技術を用いている。
論文 参考訳(メタデータ) (2024-03-25T17:55:52Z) - 4DGen: Grounded 4D Content Generation with Spatial-temporal Consistency [118.15258850780417]
この4DGenは、4Dコンテンツ作成のための新しいフレームワークである。
静的な3Dアセットとモノクロビデオシーケンスを4Dコンテンツ構築のキーコンポーネントとして同定する。
我々のパイプラインは条件付き4D生成を容易にし、ユーザーは幾何学(3Dアセット)と運動(眼球ビデオ)を指定できる。
論文 参考訳(メタデータ) (2023-12-28T18:53:39Z) - DreamGaussian4D: Generative 4D Gaussian Splatting [59.32318797882129]
本研究では,4次元ガウス分割表現に基づく効率的な4次元生成フレームワークであるDreamGaussian4Dを紹介する。
我々の重要な洞察は、ガウススプラッティングにおける空間変換の明示的なモデリングが、4次元生成設定により適しているということである。
DreamGaussian4Dは最適化時間を数時間から数分に短縮し、生成された3Dモーションの柔軟な制御を可能にし、3Dエンジンで効率的にレンダリングできるアニメーションメッシュを生成する。
論文 参考訳(メタデータ) (2023-12-28T17:16:44Z) - Plasticine3D: Non-rigid 3D editting with text guidance [24.75903764018142]
プラスチック3Dは、汎用的で、高忠実で、フォトリアリスティックで、制御可能な非剛性編集パイプラインである。
本研究は, 編集過程を幾何学的編集段階とテクスチャ的編集段階に分割し, より詳細な, フォトリアリスティックな結果を得る。
論文 参考訳(メタデータ) (2023-12-15T09:01:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。