論文の概要: Control4D: Dynamic Portrait Editing by Learning 4D GAN from 2D Diffusion-based Editor

• arxiv url: http://arxiv.org/abs/2305.20082v1
• Date: Wed, 31 May 2023 17:55:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-01 14:32:03.276846
• Title: Control4D: Dynamic Portrait Editing by Learning 4D GAN from 2D Diffusion-based Editor
• Title（参考訳）: Control4D:2次元拡散に基づくエディタから4D GANを学習した動的画像編集
• Authors: Ruizhi Shao, Jingxiang Sun, Cheng Peng, Zerong Zheng, Boyao Zhou, Hongwen Zhang, Yebin Liu
• Abstract要約: Control4Dは、高忠実で時間的に一貫した4D画像編集のための新しいアプローチである。 本手法では,編集者から直接の監督を行う代わりに4D GANを学習し,一貫性のない監視信号を回避する。 実験の結果,Control4Dは従来の手法を超越し,よりフォトリアリスティックで一貫した4D編集性能を実現することがわかった。
• 参考スコア（独自算出の注目度）: 33.501330347163844
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent years have witnessed considerable achievements in editing images with text instructions. When applying these editors to dynamic scene editing, the new-style scene tends to be temporally inconsistent due to the frame-by-frame nature of these 2D editors. To tackle this issue, we propose Control4D, a novel approach for high-fidelity and temporally consistent 4D portrait editing. Control4D is built upon an efficient 4D representation with a 2D diffusion-based editor. Instead of using direct supervisions from the editor, our method learns a 4D GAN from it and avoids the inconsistent supervision signals. Specifically, we employ a discriminator to learn the generation distribution based on the edited images and then update the generator with the discrimination signals. For more stable training, multi-level information is extracted from the edited images and used to facilitate the learning of the generator. Experimental results show that Control4D surpasses previous approaches and achieves more photo-realistic and consistent 4D editing performances. The link to our project website is https://control4darxiv.github.io.
• Abstract（参考訳）: 近年は、テキストによる画像編集でかなりの成果を上げている。 これらのエディターを動的シーン編集に適用する場合、新しいスタイルのシーンは2Dエディターのフレーム・バイ・フレームの性質のために時間的に矛盾する傾向がある。 この問題に対処するため,我々は高忠実かつ時間的に一貫した4D画像編集のための新しいアプローチであるControl4Dを提案する。 Control4Dは2D拡散ベースのエディタで効率的な4D表現の上に構築されている。 本手法では,編集者から直接の監督の代わりに4D GANを学習し,一貫性のない監視信号を回避する。 具体的には、識別器を用いて、編集画像に基づいて生成分布を学習し、識別信号で生成器を更新する。 より安定したトレーニングのために、編集された画像から多レベル情報を抽出し、ジェネレータの学習を容易にするために使用する。 実験の結果,Control4Dは従来の手法を超越し,よりフォトリアリスティックで一貫した4D編集性能を実現することがわかった。 私たちのプロジェクトwebサイトへのリンクはhttps://control4darxiv.github.ioです。

関連論文リスト

• Trans4D: Realistic Geometry-Aware Transition for Compositional Text-to-4D Synthesis [60.853577108780414]
  既存の4D生成方法は、ユーザフレンドリーな条件に基づいて高品質な4Dオブジェクトやシーンを生成することができる。 現実的な複雑なシーン遷移を可能にする新しいテキストから4D合成フレームワークであるTrans4Dを提案する。 実験では、Trans4Dは、4Dシーンを正確かつ高品質な遷移で生成する既存の最先端の手法を一貫して上回っている。
  論文  参考訳（メタデータ） (2024-10-09T17:56:03Z)
• Tailor3D: Customized 3D Assets Editing and Generation with Dual-Side Images [72.70883914827687]
  Tailor3Dは、編集可能なデュアルサイドイメージからカスタマイズされた3Dアセットを作成する新しいパイプラインである。 3Dアセットを編集するためのユーザフレンドリで効率的なソリューションを提供する。
  論文  参考訳（メタデータ） (2024-07-08T17:59:55Z)
• Instruct 4D-to-4D: Editing 4D Scenes as Pseudo-3D Scenes Using 2D Diffusion [30.331519274430594]
  命令4D-to-4Dは、高品質な命令誘導動的シーン編集結果を生成する。 我々は、4Dシーンを擬似3Dシーンとして扱い、ビデオ編集における時間的一貫性を実現し、擬似3Dシーンに適用する2つのサブプロブレムに分解する。 様々な場面でのアプローチと編集指示を幅広く評価し,空間的・時間的に一貫した編集結果が得られることを示した。
  論文  参考訳（メタデータ） (2024-06-13T17:59:30Z)
• DGE: Direct Gaussian 3D Editing by Consistent Multi-view Editing [72.54566271694654]
  オープンな言語命令に基づいて3Dオブジェクトやシーンを編集する際の問題点を考察する。 この問題に対する一般的なアプローチは、3D編集プロセスをガイドするために2Dイメージジェネレータまたはエディタを使用することである。 このプロセスは、コストのかかる3D表現の反復的な更新を必要とするため、しばしば非効率である。
  論文  参考訳（メタデータ） (2024-04-29T17:59:30Z)
• Comp4D: LLM-Guided Compositional 4D Scene Generation [65.5810466788355]
  合成 4D 生成のための新しいフレームワーク Comp4D について述べる。 シーン全体の特異な4D表現を生成する従来の方法とは異なり、Comp4Dはシーン内の各4Dオブジェクトを革新的に別々に構築する。 提案手法は, 予め定義された軌道で導かれる合成スコア蒸留技術を用いている。
  論文  参考訳（メタデータ） (2024-03-25T17:55:52Z)
• 4DGen: Grounded 4D Content Generation with Spatial-temporal Consistency [118.15258850780417]
  この4DGenは、4Dコンテンツ作成のための新しいフレームワークである。 静的な3Dアセットとモノクロビデオシーケンスを4Dコンテンツ構築のキーコンポーネントとして同定する。 我々のパイプラインは条件付き4D生成を容易にし、ユーザーは幾何学(3Dアセット)と運動(眼球ビデオ)を指定できる。
  論文  参考訳（メタデータ） (2023-12-28T18:53:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。