論文の概要: DisControlFace: Disentangled Control for Personalized Facial Image
Editing
- arxiv url: http://arxiv.org/abs/2312.06193v1
- Date: Mon, 11 Dec 2023 08:16:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-12 16:30:12.339777
- Title: DisControlFace: Disentangled Control for Personalized Facial Image
Editing
- Title(参考訳): DisControlFace:パーソナライズされた顔画像編集のためのアンタングル制御
- Authors: Haozhe Jia, Yan Li, Hengfei Cui, Di Xu, Changpeng Yang, Yuwang Wang,
Tao Yu
- Abstract要約: 生成的顔画像編集のきめ細かな制御に着目し、忠実で一貫したパーソナライズされた顔の外観を創出する。
2つの分離されたコンポーネントからなる新しい拡散型フレームワークであるDisControlFaceを提案する。
我々のDisControlNetは、大規模な2Dインザワイルドポートレートのトレーニングを通じて、どんな顔画像でも堅牢な編集を行うことができる。
- 参考スコア(独自算出の注目度): 15.353081246276986
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this work, we focus on exploring explicit fine-grained control of
generative facial image editing, all while generating faithful and consistent
personalized facial appearances. We identify the key challenge of this task as
the exploration of disentangled conditional control in the generation process,
and accordingly propose a novel diffusion-based framework, named
DisControlFace, comprising two decoupled components. Specifically, we leverage
an off-the-shelf diffusion reconstruction model as the backbone and freeze its
pre-trained weights, which helps to reduce identity shift and recover
editing-unrelated details of the input image. Furthermore, we construct a
parallel control network that is compatible with the reconstruction backbone to
generate spatial control conditions based on estimated explicit face
parameters. Finally, we further reformulate the training pipeline into a
masked-autoencoding form to effectively achieve disentangled training of our
DisControlFace. Our DisControlNet can perform robust editing on any facial
image through training on large-scale 2D in-the-wild portraits and also
supports low-cost fine-tuning with few additional images to further learn
diverse personalized priors of a specific person. Extensive experiments
demonstrate that DisControlFace can generate realistic facial images
corresponding to various face control conditions, while significantly improving
the preservation of the personalized facial details.
- Abstract(参考訳): 本研究は, 顔画像編集のきめ細かな制御に焦点をあて, 忠実で一貫したパーソナライズされた顔の外観を創出することに焦点を当てる。
本稿では,この課題を生成過程における不整合条件制御の探索として認識し,2つの分離成分からなる拡散型フレームワークであるDisControlFaceを提案する。
具体的には,既成の拡散再構成モデルをバックボーンとして活用し,事前学習した重みを凍結することで,同一性シフトを低減し,入力画像の編集非関連詳細を復元する。
さらに,推定顔パラメータに基づいて空間制御条件を生成するために,再構成バックボーンと互換性のある並列制御ネットワークを構築した。
最後に,トレーニングパイプラインをマスク型自動コーディング形式に再編成し,制御不能のトレーニングを効果的に達成する。
我々のDisControlNetは、大規模な2Dインザワイルドポートレートのトレーニングを通じて、どんな顔画像でも堅牢な編集を行えます。
広範囲な実験により、discontrolfaceは様々な顔制御条件に対応する現実的な顔画像を生成することができ、またパーソナライズされた顔詳細の保存を著しく改善できることが示されている。
関連論文リスト
- A Generalist FaceX via Learning Unified Facial Representation [77.74407008931486]
FaceXは、多様な顔タスクを同時に処理できる新しい顔ジェネラリストモデルである。
汎用的なFaceXは、一般的な顔編集タスクの精巧なタスク特化モデルと比較して、競争性能が向上する。
論文 参考訳(メタデータ) (2023-12-31T17:41:48Z) - DreamIdentity: Improved Editability for Efficient Face-identity
Preserved Image Generation [69.16517915592063]
人間の顔の正確な表現を学習するための新しい顔識別エンコーダを提案する。
また、モデルの編集可能性を高めるために、自己拡張編集可能性学習を提案する。
我々の手法は、異なるシーン下でより高速にアイデンティティ保存された画像を生成することができる。
論文 参考訳(メタデータ) (2023-07-01T11:01:17Z) - End-to-end Face-swapping via Adaptive Latent Representation Learning [12.364688530047786]
本稿では,高精細・高精細・高精細・高精細・高精細な顔交換のための新しいエンドツーエンド統合フレームワークを提案する。
顔の知覚とブレンドをエンドツーエンドのトレーニングとテストのプロセスに統合することで、野生の顔に高いリアルな顔スワッピングを実現することができる。
論文 参考訳(メタデータ) (2023-03-07T19:16:20Z) - IA-FaceS: A Bidirectional Method for Semantic Face Editing [8.19063619210761]
本稿では,顔属性の非交叉操作とフレキシブルかつ制御可能なコンポーネント編集のための双方向手法を提案する。
IA-FaceSは、セグメンテーションマスクやスケッチのような入力視覚的なガイダンスなしで初めて開発された。
定量的および定性的な結果から,提案手法は再構成,顔属性操作,コンポーネント転送において,他の手法よりも優れていたことが示唆された。
論文 参考訳(メタデータ) (2022-03-24T14:44:56Z) - A Latent Transformer for Disentangled and Identity-Preserving Face
Editing [3.1542695050861544]
本稿では,StyleGANジェネレータの潜時空間を介して顔属性を編集することを提案する。
我々は、専用潜伏変換ネットワークを訓練し、損失関数に明示的な絡み合いとアイデンティティ保存項を組み込む。
本モデルは,現実的な(非合成的な)画像やビデオの難易度においても,不整合で制御可能で,顔属性の編集が可能なモデルである。
論文 参考訳(メタデータ) (2021-06-22T16:04:30Z) - Learning to Aggregate and Personalize 3D Face from In-the-Wild Photo
Collection [65.92058628082322]
非パラメトリックフェースモデリングは形状仮定なしで画像からのみ3次元フェースを再構成することを目的としている。
本稿では,教師なしのロバストな3次元顔モデリングのための学習・アグリゲート・パーソナライズ・フレームワークを提案する。
論文 参考訳(メタデータ) (2021-06-15T03:10:17Z) - FaceController: Controllable Attribute Editing for Face in the Wild [74.56117807309576]
単純なフィードフォワードネットワークを提案し、高忠実度な顔を生成する。
本手法では,既存かつ容易に把握可能な事前情報を利用することで,野生の多様な顔属性の制御,転送,編集を行うことができる。
本手法では,3Dプリミティブを用いてアイデンティティ,表現,ポーズ,イルミネーションを分離し,地域別スタイルコードを用いてテクスチャとカラーを分離する。
論文 参考訳(メタデータ) (2021-02-23T02:47:28Z) - GAN-Control: Explicitly Controllable GANs [4.014524824655106]
生成された画像を明示的に制御するGANをトレーニングするためのフレームワークを提示する。
生成した画像は、年齢、ポーズ、表現などの正確な属性を設定して制御することができます。
論文 参考訳(メタデータ) (2021-01-07T10:54:17Z) - S2FGAN: Semantically Aware Interactive Sketch-to-Face Translation [11.724779328025589]
本稿では,S2FGANと呼ばれるスケッチ・ツー・イメージ生成フレームワークを提案する。
我々は2つの潜在空間を用いて顔の外観を制御し、生成した顔の所望の属性を調整する。
提案手法は,属性強度の制御性を高めることで,属性操作における最先端の手法よりも優れた性能を発揮する。
論文 参考訳(メタデータ) (2020-11-30T13:42:39Z) - PIE: Portrait Image Embedding for Semantic Control [82.69061225574774]
本稿では,StyleGANの潜在空間に実際の肖像画を埋め込むための最初のアプローチを提案する。
トレーニング済みのニューラルネットワークであるStyleRigは、3D形態素顔モデルの制御空間をGANの潜在空間にマッピングする。
アイデンティティエネルギー保存用語は、顔の整合性を維持しながら空間的コヒーレントな編集を可能にする。
論文 参考訳(メタデータ) (2020-09-20T17:53:51Z) - Reference-guided Face Component Editing [51.29105560090321]
本稿では,多様かつ制御可能な顔コンポーネント編集のためのr-FACE (Reference-guided FAce Component Editing) という新しいフレームワークを提案する。
具体的には、r-FACEは、顔成分の形状を制御する条件として参照画像を利用して、画像の塗装モデルをバックボーンとして利用する。
フレームワークが対象の顔成分に集中するよう促すため、基準画像から抽出した注目特徴と対象の顔成分特徴とを融合させるために、サンプル誘導注意モジュールが設計されている。
論文 参考訳(メタデータ) (2020-06-03T05:34:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。