論文の概要: IA-FaceS, Bidirectional Method, Disentangled Attribute Manipulation,
Flexible Component Editing
- arxiv url: http://arxiv.org/abs/2203.13097v1
- Date: Thu, 24 Mar 2022 14:44:56 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-25 14:30:58.198441
- Title: IA-FaceS, Bidirectional Method, Disentangled Attribute Manipulation,
Flexible Component Editing
- Title（参考訳）: IA-FaceS, 双方向手法, 分散属性操作, フレキシブルコンポーネント編集
- Authors: Wenjing Huang, Shikui Tu, Lei Xu
- Abstract要約: 本稿では,顔属性の非交叉操作とフレキシブルかつ制御可能なコンポーネント編集のための双方向手法を提案する。
IA-FaceSは、セグメンテーションマスクやスケッチのような入力視覚的なガイダンスなしで初めて開発された。
定量的および定性的な結果から,提案手法は再構成,顔属性操作,コンポーネント転送において,他の手法よりも優れていたことが示唆された。
- 参考スコア（独自算出の注目度）: 8.19063619210761
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Semantic face editing has achieved substantial progress in recent years.
Known as a growingly popular method, latent space manipulation performs face
editing by changing the latent code of an input face to liberate users from
painting skills. However, previous latent space manipulation methods usually
encode an entire face into a single low-dimensional embedding, which constrains
the reconstruction capacity and the control flexibility of facial components,
such as eyes and nose. This paper proposes IA-FaceS as a bidirectional method
for disentangled face attribute manipulation as well as flexible, controllable
component editing without the need for segmentation masks or sketches in the
original image. To strike a balance between the reconstruction capacity and the
control flexibility, the encoder is designed as a multi-head structure to yield
embeddings for reconstruction and control, respectively: a high-dimensional
tensor with spatial properties for consistent reconstruction and four
low-dimensional facial component embeddings for semantic face editing.
Manipulating the separate component embeddings can help achieve disentangled
attribute manipulation and flexible control of facial components. To further
disentangle the highly-correlated components, a component adaptive modulation
(CAM) module is proposed for the decoder. The semantic single-eye editing is
developed for the first time without any input visual guidance, such as
segmentation masks or sketches. According to the experimental results, IA-FaceS
establishes a good balance between maintaining image details and performing
flexible face manipulation. Both quantitative and qualitative results indicate
that the proposed method outperforms the other techniques in reconstruction,
face attribute manipulation, and component transfer.
- Abstract（参考訳）: 意味的な顔編集は近年大きく進歩している。
潜時空間操作は,ユーザを絵画スキルから解放するために,入力面の潜時符号を変更して顔編集を行う。
しかし、従来の潜時空間操作法は、顔全体を単一の低次元埋め込みに符号化し、眼や鼻などの顔成分の復元能力と制御の柔軟性を制限した。
本稿では,画像中のセグメンテーションマスクやスケッチを必要とせずに,顔属性操作を柔軟かつ制御可能なコンポーネント編集を行う双方向手法としてia-facesを提案する。
再構成能力と制御柔軟性のバランスをとるために、エンコーダを多面構造として設計し、それぞれ、一貫した再構成のための空間特性を持つ高次元テンソルと、セマンティック顔編集のための4つの低次元顔成分埋め込みとを有する。
別々のコンポーネント埋め込みを操作することは、異種属性操作と顔コンポーネントの柔軟な制御を実現するのに役立つ。
関連性の高いコンポーネントをさらに切り離すために、デコーダに対してコンポーネント適応変調(CAM)モジュールを提案する。
セグメンテーションマスクやスケッチのような入力視覚的なガイダンスなしで、セマンティック・シングルアイ編集が最初に開発される。
実験結果によると、IA-FaceSは画像の詳細の維持とフレキシブルな顔操作のバランスを確立する。
定量的および定性的な結果から,提案手法は再構成,顔属性操作,コンポーネント転送において,他の手法よりも優れていた。
関連論文リスト
- Disentangled Representation Learning for Controllable Person Image
Generation [29.719070087384512]
本稿ではDRL-CPGという新しいフレームワークを提案する。
我々の知る限り、私たちは人物画像生成のためのトランスフォーマーによる非絡み合いの潜在表現を初めて学習する。
論文 参考訳（メタデータ） (2023-12-10T07:15:58Z) - FlowFace++: Explicit Semantic Flow-supervised End-to-End Face Swapping [28.714484307143927]
FlowFace++は、明示的なセマンティックフローの監視とエンドツーエンドアーキテクチャを利用する、新しいフェイススワッピングフレームワークである。
識別器は形状を意識しており、ターゲット面とソース面との間の形状の相違を明示的に計算する意味フロー誘導操作に依存している。
論文 参考訳（メタデータ） (2023-06-22T06:18:29Z) - StyleGANEX: StyleGAN-Based Manipulation Beyond Cropped Aligned Faces [103.54337984566877]
拡張畳み込みを用いて、モデルパラメータを変更することなく、StyleGANの浅い層の受容場を再スケールする。
これにより、浅い層における固定サイズの小さなフィーチャを、可変解像度に対応できるより大きなものへと拡張することができる。
本手法は,多様な顔操作タスクにおいて,様々な解像度の顔入力を用いて検証する。
論文 参考訳（メタデータ） (2023-03-10T18:59:33Z) - End-to-end Face-swapping via Adaptive Latent Representation Learning [12.364688530047786]
本稿では,高精細・高精細・高精細・高精細・高精細な顔交換のための新しいエンドツーエンド統合フレームワークを提案する。
顔の知覚とブレンドをエンドツーエンドのトレーニングとテストのプロセスに統合することで、野生の顔に高いリアルな顔スワッピングを実現することができる。
論文 参考訳（メタデータ） (2023-03-07T19:16:20Z) - Pixel Sampling for Style Preserving Face Pose Editing [53.14006941396712]
ジレンマを解くための新しい2段階のアプローチとして,顔のポーズ操作のタスクを顔に塗布する手法を提案する。
入力面から画素を選択的にサンプリングし、その相対位置をわずかに調整することにより、顔編集結果は、画像スタイルとともにアイデンティティ情報を忠実に保持する。
3D顔のランドマークをガイダンスとして、3自由度(ヨー、ピッチ、ロール)で顔のポーズを操作できるので、より柔軟な顔のポーズ編集が可能になる。
論文 参考訳（メタデータ） (2021-06-14T11:29:29Z) - FaceController: Controllable Attribute Editing for Face in the Wild [74.56117807309576]
単純なフィードフォワードネットワークを提案し、高忠実度な顔を生成する。
本手法では,既存かつ容易に把握可能な事前情報を利用することで,野生の多様な顔属性の制御,転送,編集を行うことができる。
本手法では,3Dプリミティブを用いてアイデンティティ,表現,ポーズ,イルミネーションを分離し,地域別スタイルコードを用いてテクスチャとカラーを分離する。
論文 参考訳（メタデータ） (2021-02-23T02:47:28Z) - S2FGAN: Semantically Aware Interactive Sketch-to-Face Translation [11.724779328025589]
本稿では,S2FGANと呼ばれるスケッチ・ツー・イメージ生成フレームワークを提案する。
我々は2つの潜在空間を用いて顔の外観を制御し、生成した顔の所望の属性を調整する。
提案手法は,属性強度の制御性を高めることで,属性操作における最先端の手法よりも優れた性能を発揮する。
論文 参考訳（メタデータ） (2020-11-30T13:42:39Z) - PIE: Portrait Image Embedding for Semantic Control [82.69061225574774]
本稿では,StyleGANの潜在空間に実際の肖像画を埋め込むための最初のアプローチを提案する。
トレーニング済みのニューラルネットワークであるStyleRigは、3D形態素顔モデルの制御空間をGANの潜在空間にマッピングする。
アイデンティティエネルギー保存用語は、顔の整合性を維持しながら空間的コヒーレントな編集を可能にする。
論文 参考訳（メタデータ） (2020-09-20T17:53:51Z) - Reference-guided Face Component Editing [51.29105560090321]
本稿では,多様かつ制御可能な顔コンポーネント編集のためのr-FACE (Reference-guided FAce Component Editing) という新しいフレームワークを提案する。
具体的には、r-FACEは、顔成分の形状を制御する条件として参照画像を利用して、画像の塗装モデルをバックボーンとして利用する。
フレームワークが対象の顔成分に集中するよう促すため、基準画像から抽出した注目特徴と対象の顔成分特徴とを融合させるために、サンプル誘導注意モジュールが設計されている。
論文 参考訳（メタデータ） (2020-06-03T05:34:54Z) - InterFaceGAN: Interpreting the Disentangled Face Representation Learned
by GANs [73.27299786083424]
我々は、最先端のGANモデルによって学習された不整合顔表現を解釈するInterFaceGANというフレームワークを提案する。
まず、GANは潜在空間の線型部分空間で様々な意味学を学ぶ。
次に、異なる意味論間の相関関係について詳細な研究を行い、部分空間射影を通してそれらをよりよく解離させる。
論文 参考訳（メタデータ） (2020-05-18T18:01:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。