論文の概要: SeFFeC: Semantic Facial Feature Control for Fine-grained Face Editing
- arxiv url: http://arxiv.org/abs/2403.13972v1
- Date: Wed, 20 Mar 2024 20:47:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-22 17:59:26.203153
- Title: SeFFeC: Semantic Facial Feature Control for Fine-grained Face Editing
- Title(参考訳): SeFFeC: きめ細かい顔編集のためのセマンティック顔特徴制御
- Authors: Florian Strohm, Mihai Bâce, Markus Kaltenecker, Andreas Bulling,
- Abstract要約: 本手法は,人間の理解し難い顔の特徴を操作できる。
顔のランドマークを使用することで、顔の特徴を正確に測定することができる。
SeFFeCは、顔の特徴の正確な値を決定論的に制御する。
- 参考スコア(独自算出の注目度): 11.315920236637247
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We propose Semantic Facial Feature Control (SeFFeC) - a novel method for fine-grained face shape editing. Our method enables the manipulation of human-understandable, semantic face features, such as nose length or mouth width, which are defined by different groups of facial landmarks. In contrast to existing methods, the use of facial landmarks enables precise measurement of the facial features, which then enables training SeFFeC without any manually annotated labels. SeFFeC consists of a transformer-based encoder network that takes a latent vector of a pre-trained generative model and a facial feature embedding as input, and learns to modify the latent vector to perform the desired face edit operation. To ensure that the desired feature measurement is changed towards the target value without altering uncorrelated features, we introduced a novel semantic face feature loss. Qualitative and quantitative results show that SeFFeC enables precise and fine-grained control of 23 facial features, some of which could not previously be controlled by other methods, without requiring manual annotations. Unlike existing methods, SeFFeC also provides deterministic control over the exact values of the facial features and more localised and disentangled face edits.
- Abstract(参考訳): 顔のきめ細かい形状の編集を行うセマンティック顔特徴制御法(SeFFeC)を提案する。
本手法は, 顔のランドマークの異なるグループによって定義される鼻の長さや口幅などの, 人間の理解できない意味的な顔の特徴の操作を可能にする。
既存の方法とは対照的に、顔のランドマークを使用することで、顔の特徴を正確に測定することができ、手動でアノテートされたラベルなしでSeFFeCをトレーニングすることができる。
SeFFeCは、予め訓練された生成モデルの潜伏ベクトルと入力として埋め込まれた顔特徴を受信し、潜伏ベクトルを変更して所望の顔編集操作を行う変圧器ベースのエンコーダネットワークからなる。
非相関な特徴を変化させることなく、目的値に対して所望の特徴測定が変更されることを保証するため、我々は、新しい意味的顔の特徴損失を導入した。
定性的かつ定量的な結果は、SeFFeCが23の顔の特徴を正確にきめ細かな制御を可能にしていることを示している。
既存の方法とは異なり、SeFFeCは顔の特徴の正確な値を決定論的に制御する。
関連論文リスト
- DisControlFace: Disentangled Control for Personalized Facial Image
Editing [15.353081246276986]
生成的顔画像編集のきめ細かな制御に着目し、忠実で一貫したパーソナライズされた顔の外観を創出する。
2つの分離されたコンポーネントからなる新しい拡散型フレームワークであるDisControlFaceを提案する。
我々のDisControlNetは、大規模な2Dインザワイルドポートレートのトレーニングを通じて、どんな顔画像でも堅牢な編集を行うことができる。
論文 参考訳(メタデータ) (2023-12-11T08:16:55Z) - StyleGANEX: StyleGAN-Based Manipulation Beyond Cropped Aligned Faces [103.54337984566877]
拡張畳み込みを用いて、モデルパラメータを変更することなく、StyleGANの浅い層の受容場を再スケールする。
これにより、浅い層における固定サイズの小さなフィーチャを、可変解像度に対応できるより大きなものへと拡張することができる。
本手法は,多様な顔操作タスクにおいて,様々な解像度の顔入力を用いて検証する。
論文 参考訳(メタデータ) (2023-03-10T18:59:33Z) - End-to-end Face-swapping via Adaptive Latent Representation Learning [12.364688530047786]
本稿では,高精細・高精細・高精細・高精細・高精細な顔交換のための新しいエンドツーエンド統合フレームワークを提案する。
顔の知覚とブレンドをエンドツーエンドのトレーニングとテストのプロセスに統合することで、野生の顔に高いリアルな顔スワッピングを実現することができる。
論文 参考訳(メタデータ) (2023-03-07T19:16:20Z) - IA-FaceS: A Bidirectional Method for Semantic Face Editing [8.19063619210761]
本稿では,顔属性の非交叉操作とフレキシブルかつ制御可能なコンポーネント編集のための双方向手法を提案する。
IA-FaceSは、セグメンテーションマスクやスケッチのような入力視覚的なガイダンスなしで初めて開発された。
定量的および定性的な結果から,提案手法は再構成,顔属性操作,コンポーネント転送において,他の手法よりも優れていたことが示唆された。
論文 参考訳(メタデータ) (2022-03-24T14:44:56Z) - Learning to Aggregate and Personalize 3D Face from In-the-Wild Photo
Collection [65.92058628082322]
非パラメトリックフェースモデリングは形状仮定なしで画像からのみ3次元フェースを再構成することを目的としている。
本稿では,教師なしのロバストな3次元顔モデリングのための学習・アグリゲート・パーソナライズ・フレームワークを提案する。
論文 参考訳(メタデータ) (2021-06-15T03:10:17Z) - FaceController: Controllable Attribute Editing for Face in the Wild [74.56117807309576]
単純なフィードフォワードネットワークを提案し、高忠実度な顔を生成する。
本手法では,既存かつ容易に把握可能な事前情報を利用することで,野生の多様な顔属性の制御,転送,編集を行うことができる。
本手法では,3Dプリミティブを用いてアイデンティティ,表現,ポーズ,イルミネーションを分離し,地域別スタイルコードを用いてテクスチャとカラーを分離する。
論文 参考訳(メタデータ) (2021-02-23T02:47:28Z) - S2FGAN: Semantically Aware Interactive Sketch-to-Face Translation [11.724779328025589]
本稿では,S2FGANと呼ばれるスケッチ・ツー・イメージ生成フレームワークを提案する。
我々は2つの潜在空間を用いて顔の外観を制御し、生成した顔の所望の属性を調整する。
提案手法は,属性強度の制御性を高めることで,属性操作における最先端の手法よりも優れた性能を発揮する。
論文 参考訳(メタデータ) (2020-11-30T13:42:39Z) - Unsupervised Learning Facial Parameter Regressor for Action Unit
Intensity Estimation via Differentiable Renderer [51.926868759681014]
骨駆動型顔モデル(BDFM)に基づいて,異なる視点で顔パラメータを予測する枠組みを提案する。
提案するフレームワークは,特徴抽出器,ジェネレータ,顔パラメータ回帰器から構成される。
論文 参考訳(メタデータ) (2020-08-20T09:49:13Z) - Reference-guided Face Component Editing [51.29105560090321]
本稿では,多様かつ制御可能な顔コンポーネント編集のためのr-FACE (Reference-guided FAce Component Editing) という新しいフレームワークを提案する。
具体的には、r-FACEは、顔成分の形状を制御する条件として参照画像を利用して、画像の塗装モデルをバックボーンとして利用する。
フレームワークが対象の顔成分に集中するよう促すため、基準画像から抽出した注目特徴と対象の顔成分特徴とを融合させるために、サンプル誘導注意モジュールが設計されている。
論文 参考訳(メタデータ) (2020-06-03T05:34:54Z) - InterFaceGAN: Interpreting the Disentangled Face Representation Learned
by GANs [73.27299786083424]
我々は、最先端のGANモデルによって学習された不整合顔表現を解釈するInterFaceGANというフレームワークを提案する。
まず、GANは潜在空間の線型部分空間で様々な意味学を学ぶ。
次に、異なる意味論間の相関関係について詳細な研究を行い、部分空間射影を通してそれらをよりよく解離させる。
論文 参考訳(メタデータ) (2020-05-18T18:01:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。