論文の概要: SeFFeC: Semantic Facial Feature Control for Fine-grained Face Editing
- arxiv url: http://arxiv.org/abs/2403.13972v1
- Date: Wed, 20 Mar 2024 20:47:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-22 17:59:26.203153
- Title: SeFFeC: Semantic Facial Feature Control for Fine-grained Face Editing
- Title（参考訳）: SeFFeC: きめ細かい顔編集のためのセマンティック顔特徴制御
- Authors: Florian Strohm, Mihai Bâce, Markus Kaltenecker, Andreas Bulling,
- Abstract要約: 本手法は,人間の理解し難い顔の特徴を操作できる。
顔のランドマークを使用することで、顔の特徴を正確に測定することができる。
SeFFeCは、顔の特徴の正確な値を決定論的に制御する。
- 参考スコア（独自算出の注目度）: 11.315920236637247
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We propose Semantic Facial Feature Control (SeFFeC) - a novel method for fine-grained face shape editing. Our method enables the manipulation of human-understandable, semantic face features, such as nose length or mouth width, which are defined by different groups of facial landmarks. In contrast to existing methods, the use of facial landmarks enables precise measurement of the facial features, which then enables training SeFFeC without any manually annotated labels. SeFFeC consists of a transformer-based encoder network that takes a latent vector of a pre-trained generative model and a facial feature embedding as input, and learns to modify the latent vector to perform the desired face edit operation. To ensure that the desired feature measurement is changed towards the target value without altering uncorrelated features, we introduced a novel semantic face feature loss. Qualitative and quantitative results show that SeFFeC enables precise and fine-grained control of 23 facial features, some of which could not previously be controlled by other methods, without requiring manual annotations. Unlike existing methods, SeFFeC also provides deterministic control over the exact values of the facial features and more localised and disentangled face edits.
- Abstract（参考訳）: 顔のきめ細かい形状の編集を行うセマンティック顔特徴制御法(SeFFeC)を提案する。
本手法は, 顔のランドマークの異なるグループによって定義される鼻の長さや口幅などの, 人間の理解できない意味的な顔の特徴の操作を可能にする。
既存の方法とは対照的に、顔のランドマークを使用することで、顔の特徴を正確に測定することができ、手動でアノテートされたラベルなしでSeFFeCをトレーニングすることができる。
SeFFeCは、予め訓練された生成モデルの潜伏ベクトルと入力として埋め込まれた顔特徴を受信し、潜伏ベクトルを変更して所望の顔編集操作を行う変圧器ベースのエンコーダネットワークからなる。
非相関な特徴を変化させることなく、目的値に対して所望の特徴測定が変更されることを保証するため、我々は、新しい意味的顔の特徴損失を導入した。
定性的かつ定量的な結果は、SeFFeCが23の顔の特徴を正確にきめ細かな制御を可能にしていることを示している。
既存の方法とは異なり、SeFFeCは顔の特徴の正確な値を決定論的に制御する。
関連論文リスト
- Learning Where to Edit Vision Transformers [27.038720045544867]
コンピュータビジョンにおける視覚変換器(ViT)の編集のための位置情報編集手法を提案する。
我々はまず、CutMix拡張データ上でハイパーネットワークをメタラーニングすることで、位置から編集までの課題に対処する。
提案手法を検証するため, サブポピュレーションシフトを導入した編集ベンチマークを構築した。
論文 参考訳（メタデータ） (2024-11-04T10:17:40Z) - Face Adapter for Pre-Trained Diffusion Models with Fine-Grained ID and Attribute Control [59.954322727683746]
Face-Adapterは、事前訓練された拡散モデルのための高精度で忠実な顔編集のために設計されている。
Face-Adapterは、モーションコントロールの精度、ID保持能力、生成品質の点で同等またはそれ以上の性能を達成する。
論文 参考訳（メタデータ） (2024-05-21T17:50:12Z) - DisControlFace: Adding Disentangled Control to Diffusion Autoencoder for One-shot Explicit Facial Image Editing [14.537856326925178]
我々は、生成的顔画像編集のきめ細かい制御の探索に焦点をあてる。
本稿では,DisControlFaceという,拡散に基づく新しい編集フレームワークを提案する。
我々のモデルは、3Dやビデオデータを必要とすることなく、2Dインザワイルドなポートレート画像を用いて訓練することができる。
論文 参考訳（メタデータ） (2023-12-11T08:16:55Z) - StyleGANEX: StyleGAN-Based Manipulation Beyond Cropped Aligned Faces [103.54337984566877]
拡張畳み込みを用いて、モデルパラメータを変更することなく、StyleGANの浅い層の受容場を再スケールする。
これにより、浅い層における固定サイズの小さなフィーチャを、可変解像度に対応できるより大きなものへと拡張することができる。
本手法は,多様な顔操作タスクにおいて,様々な解像度の顔入力を用いて検証する。
論文 参考訳（メタデータ） (2023-03-10T18:59:33Z) - Towards Counterfactual Image Manipulation via CLIP [106.94502632502194]
既存の方法は、顔画像の年齢や性別など、さまざまな視覚特性をリアルに編集することができる。
コントラスト・ランゲージ・イメージ・プレトレーニング(CLIP)を用いたテキスト駆動方式でこの問題を考察する。
定義済みのCLIP空間の方向を利用して、異なる視点から所望の方向に向けて編集を誘導する新しいコントラスト損失を設計する。
論文 参考訳（メタデータ） (2022-07-06T17:02:25Z) - IA-FaceS: A Bidirectional Method for Semantic Face Editing [8.19063619210761]
本稿では,顔属性の非交叉操作とフレキシブルかつ制御可能なコンポーネント編集のための双方向手法を提案する。
IA-FaceSは、セグメンテーションマスクやスケッチのような入力視覚的なガイダンスなしで初めて開発された。
定量的および定性的な結果から,提案手法は再構成,顔属性操作,コンポーネント転送において,他の手法よりも優れていたことが示唆された。
論文 参考訳（メタデータ） (2022-03-24T14:44:56Z) - FaceController: Controllable Attribute Editing for Face in the Wild [74.56117807309576]
単純なフィードフォワードネットワークを提案し、高忠実度な顔を生成する。
本手法では,既存かつ容易に把握可能な事前情報を利用することで,野生の多様な顔属性の制御,転送,編集を行うことができる。
本手法では,3Dプリミティブを用いてアイデンティティ,表現,ポーズ,イルミネーションを分離し,地域別スタイルコードを用いてテクスチャとカラーを分離する。
論文 参考訳（メタデータ） (2021-02-23T02:47:28Z) - S2FGAN: Semantically Aware Interactive Sketch-to-Face Translation [11.724779328025589]
本稿では,S2FGANと呼ばれるスケッチ・ツー・イメージ生成フレームワークを提案する。
我々は2つの潜在空間を用いて顔の外観を制御し、生成した顔の所望の属性を調整する。
提案手法は,属性強度の制御性を高めることで,属性操作における最先端の手法よりも優れた性能を発揮する。
論文 参考訳（メタデータ） (2020-11-30T13:42:39Z) - MagGAN: High-Resolution Face Attribute Editing with Mask-Guided
Generative Adversarial Network [145.4591079418917]
MagGANは、望ましい属性変更に関連する顔の部分のみを編集することを学ぶ。
各属性変更の影響領域をジェネレータに組み込むために、新しいマスク誘導条件付け戦略を導入する。
高解像度(1024×1024$)の顔編集のために,マルチレベルパッチワイド識別器構造を提案する。
論文 参考訳（メタデータ） (2020-10-03T20:56:16Z) - Reference-guided Face Component Editing [51.29105560090321]
本稿では,多様かつ制御可能な顔コンポーネント編集のためのr-FACE (Reference-guided FAce Component Editing) という新しいフレームワークを提案する。
具体的には、r-FACEは、顔成分の形状を制御する条件として参照画像を利用して、画像の塗装モデルをバックボーンとして利用する。
フレームワークが対象の顔成分に集中するよう促すため、基準画像から抽出した注目特徴と対象の顔成分特徴とを融合させるために、サンプル誘導注意モジュールが設計されている。
論文 参考訳（メタデータ） (2020-06-03T05:34:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。