論文の概要: UP-FacE: User-predictable Fine-grained Face Shape Editing
- arxiv url: http://arxiv.org/abs/2403.13972v3
- Date: Thu, 11 Jul 2024 16:22:27 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-12 22:57:45.297814
- Title: UP-FacE: User-predictable Fine-grained Face Shape Editing
- Title（参考訳）: UP-FacE: ユーザー予測可能なきめ細かい顔の形状編集
- Authors: Florian Strohm, Mihai Bâce, Andreas Bulling,
- Abstract要約: ユーザ予測可能な顔編集(UP-FacE)を提案する。
試行錯誤による既存の顔編集法とは対照的に、UP-FacEによる編集は人間の手で予測可能である。
- 参考スコア（独自算出の注目度）: 12.361829928359136
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: We present User-predictable Face Editing (UP-FacE) -- a novel method for predictable face shape editing. In stark contrast to existing methods for face editing using trial and error, edits with UP-FacE are predictable by the human user. That is, users can control the desired degree of change precisely and deterministically and know upfront the amount of change required to achieve a certain editing result. Our method leverages facial landmarks to precisely measure facial feature values, facilitating the training of UP-FacE without manually annotated attribute labels. At the core of UP-FacE is a transformer-based network that takes as input a latent vector from a pre-trained generative model and a facial feature embedding, and predicts a suitable manipulation vector. To enable user-predictable editing, a scaling layer adjusts the manipulation vector to achieve the precise desired degree of change. To ensure that the desired feature is manipulated towards the target value without altering uncorrelated features, we further introduce a novel semantic face feature loss. Qualitative and quantitative results demonstrate that UP-FacE enables precise and fine-grained control over 23 face shape features.
- Abstract（参考訳）: ユーザ予測可能な顔編集(UP-FacE)を提案する。
試行錯誤による既存の顔編集法とは対照的に、UP-FacEによる編集は人間の手で予測可能である。
すなわち、ユーザーは所望の変化度を正確に、決定的に制御でき、ある編集結果を達成するのに必要な変更量を前もって知ることができる。
本手法は顔の特徴量を正確に測定するために顔のランドマークを活用し,手動でアノテートした属性ラベルを使わずにUP-FacEのトレーニングを容易にする。
UP-FacEのコアは、事前訓練された生成モデルと顔の特徴埋め込みから潜伏ベクトルを入力として、適切な操作ベクトルを予測するトランスフォーマーベースのネットワークである。
ユーザ予測可能な編集を可能にするため、スケーリング層は操作ベクトルを調整し、正確な所望の変化度を達成する。
非相関な特徴を変化させることなく、所望の特徴が目標値に向けて操作されることを保証するため、新たな意味的顔の特徴損失を導入する。
定性的かつ定量的な結果は、UP-FacEが23の顔形状の特徴を正確にきめ細かな制御を可能にすることを示している。
関連論文リスト
- Learning Where to Edit Vision Transformers [27.038720045544867]
コンピュータビジョンにおける視覚変換器(ViT)の編集のための位置情報編集手法を提案する。
我々はまず、CutMix拡張データ上でハイパーネットワークをメタラーニングすることで、位置から編集までの課題に対処する。
提案手法を検証するため, サブポピュレーションシフトを導入した編集ベンチマークを構築した。
論文 参考訳（メタデータ） (2024-11-04T10:17:40Z) - Face Adapter for Pre-Trained Diffusion Models with Fine-Grained ID and Attribute Control [59.954322727683746]
Face-Adapterは、事前訓練された拡散モデルのための高精度で忠実な顔編集のために設計されている。
Face-Adapterは、モーションコントロールの精度、ID保持能力、生成品質の点で同等またはそれ以上の性能を達成する。
論文 参考訳（メタデータ） (2024-05-21T17:50:12Z) - DisControlFace: Adding Disentangled Control to Diffusion Autoencoder for One-shot Explicit Facial Image Editing [14.537856326925178]
我々は、生成的顔画像編集のきめ細かい制御の探索に焦点をあてる。
本稿では,DisControlFaceという,拡散に基づく新しい編集フレームワークを提案する。
我々のモデルは、3Dやビデオデータを必要とすることなく、2Dインザワイルドなポートレート画像を用いて訓練することができる。
論文 参考訳（メタデータ） (2023-12-11T08:16:55Z) - StyleGANEX: StyleGAN-Based Manipulation Beyond Cropped Aligned Faces [103.54337984566877]
拡張畳み込みを用いて、モデルパラメータを変更することなく、StyleGANの浅い層の受容場を再スケールする。
これにより、浅い層における固定サイズの小さなフィーチャを、可変解像度に対応できるより大きなものへと拡張することができる。
本手法は,多様な顔操作タスクにおいて,様々な解像度の顔入力を用いて検証する。
論文 参考訳（メタデータ） (2023-03-10T18:59:33Z) - Towards Counterfactual Image Manipulation via CLIP [106.94502632502194]
既存の方法は、顔画像の年齢や性別など、さまざまな視覚特性をリアルに編集することができる。
コントラスト・ランゲージ・イメージ・プレトレーニング(CLIP)を用いたテキスト駆動方式でこの問題を考察する。
定義済みのCLIP空間の方向を利用して、異なる視点から所望の方向に向けて編集を誘導する新しいコントラスト損失を設計する。
論文 参考訳（メタデータ） (2022-07-06T17:02:25Z) - IA-FaceS: A Bidirectional Method for Semantic Face Editing [8.19063619210761]
本稿では,顔属性の非交叉操作とフレキシブルかつ制御可能なコンポーネント編集のための双方向手法を提案する。
IA-FaceSは、セグメンテーションマスクやスケッチのような入力視覚的なガイダンスなしで初めて開発された。
定量的および定性的な結果から,提案手法は再構成,顔属性操作,コンポーネント転送において,他の手法よりも優れていたことが示唆された。
論文 参考訳（メタデータ） (2022-03-24T14:44:56Z) - FaceController: Controllable Attribute Editing for Face in the Wild [74.56117807309576]
単純なフィードフォワードネットワークを提案し、高忠実度な顔を生成する。
本手法では,既存かつ容易に把握可能な事前情報を利用することで,野生の多様な顔属性の制御,転送,編集を行うことができる。
本手法では,3Dプリミティブを用いてアイデンティティ,表現,ポーズ,イルミネーションを分離し,地域別スタイルコードを用いてテクスチャとカラーを分離する。
論文 参考訳（メタデータ） (2021-02-23T02:47:28Z) - S2FGAN: Semantically Aware Interactive Sketch-to-Face Translation [11.724779328025589]
本稿では,S2FGANと呼ばれるスケッチ・ツー・イメージ生成フレームワークを提案する。
我々は2つの潜在空間を用いて顔の外観を制御し、生成した顔の所望の属性を調整する。
提案手法は,属性強度の制御性を高めることで,属性操作における最先端の手法よりも優れた性能を発揮する。
論文 参考訳（メタデータ） (2020-11-30T13:42:39Z) - MagGAN: High-Resolution Face Attribute Editing with Mask-Guided
Generative Adversarial Network [145.4591079418917]
MagGANは、望ましい属性変更に関連する顔の部分のみを編集することを学ぶ。
各属性変更の影響領域をジェネレータに組み込むために、新しいマスク誘導条件付け戦略を導入する。
高解像度(1024×1024$)の顔編集のために,マルチレベルパッチワイド識別器構造を提案する。
論文 参考訳（メタデータ） (2020-10-03T20:56:16Z) - Reference-guided Face Component Editing [51.29105560090321]
本稿では,多様かつ制御可能な顔コンポーネント編集のためのr-FACE (Reference-guided FAce Component Editing) という新しいフレームワークを提案する。
具体的には、r-FACEは、顔成分の形状を制御する条件として参照画像を利用して、画像の塗装モデルをバックボーンとして利用する。
フレームワークが対象の顔成分に集中するよう促すため、基準画像から抽出した注目特徴と対象の顔成分特徴とを融合させるために、サンプル誘導注意モジュールが設計されている。
論文 参考訳（メタデータ） (2020-06-03T05:34:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。