論文の概要: FEAT: Face Editing with Attention
- arxiv url: http://arxiv.org/abs/2202.02713v1
- Date: Sun, 6 Feb 2022 06:07:34 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-08 16:41:12.189503
- Title: FEAT: Face Editing with Attention
- Title（参考訳）: FEAT: 注意して顔編集
- Authors: Xianxu Hou, Linlin Shen, Or Patashnik, Daniel Cohen-Or, Hui Huang
- Abstract要約: StyleGAN ジェネレータ上に構築し,顔の操作を意図した領域に集中させる手法を提案する。
編集された画像の生成中、アテンションマップは、元の特徴と修正された特徴とのブレンドをガイドするマスクとして機能する。
- 参考スコア（独自算出の注目度）: 70.89233432407305
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Employing the latent space of pretrained generators has recently been shown
to be an effective means for GAN-based face manipulation. The success of this
approach heavily relies on the innate disentanglement of the latent space axes
of the generator. However, face manipulation often intends to affect local
regions only, while common generators do not tend to have the necessary spatial
disentanglement. In this paper, we build on the StyleGAN generator, and present
a method that explicitly encourages face manipulation to focus on the intended
regions by incorporating learned attention maps. During the generation of the
edited image, the attention map serves as a mask that guides a blending between
the original features and the modified ones. The guidance for the latent space
edits is achieved by employing CLIP, which has recently been shown to be
effective for text-driven edits. We perform extensive experiments and show that
our method can perform disentangled and controllable face manipulations based
on text descriptions by attending to the relevant regions only. Both
qualitative and quantitative experimental results demonstrate the superiority
of our method for facial region editing over alternative methods.
- Abstract（参考訳）: 予め訓練された発電機の潜伏空間を利用することは、GANベースの顔操作に有効な手段であることが最近示されている。
このアプローチの成功は、発電機の潜在空間軸の不連続性に大きく依存している。
しかし、顔操作は、しばしば局所的な領域のみに影響を及ぼそうとするが、共通のジェネレータは、必要な空間的絡み合いを持たない傾向がある。
本稿では,StyleGANジェネレータ上に構築し,学習された注意マップを組み込むことで,顔操作を意図した領域に集中させる手法を提案する。
編集された画像の生成中、アテンションマップは、元の特徴と修正された特徴とのブレンドをガイドするマスクとして機能する。
潜在空間編集のためのガイダンスは、最近テキスト駆動編集に有効であることが示されているCLIPを採用することで達成されている。
提案手法は,テキスト記述に基づくアンタングル・制御可能な顔操作を,関連領域にのみ参加して行うことができることを示す。
定性的および定量的な実験結果から,顔領域編集法が代替手法よりも優れていることが示された。
関連論文リスト
- Revealing Directions for Text-guided 3D Face Editing [52.85632020601518]
3次元顔編集はマルチメディアにおいて重要な課題であり、様々な制御信号間での3次元顔モデルの操作を目的としている。
任意の属性記述に基づく3次元顔の生成と操作のためのテキスト汎用アプローチであるFace Clanを提案する。
本手法は,ユーザがテキスト記述で興味のある領域を直感的にカスタマイズできる,正確に制御可能な操作方法を提供する。
論文 参考訳（メタデータ） (2024-10-07T12:04:39Z) - ZONE: Zero-Shot Instruction-Guided Local Editing [56.56213730578504]
ゼロショットインストラクションを用いた局所画像編集手法ZONEを提案する。
InstructPix2Pixを通してユーザが提供する命令から特定の画像編集領域に変換する。
次に,オフザシェルフセグメントモデルから正確な画像層抽出を行う領域IoU方式を提案する。
論文 参考訳（メタデータ） (2023-12-28T02:54:34Z) - LC-NeRF: Local Controllable Face Generation in Neural Randiance Field [55.54131820411912]
LC-NeRFは、ローカルリージョンジェネレータモジュールと空間認識融合モジュールで構成される。
本手法は,最先端の顔編集法よりも局所的な編集が優れている。
また,テキスト駆動型顔画像編集など,下流のタスクでもよく機能する。
論文 参考訳（メタデータ） (2023-02-19T05:50:08Z) - Video2StyleGAN: Disentangling Local and Global Variations in a Video [68.70889857355678]
StyleGANは、顔編集の強力なパラダイムとして登場し、年齢、表現、照明などに対する混乱したコントロールを提供する。
我々は,対象画像の同一性において,運転映像の局所的およびグローバル的位置と表現を再現するために,対象画像と運転映像を撮影するVideo2StyleGANを紹介する。
論文 参考訳（メタデータ） (2022-05-27T14:18:19Z) - Perceptually Validated Precise Local Editing for Facial Action Units
with StyleGAN [3.8149289266694466]
顔のセマンティックな操作に広く用いられているStyleGANに基づくソリューションを構築した。
そこで本研究では,潜在空間における編集を行うための単純な戦略が,特定のアクションユニット間の不要な結合をもたらすことを示す。
23名の被験者による知覚実験により局所的編集法の有効性を検証した。
論文 参考訳（メタデータ） (2021-07-26T12:21:37Z) - Pivotal Tuning for Latent-based Editing of Real Images [40.22151052441958]
事前訓練されたStyleGANの生成力を利用する高度な顔編集技術が提案されている。
このような方法で画像の編集を成功させるためには、最初に訓練済みのジェネレータのドメインに画像を投影(あるいは反転)する必要がある。
これは、ジェネレータの領域外にある顔に対して、ID保存の顔潜時空間編集を適用することは依然として困難であることを意味する。
論文 参考訳（メタデータ） (2021-06-10T13:47:59Z) - FaceController: Controllable Attribute Editing for Face in the Wild [74.56117807309576]
単純なフィードフォワードネットワークを提案し、高忠実度な顔を生成する。
本手法では,既存かつ容易に把握可能な事前情報を利用することで,野生の多様な顔属性の制御,転送,編集を行うことができる。
本手法では,3Dプリミティブを用いてアイデンティティ,表現,ポーズ,イルミネーションを分離し,地域別スタイルコードを用いてテクスチャとカラーを分離する。
論文 参考訳（メタデータ） (2021-02-23T02:47:28Z) - Toward Fine-grained Facial Expression Manipulation [20.226370494178617]
従来の方法は、個別の感情ラベルまたは絶対条件に基づいて入力画像を編集し、所望の表現を保持する。
連続絶対条件を相対的条件、特に相対的作用単位に置き換える。
相対作用単位を用いて、ジェネレータは、非ゼロ値の相対AUによって指定される関心領域のみを変換することを学ぶ。
論文 参考訳（メタデータ） (2020-04-07T05:14:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。