論文の概要: Tensor-based Emotion Editing in the StyleGAN Latent Space
- arxiv url: http://arxiv.org/abs/2205.06102v1
- Date: Thu, 12 May 2022 14:10:45 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-13 13:40:50.203478
- Title: Tensor-based Emotion Editing in the StyleGAN Latent Space
- Title（参考訳）: スタイルGAN潜時空間におけるテンソルに基づく感情編集
- Authors: Ren\'e Haas, Stella Gra{\ss}hof, and Sami S. Brandt
- Abstract要約: 我々は、高次特異値分解(HOSVD)に基づくテンソルモデルを用いて、生成逆数ネットワークにおける意味的な方向を検出する。
具体的には、怒り、嫌悪、恐怖、幸福、悲しみ、驚きの6つの原型的感情に対応する潜伏空間の方向を発見する。
これらの潜在空間方向は、実顔画像の表情やヨー回転を変えるために用いられる。
- 参考スコア（独自算出の注目度）: 1.5749416770494706
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we use a tensor model based on the Higher-Order Singular Value
Decomposition (HOSVD) to discover semantic directions in Generative Adversarial
Networks. This is achieved by first embedding a structured facial expression
database into the latent space using the e4e encoder. Specifically, we discover
directions in latent space corresponding to the six prototypical emotions:
anger, disgust, fear, happiness, sadness, and surprise, as well as a direction
for yaw rotation. These latent space directions are employed to change the
expression or yaw rotation of real face images. We compare our found directions
to similar directions found by two other methods. The results show that the
visual quality of the resultant edits are on par with State-of-the-Art. It can
also be concluded that the tensor-based model is well suited for emotion and
yaw editing, i.e., that the emotion or yaw rotation of a novel face image can
be robustly changed without a significant effect on identity or other
attributes in the images.
- Abstract（参考訳）: 本稿では,高次特異値分解(HOSVD)に基づくテンソルモデルを用いて,生成逆数ネットワークにおける意味的方向を検出する。
これは、最初にe4eエンコーダを使用して構造化された表情データベースを潜在空間に埋め込むことによって達成される。
具体的には,怒り,嫌悪感,恐怖,幸福,悲しみ,驚きの6つの感情に対応する潜伏空間の方向と,ヨー回転の方向を見出す。
これらの潜在空間方向は、実顔画像の表現やヨー回転を変えるために用いられる。
得られた方向を、他の2つの方法による類似の方向と比較する。
その結果,結果の視覚的品質はState-of-the-Artと同等であった。
また、テンソルに基づくモデルは、感情やヨー編集に適しており、新しい顔画像の感情やヨー回転は、画像のアイデンティティや他の属性に大きな影響を与えることなく、頑健に変化することができると結論付けることもできる。
関連論文リスト
- Knowledge-Enhanced Facial Expression Recognition with Emotional-to-Neutral Transformation [66.53435569574135]
既存の表情認識法は、通常、個別のラベルを使って訓練済みのビジュアルエンコーダを微調整する。
視覚言語モデルによって生成されるテキスト埋め込みの豊富な知識は、識別的表情表現を学ぶための有望な代替手段である。
感情-中性変換を用いた知識強化FER法を提案する。
論文 参考訳（メタデータ） (2024-09-13T07:28:57Z) - Towards Localized Fine-Grained Control for Facial Expression Generation [54.82883891478555]
人間、特にその顔は、豊かな表現と意図を伝える能力のために、コンテンツ生成の中心である。
現在の生成モデルは、主に平らな中立表現と文字なしの笑顔を認証なしで生成する。
顔生成における表情制御におけるAU(アクションユニット)の利用を提案する。
論文 参考訳（メタデータ） (2024-07-25T18:29:48Z) - When StyleGAN Meets Stable Diffusion: a $\mathscr{W}_+$ Adapter for
Personalized Image Generation [60.305112612629465]
テキストと画像の拡散モデルは、多種多様で高品質でフォトリアリスティックな画像を生成するのに優れている。
本稿では,拡散モデルのための拡張されたアイデンティティ保存とアンタングル化を実現するために,StyleGAN 埋め込み空間 $mathcalW_+$ の新たな利用法を提案する。
提案手法は,即時記述に適合するだけでなく,一般的なスタイルGAN編集方向に対応可能なパーソナライズされたテキスト・ツー・イメージ出力を生成する。
論文 参考訳（メタデータ） (2023-11-29T09:05:14Z) - Face Attribute Editing with Disentangled Latent Vectors [0.0]
顔属性編集のための画像から画像への変換フレームワークを提案する。
固定事前学習されたGANの潜在空間因子化作業にインスパイアされ、潜在空間因子化による属性編集を設計する。
意味的に整理された潜在空間に画像を投影するために,注意に基づくスキップ接続を備えたエンコーダデコーダアーキテクチャを構築した。
論文 参考訳（メタデータ） (2023-01-11T18:32:13Z) - Semantic Unfolding of StyleGAN Latent Space [0.7646713951724012]
GAN(Generative Adversarial Network)は、入力された実画像に対応する潜伏符号を反転操作することによって、画像編集において驚くほど効率的であることが証明されている。
この編集性は、潜在空間の非絡み合いの性質から生じる。
本稿では, 顔属性のアンタングル化が最適ではないことを確認し, 線形属性分離に依存する顔の編集に欠陥があることを示す。
論文 参考訳（メタデータ） (2022-06-29T20:22:10Z) - Grasping the Arrow of Time from the Singularity: Decoding Micromotion in
Low-dimensional Latent Spaces from StyleGAN [105.99762358450633]
顔生成のためのStyleGAN-v2モデルの潜在空間から抽出した低ランク空間で「マイクロモーション」を表現できることを示す。
これは、その潜在的特徴に対するアフィン変換として単純なものとして表すことができる。
局所的な特徴幾何は、ある種類のマイクロモーションに対応し、異なる顔の被写体に整列していることが示される。
論文 参考訳（メタデータ） (2022-04-27T04:38:39Z) - EMOCA: Emotion Driven Monocular Face Capture and Animation [59.15004328155593]
本稿では,学習中の感情の深層的一貫性を損なうことによって,再構成された3次元表現が入力画像に表現された表現と一致することを確実にする。
In-the-wild emotion recognitionのタスクでは、人間の行動を分析する上での3D幾何の価値を強調しながら、最も優れた画像ベースの手法と同等に幾何学的アプローチを実践しています。
論文 参考訳（メタデータ） (2022-04-24T15:58:35Z) - Altering Facial Expression Based on Textual Emotion [0.19573380763700707]
我々はGAN(Generative Adversarial Network)を用いて画像中の表情を変化させることを目指している。
与えられたテキストから感情によって示されるイメージの表情をモデル化することで、作業を拡張します。
作業パイプラインのデモとして、異なる表現でプロファイルイメージを再生するブログのアプリケーションプロトタイプを作成しました。
論文 参考訳（メタデータ） (2021-12-02T17:52:25Z) - InterFaceGAN: Interpreting the Disentangled Face Representation Learned
by GANs [73.27299786083424]
我々は、最先端のGANモデルによって学習された不整合顔表現を解釈するInterFaceGANというフレームワークを提案する。
まず、GANは潜在空間の線型部分空間で様々な意味学を学ぶ。
次に、異なる意味論間の相関関係について詳細な研究を行い、部分空間射影を通してそれらをよりよく解離させる。
論文 参考訳（メタデータ） (2020-05-18T18:01:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。