論文の概要: Tensor-based Emotion Editing in the StyleGAN Latent Space
- arxiv url: http://arxiv.org/abs/2205.06102v1
- Date: Thu, 12 May 2022 14:10:45 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-13 13:40:50.203478
- Title: Tensor-based Emotion Editing in the StyleGAN Latent Space
- Title（参考訳）: スタイルGAN潜時空間におけるテンソルに基づく感情編集
- Authors: Ren\'e Haas, Stella Gra{\ss}hof, and Sami S. Brandt
- Abstract要約: 我々は、高次特異値分解(HOSVD)に基づくテンソルモデルを用いて、生成逆数ネットワークにおける意味的な方向を検出する。
具体的には、怒り、嫌悪、恐怖、幸福、悲しみ、驚きの6つの原型的感情に対応する潜伏空間の方向を発見する。
これらの潜在空間方向は、実顔画像の表情やヨー回転を変えるために用いられる。
- 参考スコア（独自算出の注目度）: 1.5749416770494706
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we use a tensor model based on the Higher-Order Singular Value
Decomposition (HOSVD) to discover semantic directions in Generative Adversarial
Networks. This is achieved by first embedding a structured facial expression
database into the latent space using the e4e encoder. Specifically, we discover
directions in latent space corresponding to the six prototypical emotions:
anger, disgust, fear, happiness, sadness, and surprise, as well as a direction
for yaw rotation. These latent space directions are employed to change the
expression or yaw rotation of real face images. We compare our found directions
to similar directions found by two other methods. The results show that the
visual quality of the resultant edits are on par with State-of-the-Art. It can
also be concluded that the tensor-based model is well suited for emotion and
yaw editing, i.e., that the emotion or yaw rotation of a novel face image can
be robustly changed without a significant effect on identity or other
attributes in the images.
- Abstract（参考訳）: 本稿では,高次特異値分解(HOSVD)に基づくテンソルモデルを用いて,生成逆数ネットワークにおける意味的方向を検出する。
これは、最初にe4eエンコーダを使用して構造化された表情データベースを潜在空間に埋め込むことによって達成される。
具体的には,怒り,嫌悪感,恐怖,幸福,悲しみ,驚きの6つの感情に対応する潜伏空間の方向と,ヨー回転の方向を見出す。
これらの潜在空間方向は、実顔画像の表現やヨー回転を変えるために用いられる。
得られた方向を、他の2つの方法による類似の方向と比較する。
その結果,結果の視覚的品質はState-of-the-Artと同等であった。
また、テンソルに基づくモデルは、感情やヨー編集に適しており、新しい顔画像の感情やヨー回転は、画像のアイデンティティや他の属性に大きな影響を与えることなく、頑健に変化することができると結論付けることもできる。
関連論文リスト
- Emotion-Controllable Generalized Talking Face Generation [6.22276955954213]
顔形状を意識した感情音声生成手法を提案する。
本手法は,中性感情における対象の個人像を1枚だけ微調整することで,任意の顔に適応することができる。
論文 参考訳（メタデータ） (2022-05-02T18:41:36Z) - Grasping the Arrow of Time from the Singularity: Decoding Micromotion in
Low-dimensional Latent Spaces from StyleGAN [105.99762358450633]
顔生成のためのStyleGAN-v2モデルの潜在空間から抽出した低ランク空間で「マイクロモーション」を表現できることを示す。
これは、その潜在的特徴に対するアフィン変換として単純なものとして表すことができる。
局所的な特徴幾何は、ある種類のマイクロモーションに対応し、異なる顔の被写体に整列していることが示される。
論文 参考訳（メタデータ） (2022-04-27T04:38:39Z) - EMOCA: Emotion Driven Monocular Face Capture and Animation [59.15004328155593]
本稿では,学習中の感情の深層的一貫性を損なうことによって,再構成された3次元表現が入力画像に表現された表現と一致することを確実にする。
In-the-wild emotion recognitionのタスクでは、人間の行動を分析する上での3D幾何の価値を強調しながら、最も優れた画像ベースの手法と同等に幾何学的アプローチを実践しています。
論文 参考訳（メタデータ） (2022-04-24T15:58:35Z) - Altering Facial Expression Based on Textual Emotion [0.19573380763700707]
我々はGAN(Generative Adversarial Network)を用いて画像中の表情を変化させることを目指している。
与えられたテキストから感情によって示されるイメージの表情をモデル化することで、作業を拡張します。
作業パイプラインのデモとして、異なる表現でプロファイルイメージを再生するブログのアプリケーションプロトタイプを作成しました。
論文 参考訳（メタデータ） (2021-12-02T17:52:25Z) - SOLVER: Scene-Object Interrelated Visual Emotion Reasoning Network [83.27291945217424]
画像から感情を予測するために,SOLVER(Scene-Object Interrelated Visual Emotion Reasoning Network)を提案する。
異なるオブジェクト間の感情関係を掘り下げるために、まずセマンティックな概念と視覚的特徴に基づいて感情グラフを構築します。
また、シーンとオブジェクトを統合するScene-Object Fusion Moduleを設計し、シーンの特徴を利用して、提案したシーンベースのアテンションメカニズムでオブジェクトの特徴の融合プロセスを導出する。
論文 参考訳（メタデータ） (2021-10-24T02:41:41Z) - Pose with Style: Detail-Preserving Pose-Guided Image Synthesis with
Conditional StyleGAN [88.62422914645066]
任意のポーズで1つの画像から人物を再レンダリングするアルゴリズムを提案する。
既存の方法では、画像の同一性や細部を保ちながら、隠蔽されたコンテンツを写実的に幻覚することはしばしば困難である。
本手法は, 定量的評価と視覚的比較の両方において, 最先端のアルゴリズムと良好に比較できることを示す。
論文 参考訳（メタデータ） (2021-09-13T17:59:33Z) - Learned Spatial Representations for Few-shot Talking-Head Synthesis [68.3787368024951]
複数発話頭合成のための新しいアプローチを提案する。
この異方性表現は,従来の手法よりも大幅に改善されることを示す。
論文 参考訳（メタデータ） (2021-04-29T17:59:42Z) - VariTex: Variational Neural Face Textures [0.0]
VariTexは、ニューラルフェイステクスチャの変動潜在特徴空間を学習する手法である。
頭部の完全な画像を生成するために,毛髪などの正確な詳細情報を生成する付加デコーダを提案する。
その結果、顔のポーズ、顔の形状、表情の微粒度を制御できる新しいアイデンティティの幾何学的に一貫性のある画像を生成することができる。
論文 参考訳（メタデータ） (2021-04-13T07:47:53Z) - HumanGPS: Geodesic PreServing Feature for Dense Human Correspondences [60.89437526374286]
先行芸術はフレーム間の小さな動きを仮定するか、または大きな動きや視覚的に曖昧な身体部分を扱うことができないローカル記述子に依存します。
本稿では,各画素を特徴空間にマッピングし,特徴距離が画素間の測地距離を反映する深層学習フレームワークを提案する。
セマンティックアノテーションがなければ、提案する埋め込みは自動的に学習し、視覚的に類似した部分を区別し、異なる主題を統一された機能空間にまとめる。
論文 参考訳（メタデータ） (2021-03-29T12:43:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。