論文の概要: My Emotion on your face: The use of Facial Keypoint Detection to preserve Emotions in Latent Space Editing

• arxiv url: http://arxiv.org/abs/2505.06436v1
• Date: Fri, 09 May 2025 21:10:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-13 20:21:48.84104
• Title: My Emotion on your face: The use of Facial Keypoint Detection to preserve Emotions in Latent Space Editing
• Title（参考訳）: I Emotion on your face: The use of Facial Keypoint Detection for Emotions in Latent Space Editing
• Authors: Jingrui He, Andrew Stephen McGough,
• Abstract要約: 顔表情の変化を制限するために,顔のキーポイント検出モデルの損失関数の追加を提案する。 実験では,感情変化の最大49%の減少が達成された。
• 参考スコア（独自算出の注目度）: 40.24695765468971
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Generative Adversarial Network approaches such as StyleGAN/2 provide two key benefits: the ability to generate photo-realistic face images and possessing a semantically structured latent space from which these images are created. Many approaches have emerged for editing images derived from vectors in the latent space of a pre-trained StyleGAN/2 models by identifying semantically meaningful directions (e.g., gender or age) in the latent space. By moving the vector in a specific direction, the ideal result would only change the target feature while preserving all the other features. Providing an ideal data augmentation approach for gesture research as it could be used to generate numerous image variations whilst keeping the facial expressions intact. However, entanglement issues, where changing one feature inevitably affects other features, impacts the ability to preserve facial expressions. To address this, we propose the use of an addition to the loss function of a Facial Keypoint Detection model to restrict changes to the facial expressions. Building on top of an existing model, adding the proposed Human Face Landmark Detection (HFLD) loss, provided by a pre-trained Facial Keypoint Detection model, to the original loss function. We quantitatively and qualitatively evaluate the existing and our extended model, showing the effectiveness of our approach in addressing the entanglement issue and maintaining the facial expression. Our approach achieves up to 49% reduction in the change of emotion in our experiments. Moreover, we show the benefit of our approach by comparing with state-of-the-art models. By increasing the ability to preserve the facial gesture and expression during facial transformation, we present a way to create human face images with fixed expression but different appearances, making it a reliable data augmentation approach for Facial Gesture and Expression research.
• Abstract（参考訳）: StyleGAN/2のような生成Adversarial Networkアプローチは、フォトリアリスティックな顔画像を生成する機能と、これらの画像が生成される意味的に構造化された潜在空間を持つ2つの主要な利点を提供する。 事前訓練されたStyleGAN/2モデルの潜時空間のベクトルから派生した画像の編集には、潜時空間における意味論的意味のある方向(例えば、性別、年齢)を特定することで、多くのアプローチが登場した。 ベクトルを特定の方向に移動させることで、理想的な結果は、他のすべての特徴を保存しながら、ターゲットのフィーチャだけを変更します。 顔の表情をそのまま保ちながら、多数の画像のバリエーションを生成するために、ジェスチャー研究に理想的なデータ拡張アプローチを提供する。 しかし、ある特徴の変更が他の特徴に必然的に影響を及ぼすという絡み合いの問題は、表情の保存能力に影響を及ぼす。 これを解決するために,顔表情の変化を制限するために,顔のキーポイント検出モデルの損失関数の追加を提案する。 既存のモデルの上に構築され、トレーニング済みの顔キーポイント検出モデルによって提供されるHFLD(Human Face Landmark Detection)損失を、元のロス関数に追加する。 既存のモデルと拡張モデルを定量的に定性的に評価し, 絡み合う問題に対処し, 表情を維持する上でのアプローチの有効性を示した。 実験では,感情変化の最大49%の減少が達成された。 さらに, 最先端モデルとの比較により, 提案手法の利点を示す。 顔の変形に伴う顔のジェスチャーと表情の保存能力を高めることにより,顔の表情が一定だが外観が異なる人間の顔画像を作成する方法が提案され,顔のジェスチャーと表情の研究に信頼性の高いデータ拡張アプローチとなる。

関連論文リスト

• Towards Localized Fine-Grained Control for Facial Expression Generation [54.82883891478555]
  人間、特にその顔は、豊かな表現と意図を伝える能力のために、コンテンツ生成の中心である。 現在の生成モデルは、主に平らな中立表現と文字なしの笑顔を認証なしで生成する。 顔生成における表情制御におけるAU(アクションユニット)の利用を提案する。
  論文  参考訳（メタデータ） (2024-07-25T18:29:48Z)
• Subjective Face Transform using Human First Impressions [4.6852346957345015]
  この研究は生成モデルを用いて、認識属性を変更する顔画像に意味論的に意味のある編集を見つける。 我々は、実際の顔と合成顔のトレーニングを行い、予測モデルと人間の評価を用いてドメイン内画像とドメイン外画像の評価を行う。
  論文  参考訳（メタデータ） (2023-09-27T03:21:07Z)
• Emotion Separation and Recognition from a Facial Expression by Generating the Poker Face with Vision Transformers [57.1091606948826]
  我々はこれらの課題に対処するため,ポーカー・フェイス・ビジョン・トランスフォーマー (PF-ViT) と呼ばれる新しいFERモデルを提案する。 PF-ViTは、対応するポーカーフェースを生成して、乱れを認識できない感情を静的な顔画像から分離し、認識することを目的としている。 PF-ViTはバニラビジョントランスフォーマーを使用し、そのコンポーネントは大規模な表情データセット上でMasked Autoencodeerとして事前トレーニングされている。
  論文  参考訳（メタデータ） (2022-07-22T13:39:06Z)
• Graph-based Generative Face Anonymisation with Pose Preservation [49.18049578591058]
  AnonyGANは、顔の匿名化のためのGANベースのソリューションである。 ソースアイデンティティに対応する視覚情報を、任意の単一のイメージとして提供される条件IDに置き換える。
  論文  参考訳（メタデータ） (2021-12-10T12:58:17Z)
• Learning Facial Representations from the Cycle-consistency of Face [23.23272327438177]
  顔特徴の周期一貫性を自由監督信号として導入し、ラベルのない顔画像から顔の表情を学習する。 この学習は、顔の動きサイクルの制約とアイデンティティのサイクルの制約を重畳することによって実現される。 我々のアプローチは既存の手法と競合し、アンタングル表現に埋め込まれたリッチでユニークな情報を実証する。
  論文  参考訳（メタデータ） (2021-08-07T11:30:35Z)
• S2FGAN: Semantically Aware Interactive Sketch-to-Face Translation [11.724779328025589]
  本稿では,S2FGANと呼ばれるスケッチ・ツー・イメージ生成フレームワークを提案する。 我々は2つの潜在空間を用いて顔の外観を制御し、生成した顔の所望の属性を調整する。 提案手法は,属性強度の制御性を高めることで,属性操作における最先端の手法よりも優れた性能を発揮する。
  論文  参考訳（メタデータ） (2020-11-30T13:42:39Z)
• InterFaceGAN: Interpreting the Disentangled Face Representation Learned by GANs [73.27299786083424]
  我々は、最先端のGANモデルによって学習された不整合顔表現を解釈するInterFaceGANというフレームワークを提案する。 まず、GANは潜在空間の線型部分空間で様々な意味学を学ぶ。 次に、異なる意味論間の相関関係について詳細な研究を行い、部分空間射影を通してそれらをよりよく解離させる。
  論文  参考訳（メタデータ） (2020-05-18T18:01:22Z)
• Real-time Facial Expression Recognition "In The Wild'' by Disentangling 3D Expression from Identity [6.974241731162878]
  本稿では,1枚のRGB画像から人間の感情認識を行う新しい手法を提案する。 顔のダイナミックス、アイデンティティ、表情、外観、3Dポーズのバリエーションに富んだ大規模な顔ビデオデータセットを構築した。 提案するフレームワークは毎秒50フレームで動作し、3次元表現変動のパラメータを頑健に推定することができる。
  論文  参考訳（メタデータ） (2020-05-12T01:32:55Z)
• Dual-Attention GAN for Large-Pose Face Frontalization [59.689836951934694]
  本稿では,フォトリアリスティック顔フロンダル化のためのDA-GAN(Dual-Attention Generative Adversarial Network)を提案する。 具体的には、ローカル機能と長距離依存関係を統合するために、自己アテンションベースのジェネレータが導入された。 顔領域の局所的特徴を強調するために,新しい顔認識に基づく識別器を適用した。
  論文  参考訳（メタデータ） (2020-02-17T20:00:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。