論文の概要: Altering Facial Expression Based on Textual Emotion

• arxiv url: http://arxiv.org/abs/2112.01454v1
• Date: Thu, 2 Dec 2021 17:52:25 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-03 19:08:51.226802
• Title: Altering Facial Expression Based on Textual Emotion
• Title（参考訳）: テキスト感情に基づく顔表情の変化
• Authors: Mohammad Imrul Jubair, Md. Masud Rana, Md. Amir Hamza, Mohsena Ashraf, Fahim Ahsan Khan, Ahnaf Tahseen Prince
• Abstract要約: 我々はGAN(Generative Adversarial Network)を用いて画像中の表情を変化させることを目指している。 与えられたテキストから感情によって示されるイメージの表情をモデル化することで、作業を拡張します。 作業パイプラインのデモとして、異なる表現でプロファイルイメージを再生するブログのアプリケーションプロトタイプを作成しました。
• 参考スコア（独自算出の注目度）: 0.19573380763700707
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Faces and their expressions are one of the potent subjects for digital images. Detecting emotions from images is an ancient task in the field of computer vision; however, performing its reverse -- synthesizing facial expressions from images -- is quite new. Such operations of regenerating images with different facial expressions, or altering an existing expression in an image require the Generative Adversarial Network (GAN). In this paper, we aim to change the facial expression in an image using GAN, where the input image with an initial expression (i.e., happy) is altered to a different expression (i.e., disgusted) for the same person. We used StarGAN techniques on a modified version of the MUG dataset to accomplish this objective. Moreover, we extended our work further by remodeling facial expressions in an image indicated by the emotion from a given text. As a result, we applied a Long Short-Term Memory (LSTM) method to extract emotion from the text and forwarded it to our expression-altering module. As a demonstration of our working pipeline, we also create an application prototype of a blog that regenerates the profile picture with different expressions based on the user's textual emotion.
• Abstract（参考訳）: 顔とその表現はデジタル画像の強力な主題の1つである。 画像から感情を検出することは、コンピュータビジョンの分野では古くからあるタスクだが、その逆の -- 画像から表情を合成する -- ことは、非常に新しい。 表情の異なる画像の再生や画像内の既存の表現の変更を行うには、GAN(Generative Adversarial Network)が必要である。 本稿では,同一人物に対して初期表現(ハッピー)を有する入力画像が異なる表現(嫌悪感)に変化する場合,ganを用いて画像中の表情を変化させることを目的とする。 この目的を達成するために、MUGデータセットの修正版にStarGAN技術を使用した。 さらに,与えられたテキストから感情によって示される画像の表情をモデル化することで,作業をさらに拡張した。 その結果,Long Short-Term Memory (LSTM) 法を用いてテキストから感情を抽出し,表現変換モジュールに転送した。 作業パイプラインのデモンストレーションとして、ユーザのテキスト感情に基づいて、プロファイル画像を異なる表現で再生成する、ブログのアプリケーションプロトタイプを作成しました。

関連論文リスト

• Knowledge-Enhanced Facial Expression Recognition with Emotional-to-Neutral Transformation [66.53435569574135]
  既存の表情認識法は、通常、個別のラベルを使って訓練済みのビジュアルエンコーダを微調整する。 視覚言語モデルによって生成されるテキスト埋め込みの豊富な知識は、識別的表情表現を学ぶための有望な代替手段である。 感情-中性変換を用いた知識強化FER法を提案する。
  論文  参考訳（メタデータ） (2024-09-13T07:28:57Z)
• Towards Localized Fine-Grained Control for Facial Expression Generation [54.82883891478555]
  人間、特にその顔は、豊かな表現と意図を伝える能力のために、コンテンツ生成の中心である。 現在の生成モデルは、主に平らな中立表現と文字なしの笑顔を認証なしで生成する。 顔生成における表情制御におけるAU(アクションユニット)の利用を提案する。
  論文  参考訳（メタデータ） (2024-07-25T18:29:48Z)
• GaFET: Learning Geometry-aware Facial Expression Translation from In-The-Wild Images [55.431697263581626]
  本稿では,パラメトリックな3次元顔表現をベースとした新しい顔表情翻訳フレームワークを提案する。 我々は、最先端の手法と比較して、高品質で正確な表情伝達結果を実現し、様々なポーズや複雑なテクスチャの適用性を実証する。
  論文  参考訳（メタデータ） (2023-08-07T09:03:35Z)
• RePrompt: Automatic Prompt Editing to Refine AI-Generative Art Towards Precise Expressions [9.51095076299351]
  本研究では,生成した画像の正確な表現に向けて,テキストプロンプトを洗練するためのRePromptを開発する。 クラウドソースによる編集戦略に触発されて,名詞の数や具体性などの直感的なテキスト機能をキュレートした。 プロキシモデルのモデル説明を用いて,テキストプロンプトを調整し,正確な感情表現のための画像生成を最適化した。
  論文  参考訳（メタデータ） (2023-02-19T03:31:31Z)
• Emotion Separation and Recognition from a Facial Expression by Generating the Poker Face with Vision Transformers [57.1091606948826]
  我々はこれらの課題に対処するため,ポーカー・フェイス・ビジョン・トランスフォーマー (PF-ViT) と呼ばれる新しいFERモデルを提案する。 PF-ViTは、対応するポーカーフェースを生成して、乱れを認識できない感情を静的な顔画像から分離し、認識することを目的としている。 PF-ViTはバニラビジョントランスフォーマーを使用し、そのコンポーネントは大規模な表情データセット上でMasked Autoencodeerとして事前トレーニングされている。
  論文  参考訳（メタデータ） (2022-07-22T13:39:06Z)
• Emotion-Controllable Generalized Talking Face Generation [6.22276955954213]
  顔形状を意識した感情音声生成手法を提案する。 本手法は,中性感情における対象の個人像を1枚だけ微調整することで,任意の顔に適応することができる。
  論文  参考訳（メタデータ） (2022-05-02T18:41:36Z)
• LEED: Label-Free Expression Editing via Disentanglement [57.09545215087179]
  LEEDフレームワークは、表現ラベルを必要とせずに、前頭顔画像とプロファイル顔画像の両方の表現を編集することができる。 2つの新たな損失は、最適な表現の切り離しと一貫した合成のために設計されている。
  論文  参考訳（メタデータ） (2020-07-17T13:36:15Z)
• Facial Expression Editing with Continuous Emotion Labels [76.36392210528105]
  深層生成モデルは、自動表情編集の分野で素晴らしい成果を上げている。 連続した2次元の感情ラベルに従って顔画像の表情を操作できるモデルを提案する。
  論文  参考訳（メタデータ） (2020-06-22T13:03:02Z)
• Real-time Facial Expression Recognition "In The Wild'' by Disentangling 3D Expression from Identity [6.974241731162878]
  本稿では,1枚のRGB画像から人間の感情認識を行う新しい手法を提案する。 顔のダイナミックス、アイデンティティ、表情、外観、3Dポーズのバリエーションに富んだ大規模な顔ビデオデータセットを構築した。 提案するフレームワークは毎秒50フレームで動作し、3次元表現変動のパラメータを頑健に推定することができる。
  論文  参考訳（メタデータ） (2020-05-12T01:32:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。