論文の概要: Altering Facial Expression Based on Textual Emotion
- arxiv url: http://arxiv.org/abs/2112.01454v1
- Date: Thu, 2 Dec 2021 17:52:25 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-03 19:08:51.226802
- Title: Altering Facial Expression Based on Textual Emotion
- Title(参考訳): テキスト感情に基づく顔表情の変化
- Authors: Mohammad Imrul Jubair, Md. Masud Rana, Md. Amir Hamza, Mohsena Ashraf,
Fahim Ahsan Khan, Ahnaf Tahseen Prince
- Abstract要約: 我々はGAN(Generative Adversarial Network)を用いて画像中の表情を変化させることを目指している。
与えられたテキストから感情によって示されるイメージの表情をモデル化することで、作業を拡張します。
作業パイプラインのデモとして、異なる表現でプロファイルイメージを再生するブログのアプリケーションプロトタイプを作成しました。
- 参考スコア(独自算出の注目度): 0.19573380763700707
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Faces and their expressions are one of the potent subjects for digital
images. Detecting emotions from images is an ancient task in the field of
computer vision; however, performing its reverse -- synthesizing facial
expressions from images -- is quite new. Such operations of regenerating images
with different facial expressions, or altering an existing expression in an
image require the Generative Adversarial Network (GAN). In this paper, we aim
to change the facial expression in an image using GAN, where the input image
with an initial expression (i.e., happy) is altered to a different expression
(i.e., disgusted) for the same person. We used StarGAN techniques on a modified
version of the MUG dataset to accomplish this objective. Moreover, we extended
our work further by remodeling facial expressions in an image indicated by the
emotion from a given text. As a result, we applied a Long Short-Term Memory
(LSTM) method to extract emotion from the text and forwarded it to our
expression-altering module. As a demonstration of our working pipeline, we also
create an application prototype of a blog that regenerates the profile picture
with different expressions based on the user's textual emotion.
- Abstract(参考訳): 顔とその表現はデジタル画像の強力な主題の1つである。
画像から感情を検出することは、コンピュータビジョンの分野では古くからあるタスクだが、その逆の -- 画像から表情を合成する -- ことは、非常に新しい。
表情の異なる画像の再生や画像内の既存の表現の変更を行うには、GAN(Generative Adversarial Network)が必要である。
本稿では,同一人物に対して初期表現(ハッピー)を有する入力画像が異なる表現(嫌悪感)に変化する場合,ganを用いて画像中の表情を変化させることを目的とする。
この目的を達成するために、MUGデータセットの修正版にStarGAN技術を使用した。
さらに,与えられたテキストから感情によって示される画像の表情をモデル化することで,作業をさらに拡張した。
その結果,Long Short-Term Memory (LSTM) 法を用いてテキストから感情を抽出し,表現変換モジュールに転送した。
作業パイプラインのデモンストレーションとして、ユーザのテキスト感情に基づいて、プロファイル画像を異なる表現で再生成する、ブログのアプリケーションプロトタイプを作成しました。
関連論文リスト
- GaFET: Learning Geometry-aware Facial Expression Translation from
In-The-Wild Images [55.431697263581626]
本稿では,パラメトリックな3次元顔表現をベースとした新しい顔表情翻訳フレームワークを提案する。
我々は、最先端の手法と比較して、高品質で正確な表情伝達結果を実現し、様々なポーズや複雑なテクスチャの適用性を実証する。
論文 参考訳(メタデータ) (2023-08-07T09:03:35Z) - RePrompt: Automatic Prompt Editing to Refine AI-Generative Art Towards
Precise Expressions [9.51095076299351]
本研究では,生成した画像の正確な表現に向けて,テキストプロンプトを洗練するためのRePromptを開発する。
クラウドソースによる編集戦略に触発されて,名詞の数や具体性などの直感的なテキスト機能をキュレートした。
プロキシモデルのモデル説明を用いて,テキストプロンプトを調整し,正確な感情表現のための画像生成を最適化した。
論文 参考訳(メタデータ) (2023-02-19T03:31:31Z) - Emotion Separation and Recognition from a Facial Expression by
Generating the Poker Face with Vision Transformers [57.67586172996843]
静的な顔画像から外乱非依存の感情を分離し認識するための新しいFERモデルであるポーカー・フェイス・ビジョン・トランスフォーマー(PF-ViT)を提案する。
PF-ViTは、ペア画像なしで対応するポーカーフェイスを生成する。
論文 参考訳(メタデータ) (2022-07-22T13:39:06Z) - Emotion-Controllable Generalized Talking Face Generation [6.22276955954213]
顔形状を意識した感情音声生成手法を提案する。
本手法は,中性感情における対象の個人像を1枚だけ微調整することで,任意の顔に適応することができる。
論文 参考訳(メタデータ) (2022-05-02T18:41:36Z) - EMOCA: Emotion Driven Monocular Face Capture and Animation [59.15004328155593]
本稿では,学習中の感情の深層的一貫性を損なうことによって,再構成された3次元表現が入力画像に表現された表現と一致することを確実にする。
In-the-wild emotion recognitionのタスクでは、人間の行動を分析する上での3D幾何の価値を強調しながら、最も優れた画像ベースの手法と同等に幾何学的アプローチを実践しています。
論文 参考訳(メタデータ) (2022-04-24T15:58:35Z) - Neural Emotion Director: Speech-preserving semantic control of facial
expressions in "in-the-wild" videos [31.746152261362777]
In-the-wild」ビデオにおいて,アクターの感情状態をリアルに操作するための新しい深層学習手法を提案する。
提案手法は,頭部のポーズや表情から顔のアイデンティティを確実に切り離すことのできる,入力シーンにおけるアクターのパラメトリックな3次元顔表現に基づく。
次に、新しいディープドメイン翻訳フレームワークを使用し、顔の表情を一貫した、そして妥当な方法で変更し、そのダイナミクスを考慮に入れます。
論文 参考訳(メタデータ) (2021-12-01T15:55:04Z) - SOLVER: Scene-Object Interrelated Visual Emotion Reasoning Network [83.27291945217424]
画像から感情を予測するために,SOLVER(Scene-Object Interrelated Visual Emotion Reasoning Network)を提案する。
異なるオブジェクト間の感情関係を掘り下げるために、まずセマンティックな概念と視覚的特徴に基づいて感情グラフを構築します。
また、シーンとオブジェクトを統合するScene-Object Fusion Moduleを設計し、シーンの特徴を利用して、提案したシーンベースのアテンションメカニズムでオブジェクトの特徴の融合プロセスを導出する。
論文 参考訳(メタデータ) (2021-10-24T02:41:41Z) - LEED: Label-Free Expression Editing via Disentanglement [57.09545215087179]
LEEDフレームワークは、表現ラベルを必要とせずに、前頭顔画像とプロファイル顔画像の両方の表現を編集することができる。
2つの新たな損失は、最適な表現の切り離しと一貫した合成のために設計されている。
論文 参考訳(メタデータ) (2020-07-17T13:36:15Z) - Facial Expression Editing with Continuous Emotion Labels [76.36392210528105]
深層生成モデルは、自動表情編集の分野で素晴らしい成果を上げている。
連続した2次元の感情ラベルに従って顔画像の表情を操作できるモデルを提案する。
論文 参考訳(メタデータ) (2020-06-22T13:03:02Z) - Real-time Facial Expression Recognition "In The Wild'' by Disentangling
3D Expression from Identity [6.974241731162878]
本稿では,1枚のRGB画像から人間の感情認識を行う新しい手法を提案する。
顔のダイナミックス、アイデンティティ、表情、外観、3Dポーズのバリエーションに富んだ大規模な顔ビデオデータセットを構築した。
提案するフレームワークは毎秒50フレームで動作し、3次元表現変動のパラメータを頑健に推定することができる。
論文 参考訳(メタデータ) (2020-05-12T01:32:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。