論文の概要: A Unified and Interpretable Emotion Representation and Expression Generation

• arxiv url: http://arxiv.org/abs/2404.01243v1
• Date: Mon, 1 Apr 2024 17:03:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-03 21:36:17.740927
• Title: A Unified and Interpretable Emotion Representation and Expression Generation
• Title（参考訳）: 統一的で解釈可能な感情表現と表現生成
• Authors: Reni Paskaleva, Mykyta Holubakha, Andela Ilic, Saman Motamed, Luc Van Gool, Danda Paudel,
• Abstract要約: 我々はC2A2と呼ばれる解釈可能で統一された感情モデルを提案する。 生成した画像は豊かであり、微妙な表現を捉えていることを示す。
• 参考スコア（独自算出の注目度）: 38.321248253111776
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Canonical emotions, such as happy, sad, and fearful, are easy to understand and annotate. However, emotions are often compound, e.g. happily surprised, and can be mapped to the action units (AUs) used for expressing emotions, and trivially to the canonical ones. Intuitively, emotions are continuous as represented by the arousal-valence (AV) model. An interpretable unification of these four modalities - namely, Canonical, Compound, AUs, and AV - is highly desirable, for a better representation and understanding of emotions. However, such unification remains to be unknown in the current literature. In this work, we propose an interpretable and unified emotion model, referred as C2A2. We also develop a method that leverages labels of the non-unified models to annotate the novel unified one. Finally, we modify the text-conditional diffusion models to understand continuous numbers, which are then used to generate continuous expressions using our unified emotion model. Through quantitative and qualitative experiments, we show that our generated images are rich and capture subtle expressions. Our work allows a fine-grained generation of expressions in conjunction with other textual inputs and offers a new label space for emotions at the same time.
• Abstract（参考訳）: 幸せ、悲しみ、恐怖といった標準的な感情は理解し、注釈を付けるのが簡単である。 しかし、感情はしばしば複合的であり、例えば喜んで驚き、感情を表現するために使用されるアクションユニット(AU)にマッピングされ、カノニカルなものに自明にマッピングされる。 直感的には、感情は覚醒価(AV)モデルで表されるように連続している。 これら4つのモダリティの解釈可能な統一(Canonical, Compound, AUs, AV)は、感情の表現と理解を改善するために非常に望ましい。 しかし、現在の文献ではそのような統一は分かっていない。 本研究では,C2A2と呼ばれる解釈可能で統一された感情モデルを提案する。 また,新しい統一モデルに注釈を付けるために,非統一モデルのラベルを利用する手法を開発した。 最後に、連続数を理解するためにテキスト条件拡散モデルを修正し、統合された感情モデルを用いて連続表現を生成する。 定量的および定性的な実験を通して、生成した画像は豊かであり、微妙な表現を捉えていることを示す。 我々の研究は、他のテキスト入力と連動して表現のきめ細かい生成を可能にし、同時に感情に新しいラベル空間を提供する。

関連論文リスト

• Emotion Rendering for Conversational Speech Synthesis with Heterogeneous Graph-Based Context Modeling [50.99252242917458]
  会話音声合成(CSS)は,会話環境の中で適切な韻律と感情のインフレクションで発話を正確に表現することを目的としている。 データ不足の問題に対処するため、私たちはカテゴリと強度の点で感情的なラベルを慎重に作成します。 我々のモデルは感情の理解と表現においてベースラインモデルよりも優れています。
  論文  参考訳（メタデータ） (2023-12-19T08:47:50Z)
• Using Emotion Embeddings to Transfer Knowledge Between Emotions, Languages, and Annotation Formats [0.0]
  私たちは、異なる構成間で移行可能な単一のモデルを構築する方法を示します。 Demuxはゼロショット方式で知識を新しい言語に同時に転送できることを示す。
  論文  参考訳（メタデータ） (2022-10-31T22:32:36Z)
• Emotion Recognition under Consideration of the Emotion Component Process Model [9.595357496779394]
  我々はScherer (2005) による感情成分プロセスモデル (CPM) を用いて感情コミュニケーションを説明する。 CPMは、感情は、出来事、すなわち主観的感情、認知的評価、表現、生理的身体反応、動機的行動傾向に対する様々なサブコンポーネントの協調過程であると述べている。 Twitter上での感情は、主に出来事の説明や主観的な感情の報告によって表現されているのに対し、文献では、著者はキャラクターが何をしているかを記述し、解釈を読者に任せることを好む。
  論文  参考訳（メタデータ） (2021-07-27T15:53:25Z)
• A Circular-Structured Representation for Visual Emotion Distribution Learning [82.89776298753661]
  視覚的感情分布学習に先立つ知識を活用するために,身近な円形構造表現を提案する。 具体的には、まず感情圏を構築し、その内にある感情状態を統一する。 提案した感情圏では、各感情分布は3つの属性で定義される感情ベクトルで表される。
  論文  参考訳（メタデータ） (2021-06-23T14:53:27Z)
• Enhancing Cognitive Models of Emotions with Representation Learning [58.2386408470585]
  本稿では,きめ細かな感情の埋め込み表現を生成するための,新しいディープラーニングフレームワークを提案する。 本フレームワークは,コンテキスト型埋め込みエンコーダとマルチヘッド探索モデルを統合する。 本モデルは共感対話データセット上で評価され,32種類の感情を分類する最新結果を示す。
  論文  参考訳（メタデータ） (2021-04-20T16:55:15Z)
• SpanEmo: Casting Multi-label Emotion Classification as Span-prediction [15.41237087996244]
  マルチラベル感情分類をスパンプレディションとした新しいモデル「SpanEmo」を提案する。 入力文中の複数の共存感情をモデル化することに焦点を当てた損失関数を導入する。 SemEval2018マルチラベル感情データを3つの言語セットで実験した結果,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2021-01-25T12:11:04Z)
• Modality-Transferable Emotion Embeddings for Low-Resource Multimodal Emotion Recognition [55.44502358463217]
  本稿では、上記の問題に対処するため、感情を埋め込んだモダリティ変換可能なモデルを提案する。 我々のモデルは感情カテゴリーのほとんどで最先端のパフォーマンスを達成する。 私たちのモデルは、目に見えない感情に対するゼロショットと少数ショットのシナリオにおいて、既存のベースラインよりも優れています。
  論文  参考訳（メタデータ） (2020-09-21T06:10:39Z)
• Facial Expression Editing with Continuous Emotion Labels [76.36392210528105]
  深層生成モデルは、自動表情編集の分野で素晴らしい成果を上げている。 連続した2次元の感情ラベルに従って顔画像の表情を操作できるモデルを提案する。
  論文  参考訳（メタデータ） (2020-06-22T13:03:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。