Fugu-MT 論文翻訳(概要): Learning Emotion Representations from Verbal and Nonverbal Communication

論文の概要: Learning Emotion Representations from Verbal and Nonverbal Communication

arxiv url: http://arxiv.org/abs/2305.13500v1
Date: Mon, 22 May 2023 21:36:55 GMT
ステータス: 処理完了
システム内更新日: 2023-05-24 20:42:43.663010
Title: Learning Emotion Representations from Verbal and Nonverbal Communication
Title（参考訳）: 言語・非言語コミュニケーションから感情表現を学ぶ
Authors: Sitao Zhang, Yimu Pan, James Z. Wang
Abstract要約: 本稿では,言語・非言語コミュニケーションから視覚的感情表現を抽出する最初の事前学習パラダイムであるEmotionCLIPを提案する。 EmotionCLIPは、感情誘導型コントラスト学習を用いて、主観的文脈エンコーディングと言語感情キューを通じて、非言語感情キューへの参加を誘導する。 EmotionCLIPは、感情理解におけるデータ不足の一般的な問題に対処し、関連する領域の進歩を促進する。
参考スコア（独自算出の注目度）: 7.747924294389427
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Emotion understanding is an essential but highly challenging component of artificial general intelligence. The absence of extensively annotated datasets has significantly impeded advancements in this field. We present EmotionCLIP, the first pre-training paradigm to extract visual emotion representations from verbal and nonverbal communication using only uncurated data. Compared to numerical labels or descriptions used in previous methods, communication naturally contains emotion information. Furthermore, acquiring emotion representations from communication is more congruent with the human learning process. We guide EmotionCLIP to attend to nonverbal emotion cues through subject-aware context encoding and verbal emotion cues using sentiment-guided contrastive learning. Extensive experiments validate the effectiveness and transferability of EmotionCLIP. Using merely linear-probe evaluation protocol, EmotionCLIP outperforms the state-of-the-art supervised visual emotion recognition methods and rivals many multimodal approaches across various benchmarks. We anticipate that the advent of EmotionCLIP will address the prevailing issue of data scarcity in emotion understanding, thereby fostering progress in related domains. The code and pre-trained models are available at https://github.com/Xeaver/EmotionCLIP.
Abstract（参考訳）: 感情理解は人工知能の本質的だが、非常に挑戦的な要素である。広範な注釈付きデータセットの欠如は、この分野の進歩を著しく妨げている。 EmotionCLIPは,未計算データのみを用いて,言語および非言語コミュニケーションから視覚的感情表現を抽出する,最初の事前学習パラダイムである。従来の手法で用いられる数値ラベルや記述と比較して、コミュニケーションには感情情報が自然に含まれている。さらに、コミュニケーションから感情表現を取得することは、人間の学習プロセスとより一致している。 EmotionCLIPは、感情誘導型コントラスト学習を用いて、主観的文脈エンコーディングと言語感情キューを通じて、非言語感情キューへの参加を誘導する。 EmotionCLIPの有効性と伝達性を検証する。単に線形プローブ評価プロトコルを用いて、EmotionCLIPは最先端の教師付き視覚的感情認識手法より優れ、様々なベンチマークで多くのマルチモーダルアプローチと競合する。 EmotionCLIPの出現は、感情理解におけるデータ不足の問題に対処し、関連する領域の進展を促進することを期待する。コードと事前訓練されたモデルはhttps://github.com/Xeaver/EmotionCLIP.comで入手できる。

関連論文リスト

Attention-based Interactive Disentangling Network for Instance-level Emotional Voice Conversion [81.1492897350032]
感情音声変換(Emotional Voice Conversion)は、非感情成分を保存しながら、与えられた感情に応じて音声を操作することを目的とする。本稿では,音声変換にインスタンスワイドな感情知識を活用する,意図に基づく対話型ディスタングネットワーク(AINN)を提案する。
論文参考訳（メタデータ） (2023-12-29T08:06:45Z)
emotion2vec: Self-Supervised Pre-Training for Speech Emotion Representation [42.29118614670941]
普遍的な音声感情表現モデルである感情2vecを提案する。感情2vecは自己監督型オンライン蒸留を通じてラベルなしの感情データに基づいて事前訓練される。最先端の訓練済みユニバーサルモデルや感情スペシャリストモデルよりも優れています。
論文参考訳（メタデータ） (2023-12-23T07:46:55Z)
Emotion Rendering for Conversational Speech Synthesis with Heterogeneous Graph-Based Context Modeling [50.99252242917458]
会話音声合成(CSS)は,会話環境の中で適切な韻律と感情のインフレクションで発話を正確に表現することを目的としている。データ不足の問題に対処するため、私たちはカテゴリと強度の点で感情的なラベルを慎重に作成します。我々のモデルは感情の理解と表現においてベースラインモデルよりも優れています。
論文参考訳（メタデータ） (2023-12-19T08:47:50Z)
Emotion Intensity and its Control for Emotional Voice Conversion [77.05097999561298]
感情音声変換(EVC)は、言語内容と話者のアイデンティティを保ちながら、発話の感情状態を変換しようとする。本稿では,感情の強さを明示的に表現し,制御することを目的とする。本稿では,話者スタイルを言語内容から切り離し,連続した空間に埋め込み,感情埋め込みのプロトタイプを形成するスタイルに符号化することを提案する。
論文参考訳（メタデータ） (2022-01-10T02:11:25Z)
Multi-Cue Adaptive Emotion Recognition Network [4.570705738465714]
適応型マルチキューに基づく感情認識のための新しい深層学習手法を提案する。提案手法とCAER-Sデータセットの最先端手法を比較した。
論文参考訳（メタデータ） (2021-11-03T15:08:55Z)
Emotion Recognition from Multiple Modalities: Fundamentals and Methodologies [106.62835060095532]
マルチモーダル感情認識(MER)のいくつかの重要な側面について論じる。まず、広く使われている感情表現モデルと感情モダリティの簡単な紹介から始める。次に、既存の感情アノテーション戦略とそれに対応する計算タスクを要約する。最後に,実世界のアプリケーションについて概説し,今後の方向性について論じる。
論文参考訳（メタデータ） (2021-08-18T21:55:20Z)
Using Knowledge-Embedded Attention to Augment Pre-trained Language Models for Fine-Grained Emotion Recognition [0.0]
我々は,事前学習した自己意識モデルに外部知識を導入することで,微粒な感情認識を改善することに集中する。結果と誤差解析は,複数のデータセットで過去のモデルより優れていた。
論文参考訳（メタデータ） (2021-07-31T09:41:44Z)
A Circular-Structured Representation for Visual Emotion Distribution Learning [82.89776298753661]
視覚的感情分布学習に先立つ知識を活用するために,身近な円形構造表現を提案する。具体的には、まず感情圏を構築し、その内にある感情状態を統一する。提案した感情圏では、各感情分布は3つの属性で定義される感情ベクトルで表される。
論文参考訳（メタデータ） (2021-06-23T14:53:27Z)
Emotion-aware Chat Machine: Automatic Emotional Response Generation for Human-like Emotional Interaction [55.47134146639492]
この記事では、投稿中のセマンティクスと感情を同時にエンコードできる、未定義のエンドツーエンドニューラルネットワークを提案する。実世界のデータを用いた実験により,提案手法は,コンテンツコヒーレンスと感情の適切性の両方の観点から,最先端の手法よりも優れていることが示された。
論文参考訳（メタデータ） (2021-06-06T06:26:15Z)
Meta Transfer Learning for Emotion Recognition [42.61707533351803]
本研究では、ある視覚的/聴覚的感情領域から学習した感情知識を、別の視覚的/聴覚的感情領域に伝達できるPathNetに基づく伝達学習手法を提案する。提案システムは感情認識の性能を向上し,最近提案された微調整/事前学習モデルに基づく伝達学習手法よりも性能が大幅に向上する。
論文参考訳（メタデータ） (2020-06-23T00:25:28Z)
Detecting Emotion Primitives from Speech and their use in discerning Categorical Emotions [16.886826928295203]
感情は人間同士のコミュニケーションにおいて重要な役割を担い、幸福やフラストレーション、誠実さといった感情を伝えることができる。この研究は、感情プリミティブが、幸福、嫌悪、軽蔑、怒り、驚きといったカテゴリー的感情を中性的なスピーチから検出する方法について研究した。以上の結果から, 覚醒と支配は, 感情のより優れた検出方法であった。
論文参考訳（メタデータ） (2020-01-31T03:11:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。