論文の概要: UniMSE: Towards Unified Multimodal Sentiment Analysis and Emotion
Recognition
- arxiv url: http://arxiv.org/abs/2211.11256v1
- Date: Mon, 21 Nov 2022 08:46:01 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-22 19:39:16.764042
- Title: UniMSE: Towards Unified Multimodal Sentiment Analysis and Emotion
Recognition
- Title(参考訳): UniMSE: 統合マルチモーダル感情分析と感情認識を目指して
- Authors: Guimin Hu, Ting-En Lin, Yi Zhao, Guangming Lu, Yuchuan Wu, Yongbin Li
- Abstract要約: マルチモーダル感情分析(MSA)と会話における感情認識(ERC)は、コンピュータが人間の行動を理解する上で重要な研究課題である。
我々は,MSAとERCタスクを特徴,ラベル,モデルから統合するマルチモーダル感情知識共有フレームワーク(UniMSE)を提案する。
我々は、統語的・意味的なレベルでモダリティ融合を行い、感情と感情の差異と一貫性をよりよく捉えるために、モダリティとサンプルの対比学習を導入する。
- 参考スコア(独自算出の注目度): 32.34485263348587
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multimodal sentiment analysis (MSA) and emotion recognition in conversation
(ERC) are key research topics for computers to understand human behaviors. From
a psychological perspective, emotions are the expression of affect or feelings
during a short period, while sentiments are formed and held for a longer
period. However, most existing works study sentiment and emotion separately and
do not fully exploit the complementary knowledge behind the two. In this paper,
we propose a multimodal sentiment knowledge-sharing framework (UniMSE) that
unifies MSA and ERC tasks from features, labels, and models. We perform
modality fusion at the syntactic and semantic levels and introduce contrastive
learning between modalities and samples to better capture the difference and
consistency between sentiments and emotions. Experiments on four public
benchmark datasets, MOSI, MOSEI, MELD, and IEMOCAP, demonstrate the
effectiveness of the proposed method and achieve consistent improvements
compared with state-of-the-art methods.
- Abstract(参考訳): マルチモーダル感情分析(MSA)と会話における感情認識(ERC)は、コンピュータが人間の行動を理解する上で重要な研究課題である。
心理的には、感情は短期間の感情や感情の表現であり、感情はより長い期間形成され保持される。
しかし、既存の作品の多くは感情と感情を別々に研究しており、両者の背後にある相補的な知識を十分に活用していない。
本稿では,MSAとERCタスクを特徴,ラベル,モデルから統合するマルチモーダル感情知識共有フレームワーク(UniMSE)を提案する。
我々は,構文と意味のレベルでモーダリティ融合を行い,モーダリティとサンプルの対比学習を導入し,感情と感情の違いと一貫性をよりよく把握する。
4つの公開ベンチマークデータセット(MOSI, MOSEI, MELD, IEMOCAP)の実験により,提案手法の有効性が実証され,最先端手法と比較して一貫した改善が得られた。
関連論文リスト
- MFAS: Emotion Recognition through Multiple Perspectives Fusion
Architecture Search Emulating Human Cognition [10.998461754606131]
音声感情認識は、人間に似たターゲット音声における感情状態を特定し、分析することを目的としている。
連続的な視点から音声コンテンツを理解することによって、より包括的な感情情報を捉えることができることを示す。
我々はMFAS(Multiple perspectives Fusion Architecture Search)と呼ばれる新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2023-06-12T16:40:07Z) - Seeking Subjectivity in Visual Emotion Distribution Learning [93.96205258496697]
視覚感情分析(VEA)は、人々の感情を異なる視覚刺激に向けて予測することを目的としている。
既存の手法では、集団投票プロセスにおいて固有の主観性を無視して、統合されたネットワークにおける視覚的感情分布を予測することが多い。
視覚的感情分布の主観性を調べるために,新しいテキストサブジェクティビティ評価ネットワーク(SAMNet)を提案する。
論文 参考訳(メタデータ) (2022-07-25T02:20:03Z) - Multimodal Emotion Recognition with Modality-Pairwise Unsupervised
Contrastive Loss [80.79641247882012]
マルチモーダル感情認識(MER)のための教師なし特徴学習に着目した。
個別の感情を考慮し、モダリティテキスト、音声、視覚が使用される。
本手法は, 対のモダリティ間のコントラスト損失に基づくもので, MER文学における最初の試みである。
論文 参考訳(メタデータ) (2022-07-23T10:11:24Z) - Emotion Recognition from Multiple Modalities: Fundamentals and
Methodologies [106.62835060095532]
マルチモーダル感情認識(MER)のいくつかの重要な側面について論じる。
まず、広く使われている感情表現モデルと感情モダリティの簡単な紹介から始める。
次に、既存の感情アノテーション戦略とそれに対応する計算タスクを要約する。
最後に,実世界のアプリケーションについて概説し,今後の方向性について論じる。
論文 参考訳(メタデータ) (2021-08-18T21:55:20Z) - Affective Image Content Analysis: Two Decades Review and New
Perspectives [132.889649256384]
我々は,過去20年間の情緒的イメージコンテンツ分析(AICA)の発展を包括的にレビューする。
我々は、感情的ギャップ、知覚主観性、ラベルノイズと欠如という3つの主要な課題に関して、最先端の手法に焦点を当てる。
画像の内容やコンテキスト理解,グループ感情クラスタリング,ビューアーとイメージのインタラクションなど,今後の課題や研究の方向性について論じる。
論文 参考訳(メタデータ) (2021-06-30T15:20:56Z) - A Circular-Structured Representation for Visual Emotion Distribution
Learning [82.89776298753661]
視覚的感情分布学習に先立つ知識を活用するために,身近な円形構造表現を提案する。
具体的には、まず感情圏を構築し、その内にある感情状態を統一する。
提案した感情圏では、各感情分布は3つの属性で定義される感情ベクトルで表される。
論文 参考訳(メタデータ) (2021-06-23T14:53:27Z) - Multi-Task Learning and Adapted Knowledge Models for Emotion-Cause
Extraction [18.68808042388714]
感情認識と感情原因検出の両方に共同で取り組むソリューションを提案する。
暗黙的に表現された感情を理解する上で,常識的知識が重要な役割を担っていることを考慮し,新しい手法を提案する。
共通センス推論とマルチタスクフレームワークを含む場合,両タスクのパフォーマンス改善を示す。
論文 参考訳(メタデータ) (2021-06-17T20:11:04Z) - A Multi-Componential Approach to Emotion Recognition and the Effect of
Personality [0.0]
本稿では,映画視聴中に引き起こされた感情体験を特徴付けるために,データ駆動型アプローチによる構成的枠組みを適用した。
その結果、様々な感情の違いは、数次元(少なくとも6次元)で捉えられることが示唆された。
その結果、限定的な記述子数を持つ成分モデルでは、経験的な離散的感情のレベルを予測できることがわかった。
論文 参考訳(メタデータ) (2020-10-22T01:27:23Z) - COSMIC: COmmonSense knowledge for eMotion Identification in
Conversations [95.71018134363976]
我々は,心的状態,出来事,因果関係など,常識の異なる要素を取り入れた新しい枠組みであるCOSMICを提案する。
我々は,COSMICが4つのベンチマークの会話データセット上で,感情認識のための最新の結果を実現することを示す。
論文 参考訳(メタデータ) (2020-10-06T15:09:38Z) - Temporal aggregation of audio-visual modalities for emotion recognition [0.5352699766206808]
本研究では,時間的オフセットの異なる時間的オフセットと時間的ウィンドウからの音声・視覚的モダリティを組み合わせた感情認識のためのマルチモーダル融合手法を提案する。
提案手法は,文献と人間の精度評価から,他の手法よりも優れている。
論文 参考訳(メタデータ) (2020-07-08T18:44:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。