論文の概要: UniMSE: Towards Unified Multimodal Sentiment Analysis and Emotion Recognition

• arxiv url: http://arxiv.org/abs/2211.11256v1
• Date: Mon, 21 Nov 2022 08:46:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-22 19:39:16.764042
• Title: UniMSE: Towards Unified Multimodal Sentiment Analysis and Emotion Recognition
• Title（参考訳）: UniMSE: 統合マルチモーダル感情分析と感情認識を目指して
• Authors: Guimin Hu, Ting-En Lin, Yi Zhao, Guangming Lu, Yuchuan Wu, Yongbin Li
• Abstract要約: マルチモーダル感情分析(MSA)と会話における感情認識(ERC)は、コンピュータが人間の行動を理解する上で重要な研究課題である。 我々は,MSAとERCタスクを特徴,ラベル,モデルから統合するマルチモーダル感情知識共有フレームワーク(UniMSE)を提案する。 我々は、統語的・意味的なレベルでモダリティ融合を行い、感情と感情の差異と一貫性をよりよく捉えるために、モダリティとサンプルの対比学習を導入する。
• 参考スコア（独自算出の注目度）: 32.34485263348587
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal sentiment analysis (MSA) and emotion recognition in conversation (ERC) are key research topics for computers to understand human behaviors. From a psychological perspective, emotions are the expression of affect or feelings during a short period, while sentiments are formed and held for a longer period. However, most existing works study sentiment and emotion separately and do not fully exploit the complementary knowledge behind the two. In this paper, we propose a multimodal sentiment knowledge-sharing framework (UniMSE) that unifies MSA and ERC tasks from features, labels, and models. We perform modality fusion at the syntactic and semantic levels and introduce contrastive learning between modalities and samples to better capture the difference and consistency between sentiments and emotions. Experiments on four public benchmark datasets, MOSI, MOSEI, MELD, and IEMOCAP, demonstrate the effectiveness of the proposed method and achieve consistent improvements compared with state-of-the-art methods.
• Abstract（参考訳）: マルチモーダル感情分析(MSA)と会話における感情認識(ERC)は、コンピュータが人間の行動を理解する上で重要な研究課題である。 心理的には、感情は短期間の感情や感情の表現であり、感情はより長い期間形成され保持される。 しかし、既存の作品の多くは感情と感情を別々に研究しており、両者の背後にある相補的な知識を十分に活用していない。 本稿では,MSAとERCタスクを特徴,ラベル,モデルから統合するマルチモーダル感情知識共有フレームワーク(UniMSE)を提案する。 我々は,構文と意味のレベルでモーダリティ融合を行い,モーダリティとサンプルの対比学習を導入し,感情と感情の違いと一貫性をよりよく把握する。 4つの公開ベンチマークデータセット(MOSI, MOSEI, MELD, IEMOCAP)の実験により,提案手法の有効性が実証され,最先端手法と比較して一貫した改善が得られた。

関連論文リスト

• MEMO-Bench: A Multiple Benchmark for Text-to-Image and Multimodal Large Language Models on Human Emotion Analysis [53.012111671763776]
  そこで本研究では、7,145枚の肖像画からなる総合的なベンチマークであるMEMO-Benchを紹介した。 以上の結果から,既存のT2Iモデルは負のモデルよりも肯定的な感情を生成するのに効果的であることが示唆された。 MLLMは人間の感情の識別と認識に一定の効果を示すが、人間のレベルの正確さには欠ける。
  論文  参考訳（メタデータ） (2024-11-18T02:09:48Z)
• EmoLLM: Multimodal Emotional Understanding Meets Large Language Models [61.179731667080326]
  マルチモーダル・大規模言語モデル(MLLM)は、目的とするマルチモーダル認識タスクにおいて顕著な性能を達成している。 しかし、主観的、感情的にニュアンスのあるマルチモーダルコンテンツを解釈する能力はほとんど解明されていない。 EmoLLMは、マルチモーダルな感情理解のための新しいモデルであり、2つのコア技術が組み込まれている。
  論文  参考訳（メタデータ） (2024-06-24T08:33:02Z)
• UniMEEC: Towards Unified Multimodal Emotion Recognition and Emotion Cause [18.99103120856208]
  感情と感情の因果関係を明らかにするために,統一マルチモーダル感情認識・感情因果分析フレームワーク(UniMEEC)を提案する。 UniMEECは、MERCおよびMECPEタスクをマスク予測問題として再構成し、因果プロンプトテンプレートでそれらを統一する。 4つの公開ベンチマークデータセットの実験結果は、MERCおよびMECPEタスクのモデル性能を検証する。
  論文  参考訳（メタデータ） (2024-03-30T15:59:17Z)
• Emotion Recognition from Multiple Modalities: Fundamentals and Methodologies [106.62835060095532]
  マルチモーダル感情認識(MER)のいくつかの重要な側面について論じる。 まず、広く使われている感情表現モデルと感情モダリティの簡単な紹介から始める。 次に、既存の感情アノテーション戦略とそれに対応する計算タスクを要約する。 最後に,実世界のアプリケーションについて概説し,今後の方向性について論じる。
  論文  参考訳（メタデータ） (2021-08-18T21:55:20Z)
• Affective Image Content Analysis: Two Decades Review and New Perspectives [132.889649256384]
  我々は,過去20年間の情緒的イメージコンテンツ分析(AICA)の発展を包括的にレビューする。 我々は、感情的ギャップ、知覚主観性、ラベルノイズと欠如という3つの主要な課題に関して、最先端の手法に焦点を当てる。 画像の内容やコンテキスト理解,グループ感情クラスタリング,ビューアーとイメージのインタラクションなど,今後の課題や研究の方向性について論じる。
  論文  参考訳（メタデータ） (2021-06-30T15:20:56Z)
• A Circular-Structured Representation for Visual Emotion Distribution Learning [82.89776298753661]
  視覚的感情分布学習に先立つ知識を活用するために,身近な円形構造表現を提案する。 具体的には、まず感情圏を構築し、その内にある感情状態を統一する。 提案した感情圏では、各感情分布は3つの属性で定義される感情ベクトルで表される。
  論文  参考訳（メタデータ） (2021-06-23T14:53:27Z)
• Multi-Task Learning and Adapted Knowledge Models for Emotion-Cause Extraction [18.68808042388714]
  感情認識と感情原因検出の両方に共同で取り組むソリューションを提案する。 暗黙的に表現された感情を理解する上で,常識的知識が重要な役割を担っていることを考慮し,新しい手法を提案する。 共通センス推論とマルチタスクフレームワークを含む場合,両タスクのパフォーマンス改善を示す。
  論文  参考訳（メタデータ） (2021-06-17T20:11:04Z)
• A Multi-Componential Approach to Emotion Recognition and the Effect of Personality [0.0]
  本稿では,映画視聴中に引き起こされた感情体験を特徴付けるために,データ駆動型アプローチによる構成的枠組みを適用した。 その結果、様々な感情の違いは、数次元(少なくとも6次元)で捉えられることが示唆された。 その結果、限定的な記述子数を持つ成分モデルでは、経験的な離散的感情のレベルを予測できることがわかった。
  論文  参考訳（メタデータ） (2020-10-22T01:27:23Z)
• COSMIC: COmmonSense knowledge for eMotion Identification in Conversations [95.71018134363976]
  我々は,心的状態,出来事,因果関係など,常識の異なる要素を取り入れた新しい枠組みであるCOSMICを提案する。 我々は,COSMICが4つのベンチマークの会話データセット上で,感情認識のための最新の結果を実現することを示す。
  論文  参考訳（メタデータ） (2020-10-06T15:09:38Z)
• Temporal aggregation of audio-visual modalities for emotion recognition [0.5352699766206808]
  本研究では,時間的オフセットの異なる時間的オフセットと時間的ウィンドウからの音声・視覚的モダリティを組み合わせた感情認識のためのマルチモーダル融合手法を提案する。 提案手法は,文献と人間の精度評価から,他の手法よりも優れている。
  論文  参考訳（メタデータ） (2020-07-08T18:44:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。