論文の概要: UniMSE: Towards Unified Multimodal Sentiment Analysis and Emotion Recognition

• arxiv url: http://arxiv.org/abs/2211.11256v1
• Date: Mon, 21 Nov 2022 08:46:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-22 19:39:16.764042
• Title: UniMSE: Towards Unified Multimodal Sentiment Analysis and Emotion Recognition
• Title（参考訳）: UniMSE: 統合マルチモーダル感情分析と感情認識を目指して
• Authors: Guimin Hu, Ting-En Lin, Yi Zhao, Guangming Lu, Yuchuan Wu, Yongbin Li
• Abstract要約: マルチモーダル感情分析(MSA)と会話における感情認識(ERC)は、コンピュータが人間の行動を理解する上で重要な研究課題である。 我々は,MSAとERCタスクを特徴,ラベル,モデルから統合するマルチモーダル感情知識共有フレームワーク(UniMSE)を提案する。 我々は、統語的・意味的なレベルでモダリティ融合を行い、感情と感情の差異と一貫性をよりよく捉えるために、モダリティとサンプルの対比学習を導入する。
• 参考スコア（独自算出の注目度）: 32.34485263348587
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal sentiment analysis (MSA) and emotion recognition in conversation (ERC) are key research topics for computers to understand human behaviors. From a psychological perspective, emotions are the expression of affect or feelings during a short period, while sentiments are formed and held for a longer period. However, most existing works study sentiment and emotion separately and do not fully exploit the complementary knowledge behind the two. In this paper, we propose a multimodal sentiment knowledge-sharing framework (UniMSE) that unifies MSA and ERC tasks from features, labels, and models. We perform modality fusion at the syntactic and semantic levels and introduce contrastive learning between modalities and samples to better capture the difference and consistency between sentiments and emotions. Experiments on four public benchmark datasets, MOSI, MOSEI, MELD, and IEMOCAP, demonstrate the effectiveness of the proposed method and achieve consistent improvements compared with state-of-the-art methods.
• Abstract（参考訳）: マルチモーダル感情分析(MSA)と会話における感情認識(ERC)は、コンピュータが人間の行動を理解する上で重要な研究課題である。 心理的には、感情は短期間の感情や感情の表現であり、感情はより長い期間形成され保持される。 しかし、既存の作品の多くは感情と感情を別々に研究しており、両者の背後にある相補的な知識を十分に活用していない。 本稿では,MSAとERCタスクを特徴,ラベル,モデルから統合するマルチモーダル感情知識共有フレームワーク(UniMSE)を提案する。 我々は,構文と意味のレベルでモーダリティ融合を行い,モーダリティとサンプルの対比学習を導入し,感情と感情の違いと一貫性をよりよく把握する。 4つの公開ベンチマークデータセット(MOSI, MOSEI, MELD, IEMOCAP)の実験により,提案手法の有効性が実証され,最先端手法と比較して一貫した改善が得られた。

関連論文リスト

• M2SE: A Multistage Multitask Instruction Tuning Strategy for Unified Sentiment and Emotion Analysis [5.3848462080869215]
  汎用MLLMのためのマルチステージマルチタスク・インストラクション・チューニング戦略であるM2SEを提案する。 マルチモーダル感情分析、感情認識、表情認識、感情理由推論、感情因果抽出といったタスクでモデルをトレーニングするために、組み合わせたアプローチを採用する。 我々のモデルであるEmotion Universe (EmoVerse) は、修正なしにMLLMフレームワーク上に構築されているが、M2SE戦略でトレーニングすると、これらのタスク間で大幅な改善が達成される。
  論文  参考訳（メタデータ） (2024-12-11T02:55:00Z)
• MEMO-Bench: A Multiple Benchmark for Text-to-Image and Multimodal Large Language Models on Human Emotion Analysis [53.012111671763776]
  そこで本研究では、7,145枚の肖像画からなる総合的なベンチマークであるMEMO-Benchを紹介した。 以上の結果から,既存のT2Iモデルは負のモデルよりも肯定的な感情を生成するのに効果的であることが示唆された。 MLLMは人間の感情の識別と認識に一定の効果を示すが、人間のレベルの正確さには欠ける。
  論文  参考訳（メタデータ） (2024-11-18T02:09:48Z)
• EmoLLM: Multimodal Emotional Understanding Meets Large Language Models [61.179731667080326]
  マルチモーダル・大規模言語モデル(MLLM)は、目的とするマルチモーダル認識タスクにおいて顕著な性能を達成している。 しかし、主観的、感情的にニュアンスのあるマルチモーダルコンテンツを解釈する能力はほとんど解明されていない。 EmoLLMは、マルチモーダルな感情理解のための新しいモデルであり、2つのコア技術が組み込まれている。
  論文  参考訳（メタデータ） (2024-06-24T08:33:02Z)
• UMETTS: A Unified Framework for Emotional Text-to-Speech Synthesis with Multimodal Prompts [64.02363948840333]
  UMETTSは、複数のモーダルからの感情的手がかりを利用して、表現力が高く感情的に共鳴する音声を生成する新しいフレームワークである。 EP-Alignは対照的な学習を用いて、テキスト、オーディオ、視覚的モダリティをまたいだ感情的特徴を整合させ、マルチモーダル情報のコヒーレントな融合を保証する。 EMI-TTSは、アライメントされた感情埋め込みと最先端のTSモデルを統合し、意図した感情を正確に反映した音声を合成する。
  論文  参考訳（メタデータ） (2024-04-29T03:19:39Z)
• UniMEEC: Towards Unified Multimodal Emotion Recognition and Emotion Cause [18.99103120856208]
  感情と感情の因果関係を明らかにするために,統一マルチモーダル感情認識・感情因果分析フレームワーク(UniMEEC)を提案する。 UniMEECは、MERCおよびMECPEタスクをマスク予測問題として再構成し、因果プロンプトテンプレートでそれらを統一する。 4つの公開ベンチマークデータセットの実験結果は、MERCおよびMECPEタスクのモデル性能を検証する。
  論文  参考訳（メタデータ） (2024-03-30T15:59:17Z)
• Emotion Recognition from Multiple Modalities: Fundamentals and Methodologies [106.62835060095532]
  マルチモーダル感情認識(MER)のいくつかの重要な側面について論じる。 まず、広く使われている感情表現モデルと感情モダリティの簡単な紹介から始める。 次に、既存の感情アノテーション戦略とそれに対応する計算タスクを要約する。 最後に,実世界のアプリケーションについて概説し,今後の方向性について論じる。
  論文  参考訳（メタデータ） (2021-08-18T21:55:20Z)
• Affective Image Content Analysis: Two Decades Review and New Perspectives [132.889649256384]
  我々は,過去20年間の情緒的イメージコンテンツ分析(AICA)の発展を包括的にレビューする。 我々は、感情的ギャップ、知覚主観性、ラベルノイズと欠如という3つの主要な課題に関して、最先端の手法に焦点を当てる。 画像の内容やコンテキスト理解,グループ感情クラスタリング,ビューアーとイメージのインタラクションなど,今後の課題や研究の方向性について論じる。
  論文  参考訳（メタデータ） (2021-06-30T15:20:56Z)
• A Circular-Structured Representation for Visual Emotion Distribution Learning [82.89776298753661]
  視覚的感情分布学習に先立つ知識を活用するために,身近な円形構造表現を提案する。 具体的には、まず感情圏を構築し、その内にある感情状態を統一する。 提案した感情圏では、各感情分布は3つの属性で定義される感情ベクトルで表される。
  論文  参考訳（メタデータ） (2021-06-23T14:53:27Z)
• Multi-Task Learning and Adapted Knowledge Models for Emotion-Cause Extraction [18.68808042388714]
  感情認識と感情原因検出の両方に共同で取り組むソリューションを提案する。 暗黙的に表現された感情を理解する上で,常識的知識が重要な役割を担っていることを考慮し,新しい手法を提案する。 共通センス推論とマルチタスクフレームワークを含む場合,両タスクのパフォーマンス改善を示す。
  論文  参考訳（メタデータ） (2021-06-17T20:11:04Z)
• Temporal aggregation of audio-visual modalities for emotion recognition [0.5352699766206808]
  本研究では,時間的オフセットの異なる時間的オフセットと時間的ウィンドウからの音声・視覚的モダリティを組み合わせた感情認識のためのマルチモーダル融合手法を提案する。 提案手法は,文献と人間の精度評価から,他の手法よりも優れている。
  論文  参考訳（メタデータ） (2020-07-08T18:44:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。