論文の概要: EmoLLM: Multimodal Emotional Understanding Meets Large Language Models
- arxiv url: http://arxiv.org/abs/2406.16442v2
- Date: Sat, 29 Jun 2024 14:32:46 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-02 12:51:40.303571
- Title: EmoLLM: Multimodal Emotional Understanding Meets Large Language Models
- Title(参考訳): EmoLLM: 大規模言語モデルを扱うマルチモーダル感情理解
- Authors: Qu Yang, Mang Ye, Bo Du,
- Abstract要約: マルチモーダル・大規模言語モデル(MLLM)は、目的とするマルチモーダル認識タスクにおいて顕著な性能を達成している。
しかし、主観的、感情的にニュアンスのあるマルチモーダルコンテンツを解釈する能力はほとんど解明されていない。
EmoLLMは、マルチモーダルな感情理解のための新しいモデルであり、2つのコア技術が組み込まれている。
- 参考スコア(独自算出の注目度): 61.179731667080326
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-modal large language models (MLLMs) have achieved remarkable performance on objective multimodal perception tasks, but their ability to interpret subjective, emotionally nuanced multimodal content remains largely unexplored. Thus, it impedes their ability to effectively understand and react to the intricate emotions expressed by humans through multimodal media. To bridge this gap, we introduce EmoBench, the first comprehensive benchmark designed specifically to evaluate the emotional capabilities of MLLMs across five popular emotional tasks, using a diverse dataset of 287k images and videos paired with corresponding textual instructions. Meanwhile, we propose EmoLLM, a novel model for multimodal emotional understanding, incorporating with two core techniques. 1) Multi-perspective Visual Projection, it captures diverse emotional cues from visual data from multiple perspectives. 2) EmoPrompt, it guides MLLMs to reason about emotions in the correct direction. Experimental results demonstrate that EmoLLM significantly elevates multimodal emotional understanding performance, with an average improvement of 12.1% across multiple foundation models on EmoBench. Our work contributes to the advancement of MLLMs by facilitating a deeper and more nuanced comprehension of intricate human emotions, paving the way for the development of artificial emotional intelligence capabilities with wide-ranging applications in areas such as human-computer interaction, mental health support, and empathetic AI systems. Code, data, and model will be released.
- Abstract(参考訳): マルチモーダル大規模言語モデル(MLLM)は、客観的なマルチモーダル認識タスクにおいて顕著なパフォーマンスを達成しているが、主観的、感情的にニュアンスのあるマルチモーダルコンテンツを解釈する能力は、まだ明らかにされていない。
したがって、マルチモーダルメディアを通じて人間によって表現される複雑な感情を効果的に理解し、反応する能力を妨げる。
このギャップを埋めるために、私たちはEmoBenchという5つの一般的な感情課題におけるMLLMの感情能力を評価するために設計された最初の総合的なベンチマークを紹介します。
本研究では,マルチモーダルな感情理解モデルであるEmoLLMを提案する。
1)マルチパースペクティブ・ビジュアル・プロジェクションでは,複数の視点から視覚データから多様な感情的手がかりを捉えている。
2) EmoPromptでは, MLLMが正しい方向への感情を判断できるように誘導する。
実験の結果、EmoLLMはマルチモーダルな感情理解性能を著しく向上させ、EmoBench上の複数の基礎モデルに対して平均12.1%改善した。
我々の研究は、人間とコンピュータの相互作用、メンタルヘルスのサポート、共感的AIシステムといった分野における幅広い応用によって、複雑な人間の感情のより深い、よりニュアンスな理解を促進することによって、MLLMの進歩に寄与する。
コード、データ、モデルがリリースされる。
関連論文リスト
- Emotion-LLaMA: Multimodal Emotion Recognition and Reasoning with Instruction Tuning [55.127202990679976]
28,618粒の粗粒と4,487粒の細粒のアノテートサンプルを含むMERRデータセットを導入した。
このデータセットは、さまざまなシナリオから学習し、現実のアプリケーションに一般化することを可能にする。
本研究では,感情特異的エンコーダによる音声,視覚,テキスト入力をシームレスに統合するモデルであるEmotion-LLaMAを提案する。
論文 参考訳(メタデータ) (2024-06-17T03:01:22Z) - EALD-MLLM: Emotion Analysis in Long-sequential and De-identity videos with Multi-modal Large Language Model [22.292581935835678]
EALDと呼ばれる長周期・非同一性ビデオにおける感情分析のためのデータセットを構築した。
また,NFBL(Non-Facial Body Language)アノテーションを各プレイヤーに提供します。
NFBLは内向きの感情表現であり、感情状態を理解するためのアイデンティティフリーな手がかりとして機能する。
論文 参考訳(メタデータ) (2024-05-01T15:25:54Z) - UniMEEC: Towards Unified Multimodal Emotion Recognition and Emotion Cause [18.84743213557238]
会話におけるマルチモーダル感情認識(MERC)とマルチモーダル感情原因ペア抽出(MECPE)は近年注目されている。
我々は、感情と感情の原因の因果関係と相補性を探るため、統一マルチモーダル感情認識・感情因果分析フレームワーク(UniMEEC)を提案する。
UniMEECは、MERCとMECPEのタスクを2つのマスク予測問題として再構成し、感情と原因の相互作用を強化する。
論文 参考訳(メタデータ) (2024-03-30T15:59:17Z) - Enhancing Emotional Generation Capability of Large Language Models via
Emotional Chain-of-Thought [53.1230874584344]
大規模言語モデル(LLM)は様々な感情認識タスクにおいて顕著な性能を示した。
本研究では,感情生成タスクにおけるLLMの性能を高めるための感情連鎖(ECoT)を提案する。
論文 参考訳(メタデータ) (2024-01-12T16:42:10Z) - The Good, The Bad, and Why: Unveiling Emotions in Generative AI [73.94035652867618]
EmotionPromptはAIモデルの性能を向上し、EmotionAttackはそれを妨げうることを示す。
EmotionDecodeによると、AIモデルは人間の脳内のドーパミンのメカニズムに似た感情的な刺激を理解することができる。
論文 参考訳(メタデータ) (2023-12-18T11:19:45Z) - Large Language Models Understand and Can be Enhanced by Emotional
Stimuli [53.53886609012119]
我々は、感情的な刺激を理解するために、大規模言語モデルの能力を探究する第一歩を踏み出す。
実験の結果,LLMは感情的知能を把握でき,その性能は感情的刺激によって改善できることがわかった。
EmotionPromptが生成タスクの性能を大幅に向上させることを示す。
論文 参考訳(メタデータ) (2023-07-14T00:57:12Z) - Emotion Recognition from Multiple Modalities: Fundamentals and
Methodologies [106.62835060095532]
マルチモーダル感情認識(MER)のいくつかの重要な側面について論じる。
まず、広く使われている感情表現モデルと感情モダリティの簡単な紹介から始める。
次に、既存の感情アノテーション戦略とそれに対応する計算タスクを要約する。
最後に,実世界のアプリケーションについて概説し,今後の方向性について論じる。
論文 参考訳(メタデータ) (2021-08-18T21:55:20Z) - HEU Emotion: A Large-scale Database for Multi-modal Emotion Recognition
in the Wild [0.0]
我々は、新しい自然状態ビデオデータベース(HEU Emotion)をリリースする。
HEU Emotionには合計19,004本のビデオクリップが含まれており、データソースによって2つの部分に分けられる。
両部位の認識精度はそれぞれ2.19%,4.01%上昇した。
論文 参考訳(メタデータ) (2020-07-24T13:36:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。