論文の概要: EmoLLM: Multimodal Emotional Understanding Meets Large Language Models

• arxiv url: http://arxiv.org/abs/2406.16442v2
• Date: Sat, 29 Jun 2024 14:32:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-02 12:51:40.303571
• Title: EmoLLM: Multimodal Emotional Understanding Meets Large Language Models
• Title（参考訳）: EmoLLM: 大規模言語モデルを扱うマルチモーダル感情理解
• Authors: Qu Yang, Mang Ye, Bo Du,
• Abstract要約: マルチモーダル・大規模言語モデル(MLLM)は、目的とするマルチモーダル認識タスクにおいて顕著な性能を達成している。 しかし、主観的、感情的にニュアンスのあるマルチモーダルコンテンツを解釈する能力はほとんど解明されていない。 EmoLLMは、マルチモーダルな感情理解のための新しいモデルであり、2つのコア技術が組み込まれている。
• 参考スコア（独自算出の注目度）: 61.179731667080326
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-modal large language models (MLLMs) have achieved remarkable performance on objective multimodal perception tasks, but their ability to interpret subjective, emotionally nuanced multimodal content remains largely unexplored. Thus, it impedes their ability to effectively understand and react to the intricate emotions expressed by humans through multimodal media. To bridge this gap, we introduce EmoBench, the first comprehensive benchmark designed specifically to evaluate the emotional capabilities of MLLMs across five popular emotional tasks, using a diverse dataset of 287k images and videos paired with corresponding textual instructions. Meanwhile, we propose EmoLLM, a novel model for multimodal emotional understanding, incorporating with two core techniques. 1) Multi-perspective Visual Projection, it captures diverse emotional cues from visual data from multiple perspectives. 2) EmoPrompt, it guides MLLMs to reason about emotions in the correct direction. Experimental results demonstrate that EmoLLM significantly elevates multimodal emotional understanding performance, with an average improvement of 12.1% across multiple foundation models on EmoBench. Our work contributes to the advancement of MLLMs by facilitating a deeper and more nuanced comprehension of intricate human emotions, paving the way for the development of artificial emotional intelligence capabilities with wide-ranging applications in areas such as human-computer interaction, mental health support, and empathetic AI systems. Code, data, and model will be released.
• Abstract（参考訳）: マルチモーダル大規模言語モデル(MLLM)は、客観的なマルチモーダル認識タスクにおいて顕著なパフォーマンスを達成しているが、主観的、感情的にニュアンスのあるマルチモーダルコンテンツを解釈する能力は、まだ明らかにされていない。 したがって、マルチモーダルメディアを通じて人間によって表現される複雑な感情を効果的に理解し、反応する能力を妨げる。 このギャップを埋めるために、私たちはEmoBenchという5つの一般的な感情課題におけるMLLMの感情能力を評価するために設計された最初の総合的なベンチマークを紹介します。 本研究では,マルチモーダルな感情理解モデルであるEmoLLMを提案する。 1)マルチパースペクティブ・ビジュアル・プロジェクションでは,複数の視点から視覚データから多様な感情的手がかりを捉えている。 2) EmoPromptでは, MLLMが正しい方向への感情を判断できるように誘導する。 実験の結果、EmoLLMはマルチモーダルな感情理解性能を著しく向上させ、EmoBench上の複数の基礎モデルに対して平均12.1%改善した。 我々の研究は、人間とコンピュータの相互作用、メンタルヘルスのサポート、共感的AIシステムといった分野における幅広い応用によって、複雑な人間の感情のより深い、よりニュアンスな理解を促進することによって、MLLMの進歩に寄与する。 コード、データ、モデルがリリースされる。

関連論文リスト

• MEMO-Bench: A Multiple Benchmark for Text-to-Image and Multimodal Large Language Models on Human Emotion Analysis [53.012111671763776]
  そこで本研究では、7,145枚の肖像画からなる総合的なベンチマークであるMEMO-Benchを紹介した。 以上の結果から,既存のT2Iモデルは負のモデルよりも肯定的な感情を生成するのに効果的であることが示唆された。 MLLMは人間の感情の識別と認識に一定の効果を示すが、人間のレベルの正確さには欠ける。
  論文  参考訳（メタデータ） (2024-11-18T02:09:48Z)
• UniEmoX: Cross-modal Semantic-Guided Large-Scale Pretraining for Universal Scene Emotion Perception [8.54013419046987]
  視覚的感情分析のためのクロスモーダルな意味誘導型大規模事前学習フレームワークUniEmoXを紹介する。 UniEmoXは、ペア画像と未ペア画像テキストの類似性を利用して、CLIPモデルから豊富な意味知識を抽出し、感情的な埋め込み表現を強化する。 Emo8というタイトルの視覚的感情的データセットを開発し、ほとんどすべての感情的シーンをカバーしています。
  論文  参考訳（メタデータ） (2024-09-27T16:12:51Z)
• Video Emotion Open-vocabulary Recognition Based on Multimodal Large Language Model [5.301672905886949]
  本稿では、MLLM技術を用いてビデオからオープン語彙感情ラベルを生成する方法を紹介する。 MER2024課題のMER-OV(Open-Word Emotion Recognition)において,本手法は重要な優位性を実現し,複雑な感情計算の能力に優れていた。
  論文  参考訳（メタデータ） (2024-08-21T02:17:18Z)
• Emotion-LLaMA: Multimodal Emotion Recognition and Reasoning with Instruction Tuning [55.127202990679976]
  28,618粒の粗粒と4,487粒の細粒のアノテートサンプルを含むMERRデータセットを導入した。 このデータセットは、さまざまなシナリオから学習し、現実のアプリケーションに一般化することを可能にする。 本研究では,感情特異的エンコーダによる音声,視覚,テキスト入力をシームレスに統合するモデルであるEmotion-LLaMAを提案する。
  論文  参考訳（メタデータ） (2024-06-17T03:01:22Z)
• Enhancing Emotional Generation Capability of Large Language Models via Emotional Chain-of-Thought [50.13429055093534]
  大規模言語モデル(LLM)は様々な感情認識タスクにおいて顕著な性能を示した。 本研究では,感情生成タスクにおけるLLMの性能を高めるための感情連鎖(ECoT)を提案する。
  論文  参考訳（メタデータ） (2024-01-12T16:42:10Z)
• Large Language Models Understand and Can be Enhanced by Emotional Stimuli [53.53886609012119]
  我々は、感情的な刺激を理解するために、大規模言語モデルの能力を探究する第一歩を踏み出す。 実験の結果,LLMは感情的知能を把握でき,その性能は感情的刺激によって改善できることがわかった。 EmotionPromptが生成タスクの性能を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2023-07-14T00:57:12Z)
• Emotion Recognition from Multiple Modalities: Fundamentals and Methodologies [106.62835060095532]
  マルチモーダル感情認識(MER)のいくつかの重要な側面について論じる。 まず、広く使われている感情表現モデルと感情モダリティの簡単な紹介から始める。 次に、既存の感情アノテーション戦略とそれに対応する計算タスクを要約する。 最後に,実世界のアプリケーションについて概説し,今後の方向性について論じる。
  論文  参考訳（メタデータ） (2021-08-18T21:55:20Z)
• HEU Emotion: A Large-scale Database for Multi-modal Emotion Recognition in the Wild [0.0]
  我々は、新しい自然状態ビデオデータベース(HEU Emotion)をリリースする。 HEU Emotionには合計19,004本のビデオクリップが含まれており、データソースによって2つの部分に分けられる。 両部位の認識精度はそれぞれ2.19%,4.01%上昇した。
  論文  参考訳（メタデータ） (2020-07-24T13:36:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。