論文の概要: MIPS at SemEval-2024 Task 3: Multimodal Emotion-Cause Pair Extraction in Conversations with Multimodal Language Models
- arxiv url: http://arxiv.org/abs/2404.00511v2
- Date: Tue, 2 Apr 2024 16:46:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-04 03:20:34.709425
- Title: MIPS at SemEval-2024 Task 3: Multimodal Emotion-Cause Pair Extraction in Conversations with Multimodal Language Models
- Title（参考訳）: MIPS at SemEval-2024 Task 3: Multimodal Emotion-Cause Pair extract in Conversations with Multimodal Language Models (英語)
- Authors: Zebang Cheng, Fuqiang Niu, Yuxiang Lin, Zhi-Qi Cheng, Bowen Zhang, Xiaojiang Peng,
- Abstract要約: 本稿では,SemEval 2024 Task 3 の Subtask 2 に対して,会話におけるマルチモーダル感情の原因分析について提案する。
本稿では,テキスト,音声,視覚的モダリティを統合した新しいマルチモーダル感情認識・マルチモーダル感情原因抽出フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 13.137392771279742
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper presents our winning submission to Subtask 2 of SemEval 2024 Task 3 on multimodal emotion cause analysis in conversations. We propose a novel Multimodal Emotion Recognition and Multimodal Emotion Cause Extraction (MER-MCE) framework that integrates text, audio, and visual modalities using specialized emotion encoders. Our approach sets itself apart from top-performing teams by leveraging modality-specific features for enhanced emotion understanding and causality inference. Experimental evaluation demonstrates the advantages of our multimodal approach, with our submission achieving a competitive weighted F1 score of 0.3435, ranking third with a margin of only 0.0339 behind the 1st team and 0.0025 behind the 2nd team. Project: https://github.com/MIPS-COLT/MER-MCE.git
- Abstract（参考訳）: 本稿では,SemEval 2024 Task 3 の Subtask 2 に対して,会話におけるマルチモーダル感情の原因分析について提案する。
特殊な感情エンコーダを用いたテキスト,音声,視覚的モダリティを統合した,新しいマルチモーダル感情認識・マルチモーダル感情原因抽出(MER-MCE)フレームワークを提案する。
当社のアプローチは、感情理解の強化と因果推論のために、モダリティ固有の機能を活用することで、トップパフォーマンスチームとは分離します。
実験の結果,F1得点は0.3435で,第1チームでは0.0339,第2チームでは0.0025であった。
プロジェクト:https://github.com/MIPS-COLT/MER-MCE.git
関連論文リスト
- Emotion and Intent Joint Understanding in Multimodal Conversation: A Benchmarking Dataset [74.74686464187474]
Emotion and Intent Joint Understanding in Multimodal Conversation (MC-EIU)は、マルチモーダルな会話履歴に現れる意味情報をデコードすることを目的としている。
MC-EIUは多くのヒューマン・コンピュータ・インタフェースのテクノロジーを実現している。
MC-EIUデータセットは,7つの感情カテゴリー,9つの意図カテゴリ,3つのモダリティ,すなわちテキスト,音響,視覚的内容,および英語とマンダリンの2つの言語を特徴とする。
論文 参考訳（メタデータ） (2024-07-03T01:56:00Z) - Emotion-LLaMA: Multimodal Emotion Recognition and Reasoning with Instruction Tuning [55.127202990679976]
28,618粒の粗粒と4,487粒の細粒のアノテートサンプルを含むMERRデータセットを導入した。
このデータセットは、さまざまなシナリオから学習し、現実のアプリケーションに一般化することを可能にする。
本研究では,感情特異的エンコーダによる音声,視覚,テキスト入力をシームレスに統合するモデルであるEmotion-LLaMAを提案する。
論文 参考訳（メタデータ） (2024-06-17T03:01:22Z) - SemEval-2024 Task 3: Multimodal Emotion Cause Analysis in Conversations [53.60993109543582]
SemEval-2024 Task 3 "Multimodal Emotion Cause Analysis in Conversations" は、会話からすべての感情とそれに対応する原因を抽出することを目的としている。
異なるモダリティ設定の下では、2つのサブタスクから構成される: 会話におけるテキスト感情因果ペア抽出(TECPE)と会話におけるマルチモーダル感情因果ペア抽出(MECPE)である。
本稿では,タスク,データセット,評価設定について紹介し,トップチームのシステムを要約し,参加者の知見について議論する。
論文 参考訳（メタデータ） (2024-05-19T09:59:00Z) - LyS at SemEval-2024 Task 3: An Early Prototype for End-to-End Multimodal Emotion Linking as Graph-Based Parsing [7.466159270333272]
本稿では,会話におけるマルチモーダル感情原因分析に着目したSemEval 2024 Task 3への参加について述べる。
我々は,多人数会話における因果関係の同定にグラフベースの手法を用いたエンドツーエンドシステムの初期プロトタイプを開発した。
論文 参考訳（メタデータ） (2024-05-10T14:03:37Z) - PetKaz at SemEval-2024 Task 3: Advancing Emotion Classification with an LLM for Emotion-Cause Pair Extraction in Conversations [4.463184061618504]
我々はSemEval-2023タスク3「会話におけるマルチモーダル感情原因分析の競争」に応募する。
我々のアプローチは感情分類のための微調整GPT-3.5と、原因を検出するためのBiLSTMベースのニューラルネットワークの組み合わせに依存している。
論文 参考訳（メタデータ） (2024-04-08T13:25:03Z) - LastResort at SemEval-2024 Task 3: Exploring Multimodal Emotion Cause Pair Extraction as Sequence Labelling Task [3.489826905722736]
SemEval 2024は会話におけるマルチモーダル感情原因分析のタスクを導入している。
本稿では,この課題を発話ラベリングとシーケンスラベリングの問題として扱うモデルを提案する。
このタスクの公式リーダーボードでは、私たちのアーキテクチャは8位にランクされ、リーダーボードのF1スコアは0.1759でした。
論文 参考訳（メタデータ） (2024-04-02T16:32:49Z) - JMI at SemEval 2024 Task 3: Two-step approach for multimodal ECAC using in-context learning with GPT and instruction-tuned Llama models [0.9736758288065405]
本稿では,SemEval-2024タスク3におけるシステム開発について述べる:「会話におけるマルチモーダル感情原因分析の競争」
人間の会話における感情を効果的に捉えるには、テキスト、オーディオ、ビデオなどの複数のモダリティを統合する必要がある。
提案手法は2段階の枠組みでこれらの課題に対処する。
論文 参考訳（メタデータ） (2024-03-05T12:07:18Z) - SemEval 2024 -- Task 10: Emotion Discovery and Reasoning its Flip in
Conversation (EDiReF) [61.49972925493912]
SemEval-2024 Task 10は、コードミキシングされた対話における感情の識別に焦点を当てた共有タスクである。
このタスクは3つの異なるサブタスクから構成される - コードミックス対話のための会話における感情認識、コードミックス対話のための感情フリップ推論、および英語対話のための感情フリップ推論である。
このタスクには84人の参加者が参加し、各サブタスクのF1スコアは0.70、0.79、0.76に達した。
論文 参考訳（メタデータ） (2024-02-29T08:20:06Z) - MER 2023: Multi-label Learning, Modality Robustness, and Semi-Supervised
Learning [90.17500229142755]
第1回マルチモーダル感情認識チャレンジ(MER 2023)は、ACMマルチメディアで成功した。
本稿では、この課題の背景にある動機を紹介し、ベンチマークデータセットを説明し、参加者に関する統計情報を提供する。
この高品質なデータセットは、特に中国の研究コミュニティにとって、マルチモーダルな感情認識の新しいベンチマークになり得ると考えています。
論文 参考訳（メタデータ） (2023-04-18T13:23:42Z) - MSCTD: A Multimodal Sentiment Chat Translation Dataset [66.81525961469494]
マルチモーダルチャット翻訳(MCT)という新しいタスクを導入する。
MCTは、関連する対話履歴と視覚的コンテキストの助けを借りて、より正確な翻訳を生成することを目的としている。
本研究は,マルチモーダルチャット翻訳とマルチモーダル対話感情分析の両方の研究を容易にする。
論文 参考訳（メタデータ） (2022-02-28T09:40:46Z) - UPB at SemEval-2020 Task 8: Joint Textual and Visual Modeling in a
Multi-Task Learning Architecture for Memotion Analysis [1.2233362977312945]
本稿では,SemEval-2020 Task 8: Memotion Analysisのためのシステムについて述べる。
テキストエンコーディングのためのALBERTと画像表現のためのVGG-16を組み合わせたマルチモーダルマルチタスク学習アーキテクチャである。
提案手法は,第11位がSubtask A(0.3453マクロF1スコア),第1位がSubtask B(0.5183マクロF1スコア),第3位がSubtask C(0.3171マクロF1スコア)である。
論文 参考訳（メタデータ） (2020-09-06T17:17:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。