論文の概要: Text- and Feature-based Models for Compound Multimodal Emotion Recognition in the Wild

• arxiv url: http://arxiv.org/abs/2407.12927v1
• Date: Wed, 17 Jul 2024 18:01:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-19 19:43:08.262211
• Title: Text- and Feature-based Models for Compound Multimodal Emotion Recognition in the Wild
• Title（参考訳）: 野生における複合マルチモーダル感情認識のためのテキストモデルと特徴モデル
• Authors: Nicolas Richet, Soufiane Belharbi, Haseeb Aslam, Meike Emilie Schadt, Manuela González-González, Gustave Cortal, Alessandro Lameiras Koerich, Marco Pedersoli, Alain Finkel, Simon Bacon, Eric Granger,
• Abstract要約: 複合的な感情はしばしば現実世界のシナリオで起こり、予測することがより困難である。 標準的な特徴に基づくモデルは、複雑な感情を理解するのに必要な複雑で微妙な手がかりを完全には捉えないかもしれない。 本稿では,ビデオ中の複合ERに対する2つのマルチモーダルモデリング手法を比較する。
• 参考スコア（独自算出の注目度）: 45.29814349246784
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Systems for multimodal Emotion Recognition (ER) commonly rely on features extracted from different modalities (e.g., visual, audio, and textual) to predict the seven basic emotions. However, compound emotions often occur in real-world scenarios and are more difficult to predict. Compound multimodal ER becomes more challenging in videos due to the added uncertainty of diverse modalities. In addition, standard features-based models may not fully capture the complex and subtle cues needed to understand compound emotions. %%%% Since relevant cues can be extracted in the form of text, we advocate for textualizing all modalities, such as visual and audio, to harness the capacity of large language models (LLMs). These models may understand the complex interaction between modalities and the subtleties of complex emotions. Although training an LLM requires large-scale datasets, a recent surge of pre-trained LLMs, such as BERT and LLaMA, can be easily fine-tuned for downstream tasks like compound ER. This paper compares two multimodal modeling approaches for compound ER in videos -- standard feature-based vs. text-based. Experiments were conducted on the challenging C-EXPR-DB dataset for compound ER, and contrasted with results on the MELD dataset for basic ER. Our code is available
• Abstract（参考訳）: マルチモーダル感情認識(ER)システムは、一般的に7つの基本的な感情を予測するために異なるモーダル(例えば、視覚、音声、テキスト)から抽出された特徴に依存している。 しかし、複合感情は現実世界のシナリオでしばしば発生し、予測することがより困難である。 複合マルチモーダルERは、様々なモダリティの不確かさが加わったため、ビデオではより困難になる。 さらに、標準的な特徴に基づくモデルは、複雑な感情を理解するのに必要な複雑で微妙な手がかりを完全には捉えないかもしれない。 %%)をテキスト形式で抽出できるため,大規模言語モデル(LLM)の能力を活用するために,視覚や音声などのすべてのモダリティのテキスト化を提唱する。 これらのモデルは、モダリティと複雑な感情の微妙さの間の複雑な相互作用を理解することができる。 LLMのトレーニングには大規模なデータセットが必要だが、BERTやLLaMAなど、最近トレーニング済みのLLMの急増は、複合ERのような下流タスクに容易に微調整できる。 本稿では,ビデオにおける複合ERの2つのマルチモーダルモデリング手法について比較する。 複合ERのための挑戦的C-EXPR-DBデータセットの実験を行い、基礎ERのためのMELDデータセットと比較した。 私たちのコードは利用可能です

関連論文リスト

• Towards Text-Image Interleaved Retrieval [49.96332254241075]
  テキスト画像検索(TIIR)タスクを導入し、クエリと文書をインターリーブしたテキスト画像シーケンスとする。 我々は、自然にインターリーブされたwikiHowチュートリアルに基づいてTIIRベンチマークを構築し、インターリーブされたクエリを生成するために特定のパイプラインを設計する。 異なる粒度で視覚トークンの数を圧縮する新しいMMEを提案する。
  論文  参考訳（メタデータ） (2025-02-18T12:00:47Z)
• Enriching Multimodal Sentiment Analysis through Textual Emotional Descriptions of Visual-Audio Content [56.62027582702816]
  マルチモーダル・センティメント・アナリティクスは、テキスト、音声、視覚データを融合することで人間の感情を解き放つことを目指している。 しかし、音声やビデオの表現の中で微妙な感情的なニュアンスを認識することは、恐ろしい挑戦だ。 テキストの感情記述に基づくプログレッシブ・フュージョン・フレームワークであるDEVAを紹介する。
  論文  参考訳（メタデータ） (2024-12-12T11:30:41Z)
• AMPLE: Emotion-Aware Multimodal Fusion Prompt Learning for Fake News Detection [0.1499944454332829]
  本稿では,Emotion-textbfAware textbfMultimodal Fusion textbfPrompt textbfLtextbfEarning (textbfAMPLE) フレームワークについて述べる。 このフレームワークは感情分析ツールを利用してテキストから感情要素を抽出する。 次に、マルチヘッドクロスアテンション(MCA)機構と類似性を考慮した融合手法を用いて、マルチモーダルデータを統合する。
  論文  参考訳（メタデータ） (2024-10-21T02:19:24Z)
• Hypergraph Multi-modal Large Language Model: Exploiting EEG and Eye-tracking Modalities to Evaluate Heterogeneous Responses for Video Understanding [25.4933695784155]
  ビデオの創造性と内容の理解はしばしば個人によって異なり、年齢、経験、性別によって焦点や認知レベルが異なる。 実世界のアプリケーションとのギャップを埋めるために,ビデオデータセット用の大規模主観応答指標を導入する。 我々は,異なるユーザ間での映像コンテンツの認知的理解度を分析し,評価するためのタスクとプロトコルを開発した。
  論文  参考訳（メタデータ） (2024-07-11T03:00:26Z)
• Text-Video Retrieval with Global-Local Semantic Consistent Learning [122.15339128463715]
  我々は,シンプルで効果的なグローバル局所意味的一貫性学習(GLSCL)を提案する。 GLSCLは、テキストビデオ検索のためのモダリティをまたいだ潜在共有セマンティクスを活用する。 本手法はSOTAと同等の性能を実現し,計算コストの約220倍の高速化を実現している。
  論文  参考訳（メタデータ） (2024-05-21T11:59:36Z)
• VLLMs Provide Better Context for Emotion Understanding Through Common Sense Reasoning [66.23296689828152]
  我々は、視覚・言語モデルの機能を活用し、文脈内感情分類を強化する。 第1段階では、VLLMが対象者の明らかな感情の自然言語で記述を生成できるように促すことを提案する。 第2段階では、記述を文脈情報として使用し、画像入力とともに、トランスフォーマーベースのアーキテクチャのトレーニングに使用する。
  論文  参考訳（メタデータ） (2024-04-10T15:09:15Z)
• SwitchGPT: Adapting Large Language Models for Non-Text Outputs [28.656227306028743]
  大規模言語モデル(LLM)は主にテキストベースのデータセットに基づいて訓練されている。 LLMは、テキスト出力による複雑な言語命令の理解と実行において、非常に優れた能力を示す。 テキストベースのLLMをマルチモーダルに進化させる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-09-14T11:38:23Z)
• TextMI: Textualize Multimodal Information for Integrating Non-verbal Cues in Pre-trained Language Models [5.668457303716451]
  マルチモーダルな行動分析タスクのための汎用的,競争的なベースラインとして,TextMIを提案する。 我々のアプローチは、モデルの複雑さを著しく減らし、モデルの判断に解釈可能性を追加し、様々なタスクに適用できます。
  論文  参考訳（メタデータ） (2023-03-27T17:54:32Z)
• M2FNet: Multi-modal Fusion Network for Emotion Recognition in Conversation [1.3864478040954673]
  視覚,音声,テキストのモダリティから感情関連特徴を抽出するマルチモーダルフュージョンネットワーク(M2FNet)を提案する。 マルチヘッドアテンションに基づく融合機構を用いて、入力データの感情に富んだ潜在表現を結合する。 提案する特徴抽出器は,音声および視覚データから感情関連特徴を学習するために,適応的マージンに基づく新しい三重項損失関数を用いて訓練される。
  論文  参考訳（メタデータ） (2022-06-05T14:18:58Z)
• Towards Fast Adaptation of Pretrained Contrastive Models for Multi-channel Video-Language Retrieval [70.30052749168013]
  マルチチャンネルビデオ言語検索は、異なるチャンネルからの情報を理解するためにモデルを必要とする。 対照的なマルチモーダルモデルは、画像やビデオやテキストのエンティティの整合に非常に効果的であることが示されている。 これら2つの行を、限られたデータとリソースを持つマルチチャンネルビデオ言語検索に迅速に適応する方法は、明らかではない。
  論文  参考訳（メタデータ） (2022-06-05T01:43:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。