論文の概要: Multimodal Emotion Recognition using Audio-Video Transformer Fusion with Cross Attention

• arxiv url: http://arxiv.org/abs/2407.18552v2
• Date: Thu, 15 Aug 2024 05:14:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-16 17:56:52.387583
• Title: Multimodal Emotion Recognition using Audio-Video Transformer Fusion with Cross Attention
• Title（参考訳）: クロスアテンションを用いたオーディオ・ビデオ変換器フュージョンを用いたマルチモーダル感情認識
• Authors: Joe Dhanith P R, Shravan Venkatraman, Modigari Narendra, Vigya Sharma, Santhosh Malarvannan, Amir H. Gandomi,
• Abstract要約: マルチモーダル感情認識は、特に同期、特徴抽出、多様なデータソースの融合において重要な課題に直面します。 本稿では,Audio-Video Transformer Fusion with Cross Attention (AVT-CA)という新しいトランスモデルを提案する。 AVT-CAは,実践的応用のための正確で信頼性の高いマルチモーダル感情認識システムの開発において重要であることを示す。
• 参考スコア（独自算出の注目度）: 6.951472438774211
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Understanding emotions is a fundamental aspect of human communication. Integrating audio and video signals offers a more comprehensive understanding of emotional states compared to traditional methods that rely on a single data source, such as speech or facial expressions. Despite its potential, multimodal emotion recognition faces significant challenges, particularly in synchronization, feature extraction, and fusion of diverse data sources. To address these issues, this paper introduces a novel transformer-based model named Audio-Video Transformer Fusion with Cross Attention (AVT-CA). The AVT-CA model employs a transformer fusion approach to effectively capture and synchronize interlinked features from both audio and video inputs, thereby resolving synchronization problems. Additionally, the Cross Attention mechanism within AVT-CA selectively extracts and emphasizes critical features while discarding irrelevant ones from both modalities, addressing feature extraction and fusion challenges. Extensive experimental analysis conducted on the CMU-MOSEI, RAVDESS and CREMA-D datasets demonstrates the efficacy of the proposed model. The results underscore the importance of AVT-CA in developing precise and reliable multimodal emotion recognition systems for practical applications.
• Abstract（参考訳）: 感情を理解することは人間のコミュニケーションの基本的な側面である。 音声とビデオ信号の統合は、音声や表情のような単一のデータソースに依存する従来の方法と比較して、感情状態のより包括的な理解を提供する。 その可能性にもかかわらず、マルチモーダル感情認識は特に同期、特徴抽出、多様なデータソースの融合において重大な課題に直面している。 これらの問題に対処するために,Audio-Video Transformer Fusion with Cross Attention (AVT-CA) という新しいトランスフォーマーモデルを提案する。 AVT-CAモデルは、音声とビデオの両方からリンクされた特徴を効果的にキャプチャし、同期化するために、トランスフォーマー融合方式を採用している。 さらに、AVT-CA内のクロスアテンション機構は、重要な特徴を選択的に抽出し、モダリティから無関係なものを捨て、特徴抽出と融合の課題に対処しながら強調する。 CMU-MOSEI, RAVDESS, CREMA-Dデータセットを用いた大規模実験により, 提案モデルの有効性が示された。 AVT-CAは,実践的応用のための正確で信頼性の高いマルチモーダル感情認識システムの開発において重要である。

関連論文リスト

• AIMDiT: Modality Augmentation and Interaction via Multimodal Dimension Transformation for Emotion Recognition in Conversations [57.99479708224221]
  AIMDiTと呼ばれる新しいフレームワークを提案し、深い特徴のマルチモーダル融合の問題を解決する。 公開ベンチマークデータセットMELDでAIMDiTフレームワークを使用して行った実験では、Acc-7とw-F1メトリクスの2.34%と2.87%の改善が明らかにされた。
  論文  参考訳（メタデータ） (2024-04-12T11:31:18Z)
• Joint Multimodal Transformer for Emotion Recognition in the Wild [49.735299182004404]
  マルチモーダル感情認識(MMER)システムは、通常、単調なシステムよりも優れている。 本稿では,キーベースのクロスアテンションと融合するために,ジョイントマルチモーダルトランス (JMT) を利用するMMER法を提案する。
  論文  参考訳（メタデータ） (2024-03-15T17:23:38Z)
• Computation and Parameter Efficient Multi-Modal Fusion Transformer for Cued Speech Recognition [48.84506301960988]
  Cued Speech (CS) は、聴覚障害者が使用する純粋視覚符号化法である。 自動CS認識(ACSR)は、音声の視覚的手がかりをテキストに書き起こそうとする。
  論文  参考訳（メタデータ） (2024-01-31T05:20:29Z)
• Multimodal Prompt Transformer with Hybrid Contrastive Learning for Emotion Recognition in Conversation [9.817888267356716]
  会話におけるマルチモーダル感情認識(ERC)は2つの問題に直面している。 表現能力の強いモダリティに対して深部感情の手がかり抽出を行った。 特徴フィルタは、表現能力の弱いモダリティのためのマルチモーダルプロンプト情報として設計された。 MPTは、Transformerの各アテンション層にマルチモーダル融合情報を埋め込む。
  論文  参考訳（メタデータ） (2023-10-04T13:54:46Z)
• CFN-ESA: A Cross-Modal Fusion Network with Emotion-Shift Awareness for Dialogue Emotion Recognition [34.24557248359872]
  会話における感情認識のための感情シフト認識型クロスモーダルフュージョンネットワーク(CFN-ESA)を提案する。 CFN-ESAは、ユニモーダルエンコーダ(RUME)、クロスモーダルエンコーダ(ACME)、感情シフトモジュール(LESM)からなる。
  論文  参考訳（メタデータ） (2023-07-28T09:29:42Z)
• A Low-rank Matching Attention based Cross-modal Feature Fusion Method for Conversational Emotion Recognition [54.44337276044968]
  低ランクマッチング注意法(LMAM)と呼ばれる新しい軽量クロスモーダル機能融合法を提案する。 LMAMは、会話における文脈的感情的意味情報を効果的に捉え、自己認識機構によって引き起こされる二次的複雑性問題を緩和する。 実験により, LMAMの軽量化を前提として, 他の一般的な相互拡散法と比較し, LMAMの優位性を検証した。
  論文  参考訳（メタデータ） (2023-06-16T16:02:44Z)
• M2FNet: Multi-modal Fusion Network for Emotion Recognition in Conversation [1.3864478040954673]
  視覚,音声,テキストのモダリティから感情関連特徴を抽出するマルチモーダルフュージョンネットワーク(M2FNet)を提案する。 マルチヘッドアテンションに基づく融合機構を用いて、入力データの感情に富んだ潜在表現を結合する。 提案する特徴抽出器は,音声および視覚データから感情関連特徴を学習するために,適応的マージンに基づく新しい三重項損失関数を用いて訓練される。
  論文  参考訳（メタデータ） (2022-06-05T14:18:58Z)
• A Joint Cross-Attention Model for Audio-Visual Fusion in Dimensional Emotion Recognition [46.443866373546726]
  ビデオから抽出した顔と声の融合に基づく次元的感情認識に焦点を当てた。 本稿では, 相補的関係に依拠し, 有意な特徴を抽出する連係関係モデルを提案する。 提案したA-V融合モデルにより,最先端の手法より優れたコスト効率のソリューションが提供される。
  論文  参考訳（メタデータ） (2022-03-28T14:09:43Z)
• Multimodal Emotion Recognition using Transfer Learning from Speaker Recognition and BERT-based models [53.31917090073727]
  本稿では,音声とテキストのモダリティから,伝達学習モデルと微調整モデルとを融合したニューラルネットワークによる感情認識フレームワークを提案する。 本稿では,対話型感情的モーションキャプチャー・データセットにおけるマルチモーダル・アプローチの有効性を評価する。
  論文  参考訳（メタデータ） (2022-02-16T00:23:42Z)
• Cross Attentional Audio-Visual Fusion for Dimensional Emotion Recognition [13.994609732846344]
  最も効果的な感情認識技術は、多種多様な情報ソースを効果的に活用する。 本稿では,音声視覚(A-V)モダリティ間で有意な特徴を抽出するための相互注意型融合手法を提案する。 その結果、我々のA-V融合モデルは、最先端の融合アプローチよりも優れたコスト効率のアプローチであることが示唆された。
  論文  参考訳（メタデータ） (2021-11-09T16:01:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。