論文の概要: Milmer: a Framework for Multiple Instance Learning based Multimodal Emotion Recognition

• arxiv url: http://arxiv.org/abs/2502.00547v1
• Date: Sat, 01 Feb 2025 20:32:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:01:42.130858
• Title: Milmer: a Framework for Multiple Instance Learning based Multimodal Emotion Recognition
• Title（参考訳）: Milmer: 複数のインスタンス学習に基づくマルチモーダル感情認識フレームワーク
• Authors: Zaitian Wang, Jian He, Yu Liang, Xiyuan Hu, Tianhao Peng, Kaixin Wang, Jiakai Wang, Chenlong Zhang, Weili Zhang, Shuang Niu, Xiaoyang Xie,
• Abstract要約: 本研究は,表情解析と脳波信号の統合による感情認識の課題に対処する。 提案するフレームワークは、視覚的および生理的モダリティを効果的に統合するために、トランスフォーマーベースの融合アプローチを採用している。 この研究の重要な革新は、複数の表情画像から意味のある情報を抽出する多重インスタンス学習(MIL)アプローチの採用である。
• 参考スコア（独自算出の注目度）: 16.616341358877243
• License:
• Abstract: Emotions play a crucial role in human behavior and decision-making, making emotion recognition a key area of interest in human-computer interaction (HCI). This study addresses the challenges of emotion recognition by integrating facial expression analysis with electroencephalogram (EEG) signals, introducing a novel multimodal framework-Milmer. The proposed framework employs a transformer-based fusion approach to effectively integrate visual and physiological modalities. It consists of an EEG preprocessing module, a facial feature extraction and balancing module, and a cross-modal fusion module. To enhance visual feature extraction, we fine-tune a pre-trained Swin Transformer on emotion-related datasets. Additionally, a cross-attention mechanism is introduced to balance token representation across modalities, ensuring effective feature integration. A key innovation of this work is the adoption of a multiple instance learning (MIL) approach, which extracts meaningful information from multiple facial expression images over time, capturing critical temporal dynamics often overlooked in previous studies. Extensive experiments conducted on the DEAP dataset demonstrate the superiority of the proposed framework, achieving a classification accuracy of 96.72% in the four-class emotion recognition task. Ablation studies further validate the contributions of each module, highlighting the significance of advanced feature extraction and fusion strategies in enhancing emotion recognition performance. Our code are available at https://github.com/liangyubuaa/Milmer.
• Abstract（参考訳）: 感情は人間の行動や意思決定において重要な役割を担い、人間とコンピュータの相互作用(HCI)において感情認識が重要な関心領域となっている。 本研究では,表情解析と脳波信号の統合による感情認識の課題に対処し,新しいマルチモーダルフレームワークであるMilmerを導入する。 提案するフレームワークは、視覚的および生理的モダリティを効果的に統合するために、トランスフォーマーベースの融合アプローチを採用している。 EEG前処理モジュール、顔の特徴抽出とバランスモジュール、モーダル融合モジュールで構成される。 視覚的特徴抽出を強化するために,感情関連データセットに事前学習したスウィントランスを微調整する。 さらに、モダリティ間のトークン表現のバランスをとるために、クロスアテンション機構が導入され、効果的な機能統合が保証される。 この研究の重要な革新は、MIL(Multiple Case Learning)アプローチの採用である。これは、複数の表情画像から時間とともに意味のある情報を抽出し、以前の研究でしばしば見落とされた重要な時間的ダイナミクスをキャプチャする。 DEAPデータセットで実施された大規模な実験は、提案されたフレームワークの優位性を実証し、4クラス感情認識タスクにおいて96.72%の分類精度を達成した。 アブレーション研究は各モジュールの寄与をさらに検証し、感情認識能力を高めるための高度な特徴抽出と融合戦略の重要性を強調した。 私たちのコードはhttps://github.com/liangyubuaa/Milmer.comで公開されています。

関連論文リスト

• A Novel Approach to for Multimodal Emotion Recognition : Multimodal semantic information fusion [3.1409950035735914]
  本稿では,コントラスト学習と視覚的シーケンス圧縮を統合した新しいマルチモーダル感情認識手法であるDeepMSI-MERを提案する。 2つの公開データセット(IEMOCAPとMELD)の実験結果から、DeepMSI-MERは感情認識の精度と堅牢性を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2025-02-12T17:07:43Z)
• Multi-modal Mood Reader: Pre-trained Model Empowers Cross-Subject Emotion Recognition [23.505616142198487]
  我々は、クロスオブジェクト感情認識のための訓練済みモデルに基づくMultimodal Mood Readerを開発した。 このモデルは、大規模データセットの事前学習を通じて、脳波信号の普遍的な潜在表現を学習する。 公開データセットに関する大規模な実験は、クロスオブジェクト感情認識タスクにおけるMood Readerの優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-05-28T14:31:11Z)
• Self-supervised Gait-based Emotion Representation Learning from Selective Strongly Augmented Skeleton Sequences [4.740624855896404]
  自己教師型歩行に基づく感情表現のための選択的強強化を利用したコントラスト学習フレームワークを提案する。 提案手法はEmotion-Gait (E-Gait) と Emilya のデータセットで検証され, 異なる評価プロトコル下での最先端手法よりも優れている。
  論文  参考訳（メタデータ） (2024-05-08T09:13:10Z)
• AIMDiT: Modality Augmentation and Interaction via Multimodal Dimension Transformation for Emotion Recognition in Conversations [57.99479708224221]
  AIMDiTと呼ばれる新しいフレームワークを提案し、深い特徴のマルチモーダル融合の問題を解決する。 公開ベンチマークデータセットMELDでAIMDiTフレームワークを使用して行った実験では、Acc-7とw-F1メトリクスの2.34%と2.87%の改善が明らかにされた。
  論文  参考訳（メタデータ） (2024-04-12T11:31:18Z)
• Joint Multimodal Transformer for Emotion Recognition in the Wild [49.735299182004404]
  マルチモーダル感情認識(MMER)システムは、通常、単調なシステムよりも優れている。 本稿では,キーベースのクロスアテンションと融合するために,ジョイントマルチモーダルトランス (JMT) を利用するMMER法を提案する。
  論文  参考訳（メタデータ） (2024-03-15T17:23:38Z)
• Interpretable Multimodal Emotion Recognition using Facial Features and Physiological Signals [16.549488750320336]
  視覚的な顔の特徴や、入力ビデオから抽出したr信号から情報を融合することで、感情理解のためのマルチモーダルフレームワークを導入する。 置換重要度分析に基づく解釈可能性技術も実装されている。
  論文  参考訳（メタデータ） (2023-06-05T12:57:07Z)
• Multimodal Emotion Recognition using Transfer Learning from Speaker Recognition and BERT-based models [53.31917090073727]
  本稿では,音声とテキストのモダリティから,伝達学習モデルと微調整モデルとを融合したニューラルネットワークによる感情認識フレームワークを提案する。 本稿では,対話型感情的モーションキャプチャー・データセットにおけるマルチモーダル・アプローチの有効性を評価する。
  論文  参考訳（メタデータ） (2022-02-16T00:23:42Z)
• MMLatch: Bottom-up Top-down Fusion for Multimodal Sentiment Analysis [84.7287684402508]
  マルチモーダル融合に対する最近のディープラーニングアプローチは、ハイレベルおよびミドルレベルの潜在モダリティ表現のボトムアップ融合に依存している。 人間の知覚モデルでは、高レベルの表現が感覚入力の知覚に影響を及ぼすトップダウン融合の重要性を強調している。 本稿では,ネットワークトレーニング中のフォワードパスにおけるフィードバック機構を用いて,トップダウンのクロスモーダルインタラクションをキャプチャするニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2022-01-24T17:48:04Z)
• Cross Attentional Audio-Visual Fusion for Dimensional Emotion Recognition [13.994609732846344]
  最も効果的な感情認識技術は、多種多様な情報ソースを効果的に活用する。 本稿では,音声視覚(A-V)モダリティ間で有意な特徴を抽出するための相互注意型融合手法を提案する。 その結果、我々のA-V融合モデルは、最先端の融合アプローチよりも優れたコスト効率のアプローチであることが示唆された。
  論文  参考訳（メタデータ） (2021-11-09T16:01:56Z)
• Improved Speech Emotion Recognition using Transfer Learning and Spectrogram Augmentation [56.264157127549446]
  音声感情認識(SER)は、人間とコンピュータの相互作用において重要な役割を果たす課題である。 SERの主な課題の1つは、データの不足である。 本稿では,スペクトログラム拡張と併用した移動学習戦略を提案する。
  論文  参考訳（メタデータ） (2021-08-05T10:39:39Z)
• Continuous Emotion Recognition via Deep Convolutional Autoencoder and Support Vector Regressor [70.2226417364135]
  マシンはユーザの感情状態を高い精度で認識できることが不可欠である。 ディープニューラルネットワークは感情を認識する上で大きな成功を収めている。 表情認識に基づく連続的感情認識のための新しいモデルを提案する。
  論文  参考訳（メタデータ） (2020-01-31T17:47:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。