論文の概要: Attentive Cross-modal Connections for Deep Multimodal Wearable-based
Emotion Recognition
- arxiv url: http://arxiv.org/abs/2108.02241v1
- Date: Wed, 4 Aug 2021 18:40:32 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-07 01:47:59.930817
- Title: Attentive Cross-modal Connections for Deep Multimodal Wearable-based
Emotion Recognition
- Title(参考訳): ディープマルチモーダルウェアラブルに基づく感情認識のための注意クロスモーダル接続
- Authors: Anubhav Bhatti, Behnam Behinaein, Dirk Rodenburg, Paul Hungler, Ali
Etemad
- Abstract要約: 本稿では、畳み込みニューラルネットワーク間で情報を共有するための、新しい注意深いクロスモーダル接続を提案する。
具体的には、EDAとECGの中間表現を共有することにより、感情分類を改善する。
実験の結果,提案手法は強いマルチモーダル表現を学習し,多くのベースライン法より優れていることがわかった。
- 参考スコア(独自算出の注目度): 7.559720049837459
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Classification of human emotions can play an essential role in the design and
improvement of human-machine systems. While individual biological signals such
as Electrocardiogram (ECG) and Electrodermal Activity (EDA) have been widely
used for emotion recognition with machine learning methods, multimodal
approaches generally fuse extracted features or final classification/regression
results to boost performance. To enhance multimodal learning, we present a
novel attentive cross-modal connection to share information between
convolutional neural networks responsible for learning individual modalities.
Specifically, these connections improve emotion classification by sharing
intermediate representations among EDA and ECG and apply attention weights to
the shared information, thus learning more effective multimodal embeddings. We
perform experiments on the WESAD dataset to identify the best configuration of
the proposed method for emotion classification. Our experiments show that the
proposed approach is capable of learning strong multimodal representations and
outperforms a number of baselines methods.
- Abstract(参考訳): 人間の感情の分類は、ヒューマンマシンシステムの設計と改善において重要な役割を果たす。
心電図(ECG)や心電図(EDA)などの個々の生体信号が機械学習手法による感情認識に広く用いられているが、マルチモーダルアプローチは一般的に抽出された特徴や最終分類/回帰結果を融合して性能を高める。
マルチモーダル学習を強化するために,各モーダルの学習に責任を負う畳み込みニューラルネットワーク間で情報を共有する,新しい注意型相互モーダル接続を提案する。
具体的には、EDAとECGの中間表現を共有して感情分類を改善し、共有情報に注意重みを適用し、より効果的なマルチモーダル埋め込みを学習する。
提案する感情分類手法の最適な構成を特定するため,wesadデータセット上で実験を行った。
実験の結果,提案手法は強いマルチモーダル表現を学習し,多くのベースライン法より優れていることがわかった。
関連論文リスト
- Multi-modal Mood Reader: Pre-trained Model Empowers Cross-Subject Emotion Recognition [23.505616142198487]
我々は、クロスオブジェクト感情認識のための訓練済みモデルに基づくMultimodal Mood Readerを開発した。
このモデルは、大規模データセットの事前学習を通じて、脳波信号の普遍的な潜在表現を学習する。
公開データセットに関する大規模な実験は、クロスオブジェクト感情認識タスクにおけるMood Readerの優れたパフォーマンスを示している。
論文 参考訳(メタデータ) (2024-05-28T14:31:11Z) - MMA-DFER: MultiModal Adaptation of unimodal models for Dynamic Facial Expression Recognition in-the-wild [81.32127423981426]
実世界のアプリケーションでは,音声およびビデオデータに基づくマルチモーダル感情認識が重要である。
近年の手法は、強力なマルチモーダルエンコーダの事前学習に自己教師付き学習(SSL)の進歩を活用することに重点を置いている。
SSL-pre-trained disimodal encoders を用いて,この問題に対する異なる視点とマルチモーダル DFER の性能向上について検討する。
論文 参考訳(メタデータ) (2024-04-13T13:39:26Z) - Joint Multimodal Transformer for Emotion Recognition in the Wild [49.735299182004404]
マルチモーダル感情認識(MMER)システムは、通常、単調なシステムよりも優れている。
本稿では,キーベースのクロスアテンションと融合するために,ジョイントマルチモーダルトランス (JMT) を利用するMMER法を提案する。
論文 参考訳(メタデータ) (2024-03-15T17:23:38Z) - Multimodal Visual-Tactile Representation Learning through
Self-Supervised Contrastive Pre-Training [0.850206009406913]
MViTacは、コントラスト学習を利用して視覚と触覚を自己指導的に統合する新しい手法である。
両方の感覚入力を利用することで、MViTacは学習表現のモダリティ内およびモダリティ間損失を利用して、材料特性の分類を強化し、より適切な把握予測を行う。
論文 参考訳(メタデータ) (2024-01-22T15:11:57Z) - Hypercomplex Multimodal Emotion Recognition from EEG and Peripheral
Physiological Signals [7.293063257956068]
本稿では,パラメータ化ハイパーコンプレックス乗算を含む新しい融合モジュールを備えたハイパーコンプレックス・マルチモーダルネットワークを提案する。
我々は,脳波(EEG)および末梢生理信号から価値と覚醒値の分類を行い,公開されているMAHNOB-HCIを用いて検討した。
論文 参考訳(メタデータ) (2023-10-11T16:45:44Z) - Multimodal Emotion Recognition using Transfer Learning from Speaker
Recognition and BERT-based models [53.31917090073727]
本稿では,音声とテキストのモダリティから,伝達学習モデルと微調整モデルとを融合したニューラルネットワークによる感情認識フレームワークを提案する。
本稿では,対話型感情的モーションキャプチャー・データセットにおけるマルチモーダル・アプローチの有効性を評価する。
論文 参考訳(メタデータ) (2022-02-16T00:23:42Z) - MEmoBERT: Pre-training Model with Prompt-based Learning for Multimodal
Emotion Recognition [118.73025093045652]
マルチモーダル感情認識のための事前学習モデル textbfMEmoBERT を提案する。
従来の「訓練前、微妙な」パラダイムとは異なり、下流の感情分類タスクをマスク付きテキスト予測として再構成するプロンプトベースの手法を提案する。
提案するMEMOBERTは感情認識性能を大幅に向上させる。
論文 参考訳(メタデータ) (2021-10-27T09:57:00Z) - Relational Graph Learning on Visual and Kinematics Embeddings for
Accurate Gesture Recognition in Robotic Surgery [84.73764603474413]
本稿では,マルチモーダルグラフネットワーク(MRG-Net)の新たなオンラインアプローチを提案し,視覚情報とキネマティクス情報を動的に統合する。
本手法の有効性は, JIGSAWSデータセット上での最先端の成果で実証された。
論文 参考訳(メタデータ) (2020-11-03T11:00:10Z) - Cross-individual Recognition of Emotions by a Dynamic Entropy based on
Pattern Learning with EEG features [2.863100352151122]
複数の個体の神経生理学的特徴に関連する情報的指標を抽象化するために,動的エントロピーに基づくパターン学習(DEPL)として表されるディープラーニングフレームワークを提案する。
DEPLは、ダイナミックエントロピーに基づく特徴の皮質位置間の相互依存性をモデル化することにより、ディープ畳み込みニューラルネットワークによって生成された表現の能力を向上した。
論文 参考訳(メタデータ) (2020-09-26T07:22:07Z) - Multi-Scale Neural network for EEG Representation Learning in BCI [2.105172041656126]
本稿では,複数の周波数/時間範囲における特徴表現を探索する深層多スケールニューラルネットワークを提案する。
スペクトル時間情報を用いた脳波信号の表現により,提案手法を多種多様なパラダイムに応用することができる。
論文 参考訳(メタデータ) (2020-03-02T04:06:47Z) - Unpaired Multi-modal Segmentation via Knowledge Distillation [77.39798870702174]
本稿では,不対向画像分割のための新しい学習手法を提案する。
提案手法では,CTおよびMRI間での畳み込みカーネルの共有により,ネットワークパラメータを多用する。
我々は2つの多クラスセグメンテーション問題に対するアプローチを広範囲に検証した。
論文 参考訳(メタデータ) (2020-01-06T20:03:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。