論文の概要: Emotion Recognition with Pre-Trained Transformers Using Multimodal
Signals
- arxiv url: http://arxiv.org/abs/2212.13885v1
- Date: Thu, 22 Dec 2022 14:32:52 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-01 13:56:26.154442
- Title: Emotion Recognition with Pre-Trained Transformers Using Multimodal
Signals
- Title(参考訳): マルチモーダル信号を用いた事前学習トランスフォーマーによる感情認識
- Authors: Juan Vazquez-Rodriguez (M-PSI), Gr\'egoire Lefebvre, Julien Cumin,
James L Crowley (M-PSI)
- Abstract要約: このタスクにはトランスフォーマーベースのアプローチが適していることを示す。
本稿では、感情認識性能を向上させるために、そのようなモデルをマルチモーダルシナリオで事前訓練する方法について述べる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we address the problem of multimodal emotion recognition from
multiple physiological signals. We demonstrate that a Transformer-based
approach is suitable for this task. In addition, we present how such models may
be pretrained in a multimodal scenario to improve emotion recognition
performances. We evaluate the benefits of using multimodal inputs and
pre-training with our approach on a state-ofthe-art dataset.
- Abstract(参考訳): 本稿では,複数の生理的信号からのマルチモーダル感情認識の問題に対処する。
このタスクにはトランスフォーマーベースのアプローチが適していることを示す。
さらに、このようなモデルがマルチモーダルシナリオで事前訓練され、感情認識性能が向上する可能性を示す。
我々は,最先端データセットに対するアプローチを用いて,マルチモーダル入力と事前学習の利点を評価する。
関連論文リスト
- Bridging Modalities: Knowledge Distillation and Masked Training for
Translating Multi-Modal Emotion Recognition to Uni-Modal, Speech-Only Emotion
Recognition [0.0]
本稿では、マルチモーダル感情認識モデルをより実践的なユニモーダルモデルに変換するという課題に対処する革新的なアプローチを提案する。
音声信号から感情を認識することは、人間とコンピュータの相互作用、感情コンピューティング、メンタルヘルスアセスメントにおける重要な課題である。
論文 参考訳(メタデータ) (2024-01-04T22:42:14Z) - Improving Unimodal Inference with Multimodal Transformers [88.83765002648833]
提案手法は,マルチモーダルトランスフォーマーをベースとした単一モーダルモデルを組み込んだマルチブランチアーキテクチャである。
これらの枝を共に訓練することにより、より強いマルチモーダル枝は、その知識をより弱いユニモーダル枝にマルチタスクの目的を通して移すことができる。
本稿では,RGBとDepthに基づく動的手動作認識,音声・顔画像に基づく音声視覚的感情認識,音声・音声音声による感情分析の課題について検討する。
論文 参考訳(メタデータ) (2023-11-16T19:53:35Z) - Brain encoding models based on multimodal transformers can transfer
across language and vision [60.72020004771044]
我々は、マルチモーダルトランスフォーマーの表現を用いて、fMRI応答を物語や映画に転送できるエンコーディングモデルを訓練した。
1つのモードに対する脳の反応に基づいて訓練された符号化モデルは、他のモードに対する脳の反応をうまく予測できることがわかった。
論文 参考訳(メタデータ) (2023-05-20T17:38:44Z) - Multi-scale Transformer-based Network for Emotion Recognition from Multi
Physiological Signals [11.479653866646762]
本稿では,生理学的データから感情認識を行うためのマルチスケールトランスフォーマーを用いた効率的な手法を提案する。
我々のアプローチは、内部信号と人間の感情の関係を確立するために、データのスケーリングと組み合わせたマルチモーダル手法を適用することである。
EPiCコンペティションのCASEデータセットでは,RMSEスコアが1.45。
論文 参考訳(メタデータ) (2023-05-01T11:10:48Z) - Multilevel Transformer For Multimodal Emotion Recognition [6.0149102420697025]
本稿では,微粒化表現と事前学習した発話レベル表現を組み合わせた新しい多粒度フレームワークを提案する。
本研究では,Transformer TTSにインスパイアされたマルチレベルトランスフォーマーモデルを提案する。
論文 参考訳(メタデータ) (2022-10-26T10:31:24Z) - Multimodal Token Fusion for Vision Transformers [54.81107795090239]
変換器を用いた視覚タスクのためのマルチモーダルトークン融合法(TokenFusion)を提案する。
複数のモダリティを効果的に融合させるために、TokenFusionは動的に非形式的トークンを検出し、これらのトークンを投影および集約されたモジュール間特徴に置き換える。
TokenFusionの設計により、トランスフォーマーはマルチモーダル特徴間の相関を学習できるが、シングルモーダルトランスアーキテクチャはほとんど無傷である。
論文 参考訳(メタデータ) (2022-04-19T07:47:50Z) - Multimodal Emotion Recognition using Transfer Learning from Speaker
Recognition and BERT-based models [53.31917090073727]
本稿では,音声とテキストのモダリティから,伝達学習モデルと微調整モデルとを融合したニューラルネットワークによる感情認識フレームワークを提案する。
本稿では,対話型感情的モーションキャプチャー・データセットにおけるマルチモーダル・アプローチの有効性を評価する。
論文 参考訳(メタデータ) (2022-02-16T00:23:42Z) - MMLatch: Bottom-up Top-down Fusion for Multimodal Sentiment Analysis [84.7287684402508]
マルチモーダル融合に対する最近のディープラーニングアプローチは、ハイレベルおよびミドルレベルの潜在モダリティ表現のボトムアップ融合に依存している。
人間の知覚モデルでは、高レベルの表現が感覚入力の知覚に影響を及ぼすトップダウン融合の重要性を強調している。
本稿では,ネットワークトレーニング中のフォワードパスにおけるフィードバック機構を用いて,トップダウンのクロスモーダルインタラクションをキャプチャするニューラルネットワークを提案する。
論文 参考訳(メタデータ) (2022-01-24T17:48:04Z) - MEmoBERT: Pre-training Model with Prompt-based Learning for Multimodal
Emotion Recognition [118.73025093045652]
マルチモーダル感情認識のための事前学習モデル textbfMEmoBERT を提案する。
従来の「訓練前、微妙な」パラダイムとは異なり、下流の感情分類タスクをマスク付きテキスト予測として再構成するプロンプトベースの手法を提案する。
提案するMEMOBERTは感情認識性能を大幅に向上させる。
論文 参考訳(メタデータ) (2021-10-27T09:57:00Z) - Low Rank Fusion based Transformers for Multimodal Sequences [9.507869508188266]
CMU-MOSEI, CMU-MOSI, IEMOCAPデータセットを用いたマルチモーダル知覚と感情認識の2つの手法を提案する。
我々のモデルはより少ないパラメータを持ち、より速く訓練し、多くの大規模な核融合ベースのアーキテクチャと相容れない性能を発揮する。
論文 参考訳(メタデータ) (2020-07-04T08:05:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。