論文の概要: Modulated Fusion using Transformer for Linguistic-Acoustic Emotion
Recognition
- arxiv url: http://arxiv.org/abs/2010.02057v1
- Date: Mon, 5 Oct 2020 14:46:20 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-10 21:06:21.777474
- Title: Modulated Fusion using Transformer for Linguistic-Acoustic Emotion
Recognition
- Title(参考訳): 言語音響感情認識のためのトランスフォーマを用いた変調融合
- Authors: Jean-Benoit Delbrouck and No\'e Tits and St\'ephane Dupont
- Abstract要約: 本稿では,感情認識と感情分析のタスクに軽量で強力なソリューションを提供することを目的とする。
我々のモチベーションは、トランスフォーマーと変調に基づく2つのアーキテクチャを提案することである。
- 参考スコア(独自算出の注目度): 7.799182201815763
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper aims to bring a new lightweight yet powerful solution for the task
of Emotion Recognition and Sentiment Analysis. Our motivation is to propose two
architectures based on Transformers and modulation that combine the linguistic
and acoustic inputs from a wide range of datasets to challenge, and sometimes
surpass, the state-of-the-art in the field. To demonstrate the efficiency of
our models, we carefully evaluate their performances on the IEMOCAP, MOSI,
MOSEI and MELD dataset. The experiments can be directly replicated and the code
is fully open for future researches.
- Abstract(参考訳): 本稿では,感情認識と感情分析のタスクに対して,新しい軽量かつ強力なソリューションを提案する。
我々のモチベーションは、幅広いデータセットから言語的および音響的入力を組み合わせるトランスフォーマーと変調に基づく2つのアーキテクチャを提案することである。
モデルの有効性を実証するため,IEMOCAP,MOSI,MOSEI,MELDデータセットを用いて,その性能を慎重に評価した。
実験は直接複製することができ、コードは将来の研究のために完全にオープンである。
関連論文リスト
- Modality-Agnostic Self-Supervised Learning with Meta-Learned Masked
Auto-Encoder [61.7834263332332]
我々はMasked Auto-Encoder (MAE) を統一されたモダリティに依存しないSSLフレームワークとして開発する。
メタラーニングは,MAEをモダリティに依存しない学習者として解釈する鍵として論じる。
本実験は,Modality-Agnostic SSLベンチマークにおけるMetaMAEの優位性を示す。
論文 参考訳(メタデータ) (2023-10-25T03:03:34Z) - Exploring Attention Mechanisms for Multimodal Emotion Recognition in an
Emergency Call Center Corpus [4.256247917850421]
本稿では、感情認識のためのモダリティ特化モデルの融合戦略について検討する。
多モード核融合は、いずれかの単一モダリティに対して絶対的な4-9%の利得をもたらすことを示す。
また,実生活のCEMOコーパスに対して,音声成分はテキスト情報よりも感情的な情報を符号化することが示唆された。
論文 参考訳(メタデータ) (2023-06-12T13:43:20Z) - A Comprehensive Survey on Applications of Transformers for Deep Learning
Tasks [60.38369406877899]
Transformerは、シーケンシャルデータ内のコンテキスト関係を理解するために自己認識メカニズムを使用するディープニューラルネットワークである。
Transformerモデルは、入力シーケンス要素間の長い依存関係を処理し、並列処理を可能にする。
我々の調査では、トランスフォーマーベースのモデルのためのトップ5のアプリケーションドメインを特定します。
論文 参考訳(メタデータ) (2023-06-11T23:13:51Z) - Improving the Generalizability of Text-Based Emotion Detection by
Leveraging Transformers with Psycholinguistic Features [27.799032561722893]
本稿では,両方向長短期記憶(BiLSTM)ネットワークと変換器モデル(BERT,RoBERTa)を併用したテキストベースの感情検出手法を提案する。
提案したハイブリッドモデルでは,標準的なトランスフォーマーベースアプローチと比較して,分布外データへの一般化能力の向上が期待できる。
論文 参考訳(メタデータ) (2022-12-19T13:58:48Z) - A Comparative Study of Data Augmentation Techniques for Deep Learning
Based Emotion Recognition [11.928873764689458]
感情認識のための一般的なディープラーニングアプローチを包括的に評価する。
音声信号の長距離依存性が感情認識に重要であることを示す。
スピード/レート向上は、モデル間で最も堅牢なパフォーマンス向上を提供する。
論文 参考訳(メタデータ) (2022-11-09T17:27:03Z) - Exploring Multi-Modal Representations for Ambiguity Detection &
Coreference Resolution in the SIMMC 2.0 Challenge [60.616313552585645]
会話型AIにおける効果的なあいまいさ検出と参照解決のためのモデルを提案する。
具体的には,TOD-BERTとLXMERTをベースとしたモデルを用いて,多数のベースラインと比較し,アブレーション実験を行う。
以上の結果から,(1)言語モデルでは曖昧さを検出するためにデータの相関を活用でき,(2)言語モデルではビジョンコンポーネントの必要性を回避できることがわかった。
論文 参考訳(メタデータ) (2022-02-25T12:10:02Z) - Multimodal Emotion Recognition using Transfer Learning from Speaker
Recognition and BERT-based models [53.31917090073727]
本稿では,音声とテキストのモダリティから,伝達学習モデルと微調整モデルとを融合したニューラルネットワークによる感情認識フレームワークを提案する。
本稿では,対話型感情的モーションキャプチャー・データセットにおけるマルチモーダル・アプローチの有効性を評価する。
論文 参考訳(メタデータ) (2022-02-16T00:23:42Z) - Improved Speech Emotion Recognition using Transfer Learning and
Spectrogram Augmentation [56.264157127549446]
音声感情認識(SER)は、人間とコンピュータの相互作用において重要な役割を果たす課題である。
SERの主な課題の1つは、データの不足である。
本稿では,スペクトログラム拡張と併用した移動学習戦略を提案する。
論文 参考訳(メタデータ) (2021-08-05T10:39:39Z) - TransVG: End-to-End Visual Grounding with Transformers [102.11922622103613]
本稿では,画像に対して言語クエリを接地するタスクに対処するためのトランスフォーマティブベースのフレームワークであるtransvgを提案する。
複雑な核融合モジュールは、高い性能でトランスフォーマーエンコーダ層を単純なスタックで置き換えることができることを示す。
論文 参考訳(メタデータ) (2021-04-17T13:35:24Z) - A Transformer-based joint-encoding for Emotion Recognition and Sentiment
Analysis [8.927538538637783]
本稿では,感情認識・感情分析のための変換器を用いた共同符号化(TBJE)について述べる。
Transformerアーキテクチャを使用するのに加えて、モジュールのコアテンションと1つ以上のモダリティを共同でエンコードするスニース層に依存しています。
論文 参考訳(メタデータ) (2020-06-29T11:51:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。