論文の概要: Improving Speech Emotion Recognition Through Focus and Calibration Attention Mechanisms

• arxiv url: http://arxiv.org/abs/2208.10491v1
• Date: Sun, 21 Aug 2022 08:04:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-24 12:50:28.970443
• Title: Improving Speech Emotion Recognition Through Focus and Calibration Attention Mechanisms
• Title（参考訳）: 焦点・校正注意機構による音声感情認識の改善
• Authors: Junghun Kim, Yoojin An, Jihie Kim
• Abstract要約: 既存のマルチヘッド自己注意における注意と信号振幅の相違を同定する。 そこで本研究では,マルチヘッド・セルフアテンションと組み合わせて,フォーカス・アテンション(FA)機構とノベル・アテンション(CA)機構を提案する。 CA機構を利用することで、異なる重みをそれぞれのアテンションヘッドに割り当てることで、情報フローを変調し、周囲のコンテキストの利用を改善することができる。
• 参考スコア（独自算出の注目度）: 0.5994412766684842
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Attention has become one of the most commonly used mechanisms in deep learning approaches. The attention mechanism can help the system focus more on the feature space's critical regions. For example, high amplitude regions can play an important role for Speech Emotion Recognition (SER). In this paper, we identify misalignments between the attention and the signal amplitude in the existing multi-head self-attention. To improve the attention area, we propose to use a Focus-Attention (FA) mechanism and a novel Calibration-Attention (CA) mechanism in combination with the multi-head self-attention. Through the FA mechanism, the network can detect the largest amplitude part in the segment. By employing the CA mechanism, the network can modulate the information flow by assigning different weights to each attention head and improve the utilization of surrounding contexts. To evaluate the proposed method, experiments are performed with the IEMOCAP and RAVDESS datasets. Experimental results show that the proposed framework significantly outperforms the state-of-the-art approaches on both datasets.
• Abstract（参考訳）: ディープラーニングアプローチでは、注意が最も一般的に使われるメカニズムの1つになっている。 注意機構は、システムが機能領域の臨界領域にもっと焦点を合わせるのに役立つ。 例えば、高振幅領域は、音声感情認識(SER)において重要な役割を果たす。 本稿では,既存のマルチヘッド自己注意における注意と信号振幅のずれを同定する。 注意領域を改善するため,マルチヘッドセルフアテンションと組み合わせて,フォーカスアテンション(fa)機構と新しいキャリブレーションアテンション(ca)機構を用いることを提案する。 FA機構により、ネットワークはセグメントの最大の振幅部分を検出することができる。 CA機構を利用することで、異なる重みをそれぞれのアテンションヘッドに割り当てることで、情報フローを変調し、周囲のコンテキストの利用を改善することができる。 提案手法を評価するため,IEMOCAPおよびRAVDESSデータセットを用いて実験を行った。 実験結果から,提案手法は両データセットの最先端手法よりも優れていた。

関連論文リスト

• Enhancing Efficiency in Vision Transformer Networks: Design Techniques and Insights [5.798431829723857]
  本稿では、視覚変換器(ViT)ネットワークにおける注意機構の設計手法と洞察を包括的に探求する。 再設計したアプローチを応用した,ViT内の様々な注意機構の系統分類法を提案する。 この分析には、新規性、強み、弱み、そして提案された様々な戦略の詳細な評価が含まれる。
  論文  参考訳（メタデータ） (2024-03-28T23:31:59Z)
• Towards Robust Semantic Segmentation against Patch-based Attack via Attention Refinement [68.31147013783387]
  我々は,アテンション機構がパッチベースの敵攻撃に弱いことを観察した。 本稿では,意味的セグメンテーションモデルの堅牢性を改善するために,ロバスト注意機構(RAM)を提案する。
  論文  参考訳（メタデータ） (2024-01-03T13:58:35Z)
• Switchable Self-attention Module [3.8992324495848356]
  自己注意モジュールSEMを提案する。 SEMは、アテンションモジュールと代替アテンション演算子の入力情報に基づいて、自動的にアテンション演算子を選択し、統合してアテンションマップを計算することができる。 SEMの有効性は、広く使われているベンチマークデータセットと一般的な自己注意ネットワークに関する広範な実験によって実証されている。
  論文  参考訳（メタデータ） (2022-09-13T01:19:38Z)
• Global Attention Mechanism: Retain Information to Enhance Channel-Spatial Interactions [1.4438155481047366]
  本稿では,情報低減とグローバルな対話表現の増大により,ディープニューラルネットワークの性能を高めるグローバルアテンション機構を提案する。 CIFAR-100 と ImageNet-1K による画像分類処理の機構の評価は,ResNet と軽量 MobileNet の双方による近年の注目機構を安定的に上回っていることを示す。
  論文  参考訳（メタデータ） (2021-12-10T14:12:32Z)
• Alignment Attention by Matching Key and Query Distributions [48.93793773929006]
  本稿では,各ヘッダ内のキーとクエリの分布を一致させる自己注意を促すアライメントアテンションアテンションアテンションアテンションアテンションを導入している。 事前学習したモデルを含む自己注意のモデルはすべて、提案したアライメントアテンションアテンションアテンションに変換することが簡単である。 様々な言語理解タスクにおいて, 精度, 不確実性推定, ドメイン間の一般化, 敵攻撃に対する堅牢性などの手法の有効性を示す。
  論文  参考訳（メタデータ） (2021-10-25T00:54:57Z)
• Counterfactual Attention Learning for Fine-Grained Visual Categorization and Re-identification [101.49122450005869]
  本稿では,因果推論に基づくより効果的な注意力学習法を提案する。 具体的には,学習した視覚的注意がネットワーク予測に与える影響を分析する。 本手法は,広範囲の粒度認識タスクにおいて評価する。
  論文  参考訳（メタデータ） (2021-08-19T14:53:40Z)
• Repulsive Attention: Rethinking Multi-head Attention as Bayesian Inference [68.12511526813991]
  ベイズの視点からの多面的注目の新たな理解を提供する。 マルチヘッドアテンションにおける反発性を明示的に改善する非パラメトリックアプローチを提案する。 様々な注意モデルや応用実験により、提案された反発的注意が学習された特徴の多様性を向上させることが示されている。
  論文  参考訳（メタデータ） (2020-09-20T06:32:23Z)
• Linear Attention Mechanism: An Efficient Attention for Semantic Segmentation [2.9488233765621295]
  線形注意機構は、メモリと計算コストをはるかに少なくしてドット積の注意に近似する。 意味的セグメンテーションで行った実験は、線形注意機構の有効性を実証した。
  論文  参考訳（メタデータ） (2020-07-29T15:18:46Z)
• Deep Reinforced Attention Learning for Quality-Aware Visual Recognition [73.15276998621582]
  我々は,任意の畳み込みニューラルネットワークにおける中間注意マップの弱教師付き生成機構を構築した。 メタ批評家ネットワークを導入し、メインネットワークにおける注目マップの質を評価する。
  論文  参考訳（メタデータ） (2020-07-13T02:44:38Z)
• ADRN: Attention-based Deep Residual Network for Hyperspectral Image Denoising [52.01041506447195]
  ノイズの多いHSIからクリーンなHSIへのマッピングを学習するために,注目に基づくディープ残差ネットワークを提案する。 実験の結果,提案手法は定量的および視覚的評価において最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-03-04T08:36:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。