論文の概要: SISER: Speaker-Invariant Speech Emotion Recognition with Entropy-Based Adversarial Training
- arxiv url: http://arxiv.org/abs/2609.02941v1
- Date: Mon, 31 Aug 2026 16:48:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-04 18:28:38.798456
- Title: SISER: Speaker-Invariant Speech Emotion Recognition with Entropy-Based Adversarial Training
- Title(参考訳): SISER:エントロピーに基づく対向学習を用いた話者不変音声感情認識
- Abstract要約: 音声感情認識(SER)は、ラベル付きデータの不足と話者間変動の2つの根本的な課題に直面している。
我々は, SISER (Speaker-Invariant Speech Emotion Recognition) を提案し, wav2vec 2.0 を特徴エンコーダとして, ECAPA-TDNN を話者識別器として統合する。
SISERは60.63%のUAを達成し、ベースライン(51.15%)とwav2vec 2.0(56.46%)を上回った
- 参考スコア(独自算出の注目度): 4.0913617519821255
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Speech emotion recognition (SER) faces two fundamental challenges: scarcity of labeled data and inter-speaker variability, both of which hinder generalization of emotion recognition systems. While prior adversarial approaches address speaker variability, they fall short in leveraging powerful pre-trained representations. We propose SISER (Speaker-Invariant Speech Emotion Recognition), integrating wav2vec 2.0 as a feature encoder and ECAPA-TDNN as a speaker discriminator within an entropy-based adversarial training scheme. wav2vec 2.0 provides rich self-supervised representations that alleviate dependency on large labeled datasets, while ECAPA-TDNN enables suppression of speaker identity via a stronger adversarial signal than shallow classifiers. Evaluated on IEMOCAP, SISER achieves a UA of 60.63%, outperforming the baseline (51.15%) and wav2vec 2.0 without speaker suppression (56.46%), with ablation emphasizing that the choice of speaker classifier architecture is a key factor.
- Abstract(参考訳): 音声感情認識(SER)は,ラベル付きデータの不足と話者間変動という,感情認識システムの一般化を妨げる2つの根本的な課題に直面している。
事前の敵対的アプローチは話者の変動に対処するが、それらは強力な事前学習された表現を活用するには不十分である。
本稿では, SISER (Speaker-Invariant Speech Emotion Recognition) を提案し, wav2vec 2.0 を特徴エンコーダとして, ECAPA-TDNN を話者識別器として統合し, エントロピーに基づく対角学習手法を提案する。
wav2vec 2.0は、大きなラベル付きデータセットへの依存性を軽減するリッチな自己教師付き表現を提供する一方、ECAPA-TDNNは浅い分類器よりも強力な対角信号による話者識別の抑制を可能にする。
IEMOCAPで評価されたSISERは、ベースライン(51.15%)とwav2vec 2.0(56.46%)を上回る60.63%のUAを達成した。
関連論文リスト
- Dual-Scale State-Space Modeling with Speaker-Wise Dynamic CRF for Speech Emotion Recognition in Conversation [1.6389263804357965]
感情認識のための音声のみのアーキテクチャであるDSSM-CRFを提案する。
双方向状態空間モデルは、フレームと対話スケールでの融合した自己教師付き音声表現を符号化する。
話者の連鎖における連続的な発話は、スコアがコーパスレベルの遷移行列と、2つの文脈化された発話から予測される残差を組み合わせた遷移対を形成する。
論文 参考訳(メタデータ) (2026-08-23T12:56:03Z) - Towards Robust Overlapping Speech Detection: A Speaker-Aware Progressive Approach Using WavLM [53.17360668423001]
重なり合う音声検出(OSD)は、会話中に複数の話者が重複する領域を特定することを目的としている。
本研究では,サブタスク間の相関性を高めるために,プログレッシブトレーニング戦略を活用する話者対応プログレッシブOSDモデルを提案する。
実験の結果,提案手法は,AMIテストセット上でF1スコアが82.76%の最先端性能を実現することがわかった。
論文 参考訳(メタデータ) (2025-05-29T07:47:48Z) - Use of Speech Impairment Severity for Dysarthric Speech Recognition [37.93801885333925]
本稿では, 難易度と話者識別性を両立させる新しい手法を提案する。
UASpeechの実験では、最先端のハイブリッドDNN、E2E Conformer、事前訓練されたWav2vec 2.0 ASRシステムに音声障害の重大度を組み込むことが提案されている。
論文 参考訳(メタデータ) (2023-05-18T02:42:59Z) - Exploring Self-supervised Pre-trained ASR Models For Dysarthric and
Elderly Speech Recognition [57.31233839489528]
本稿では,TDNN と Conformer ASR システムにドメイン適応型SSL事前訓練モデルを統合する手法について検討する。
論文 参考訳(メタデータ) (2023-02-28T13:39:17Z) - Acoustic-to-articulatory Inversion based on Speech Decomposition and
Auxiliary Feature [7.363994037183394]
我々は、音声分解ネットワークを事前訓練し、音声を話者埋め込みとコンテンツ埋め込みに分解する。
次に、パーソナライズされた音声特徴から唇補助特徴を推定する新しい補助特徴ネットワークを提案する。
実験結果から,提案手法は,音声特徴のみを用いた最先端の手法と比較して平均RMSEを0.25削減し,平均相関係数を2.0%向上させることがわかった。
論文 参考訳(メタデータ) (2022-04-02T14:47:19Z) - On-the-Fly Feature Based Rapid Speaker Adaptation for Dysarthric and
Elderly Speech Recognition [53.17176024917725]
話者レベルのデータの共有化は、データ集約型モデルに基づく話者適応手法の実用的利用を制限する。
本稿では,2種類のデータ効率,特徴量に基づくオンザフライ話者適応手法を提案する。
論文 参考訳(メタデータ) (2022-03-28T09:12:24Z) - Exploiting Cross Domain Acoustic-to-articulatory Inverted Features For
Disordered Speech Recognition [57.15942628305797]
調音機能は音響信号歪みに不変であり、正常音声の自動音声認識システムにうまく組み込まれている。
本稿では,15時間 TORGO コーパスの並列音響・調音データをモデルトレーニングに用いるクロスドメイン音響・調音(A2A)インバージョン手法を提案する。
クロスドメインは102.7時間のUASpeechコーパスに適応し、調音的特徴を生産する。
論文 参考訳(メタデータ) (2022-03-19T08:47:18Z) - Fine-tuning wav2vec2 for speaker recognition [3.69563307866315]
本稿では,事前学習した重みが話者認識タスクに与える影響と,wav2vec2出力シーケンスを固定長話者埋め込みにプーリングする方法について検討する。
この枠組みを話者認識に適用するために,CE と AAM のソフトマックス損失を持つ単一発話分類変種と,BCE の損失を持つ発話ペア分類変種を提案する。
論文 参考訳(メタデータ) (2021-09-30T12:16:47Z) - An Attribute-Aligned Strategy for Learning Speech Representation [57.891727280493015]
属性選択機構によってこれらの問題に柔軟に対処できる音声表現を導出する属性整合学習戦略を提案する。
具体的には、音声表現を属性依存ノードに分解する層式表現可変オートエンコーダ(LR-VAE)を提案する。
提案手法は,IDのないSER上での競合性能と,無感情SV上でのより良い性能を実現する。
論文 参考訳(メタデータ) (2021-06-05T06:19:14Z) - Characterizing Speech Adversarial Examples Using Self-Attention U-Net
Enhancement [102.48582597586233]
本稿では,U-Net$_At$という,U-Netに基づくアテンションモデルを提案する。
対戦型音声アタックを用いた自動音声認識(ASR)タスクの実験を行った。
論文 参考訳(メタデータ) (2020-03-31T02:16:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。