論文の概要: On the Effectiveness of ASR Representations in Real-world Noisy Speech Emotion Recognition

• arxiv url: http://arxiv.org/abs/2311.07093v1
• Date: Mon, 13 Nov 2023 05:45:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-14 15:25:19.046185
• Title: On the Effectiveness of ASR Representations in Real-world Noisy Speech Emotion Recognition
• Title（参考訳）: 実環境雑音音声認識におけるASR表現の有効性について
• Authors: Xiaohan Shi, Jiajun He, Xingfeng Li, Tomoki Toda
• Abstract要約: 音声の感情認識(NSER)を効果的に行う試みを提案する。 ノイズキャンバス特徴抽出器として自動音声認識(ASR)モデルを採用し,雑音の多い音声の非音声情報を除去する。 実験の結果,提案手法は従来のノイズ低減法に比べてNSER性能が向上し,2)自己教師あり学習手法よりも優れ,3)ASR文字起こしや音声音声の真理書き起こしによるテキストベースアプローチよりも優れていた。
• 参考スコア（独自算出の注目度）: 26.013815255299342
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper proposes an efficient attempt to noisy speech emotion recognition (NSER). Conventional NSER approaches have proven effective in mitigating the impact of artificial noise sources, such as white Gaussian noise, but are limited to non-stationary noises in real-world environments due to their complexity and uncertainty. To overcome this limitation, we introduce a new method for NSER by adopting the automatic speech recognition (ASR) model as a noise-robust feature extractor to eliminate non-vocal information in noisy speech. We first obtain intermediate layer information from the ASR model as a feature representation for emotional speech and then apply this representation for the downstream NSER task. Our experimental results show that 1) the proposed method achieves better NSER performance compared with the conventional noise reduction method, 2) outperforms self-supervised learning approaches, and 3) even outperforms text-based approaches using ASR transcription or the ground truth transcription of noisy speech.
• Abstract（参考訳）: 本稿では,雑音下音声感情認識(nser)の効率的な試みを提案する。 従来のNSERアプローチは、ホワイトガウスノイズなどの人工ノイズ源の影響を緩和する効果が証明されているが、その複雑さと不確実性のため、現実環境における非定常ノイズに限定されている。 この制限を克服するために,ノイズロバスト特徴抽出器として自動音声認識(asr)モデルを適用し,雑音音声中の非音声情報を除去するnserの新しい手法を提案する。 まず、感情音声の特徴表現としてASRモデルから中間層情報を取得し、この表現を下流NSERタスクに適用する。 我々の実験結果は 1)提案手法は従来のノイズ低減法と比較してNSER性能が向上する。 2)自己指導型学習アプローチより優れ、 3)asr転写を用いたテキストベースアプローチやノイズ音声の基底的真理転写よりも優れる。

関連論文リスト

• Effective Noise-aware Data Simulation for Domain-adaptive Speech Enhancement Leveraging Dynamic Stochastic Perturbation [25.410770364140856]
  クロスドメイン音声強調(SE)は、目に見えない対象領域におけるノイズや背景情報の不足により、しばしば深刻な課題に直面している。 本研究では,ノイズ抽出技術とGANを利用した新しいデータシミュレーション手法を提案する。 本研究では,動的摂動の概念を導入し,制御された摂動を推論中の雑音埋め込みに注入する。
  論文  参考訳（メタデータ） (2024-09-03T02:29:01Z)
• TRNet: Two-level Refinement Network leveraging Speech Enhancement for Noise Robust Speech Emotion Recognition [29.756961194844717]
  提案したTRNetは,一致した雑音環境と一致しない雑音環境の両方において,提案方式の堅牢性を大幅に向上させる。 その結果,提案方式は,一致した環境と一致しない環境の両方において,提案方式のロバスト性を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-04-19T16:09:17Z)
• Large Language Models are Efficient Learners of Noise-Robust Speech Recognition [65.95847272465124]
  大規模言語モデル(LLM)の最近の進歩は、自動音声認識(ASR)のための生成誤り訂正(GER)を促進している。 本研究では,このベンチマークをノイズの多い条件に拡張し,GERのデノナイジングをLLMに教えることができるかを検討する。 最新のLLM実験では,単語誤り率を最大53.9%改善し,新たなブレークスルーを実現している。
  論文  参考訳（メタデータ） (2024-01-19T01:29:27Z)
• Continuous Modeling of the Denoising Process for Speech Enhancement Based on Deep Learning [61.787485727134424]
  状態変数をデノナイジングプロセスを示すために使用します。 UNetのようなニューラルネットワークは、連続的復調プロセスからサンプリングされたすべての状態変数を推定することを学ぶ。 実験結果から, クリーンターゲットに少量の雑音を保存することは, 音声強調に有効であることが示唆された。
  論文  参考訳（メタデータ） (2023-09-17T13:27:11Z)
• Improving Noise Robustness of Contrastive Speech Representation Learning with Speech Reconstruction [109.44933866397123]
  実環境における音声認識システムの実現には,雑音の堅牢性が不可欠である。 雑音認識のための自己教師型フレームワークにより学習したノイズロスト表現を用いる。 ラベル付きデータのわずか16%で報告された最高の教師付きアプローチに匹敵するパフォーマンスを実現した。
  論文  参考訳（メタデータ） (2021-10-28T20:39:02Z)
• An Approach to Improve Robustness of NLP Systems against ASR Errors [39.57253455717825]
  音声対応システムは通常、音声を自動音声認識モデルを介してテキストに変換し、テキストを下流の自然言語処理モジュールに供給します。 ASRシステムのエラーは、NLPモジュールの性能を著しく低下させる可能性がある。 これまでの研究では、トレーニングプロセス中にasrノイズを注入することにより、この問題を解決するためにデータ拡張手法を用いることが有効であることが示されている。
  論文  参考訳（メタデータ） (2021-03-25T05:15:43Z)
• Gated Recurrent Fusion with Joint Training Framework for Robust End-to-End Speech Recognition [64.9317368575585]
  本稿では,ロバスト・エンド・ツー・エンドASRのためのジョイント・トレーニング・フレームワークを用いたゲート・リカレント・フュージョン(GRF)法を提案する。 GRFアルゴリズムはノイズと拡張された特徴を動的に組み合わせるために使用される。 提案手法は従来の関節強化・変圧器法に比べて10.04%の相対的文字誤り率(CER)低減を実現する。
  論文  参考訳（メタデータ） (2020-11-09T08:52:05Z)
• Simultaneous Denoising and Dereverberation Using Deep Embedding Features [64.58693911070228]
  ディープ埋め込み特徴を用いた同時発声・発声同時学習法を提案する。 ノイズ発生段階では、DCネットワークを利用してノイズのないディープ埋込み特性を抽出する。 残響段階では、教師なしのK平均クラスタリングアルゴリズムの代わりに、別のニューラルネットワークを用いて無響音声を推定する。
  論文  参考訳（メタデータ） (2020-04-06T06:34:01Z)
• Improving noise robust automatic speech recognition with single-channel time-domain enhancement network [100.1041336974175]
  単一チャネルの時間領域分割手法により,ASRの性能が大幅に向上することを示す。 単一チャネル雑音の低減はASR性能を向上できることを示す。
  論文  参考訳（メタデータ） (2020-03-09T09:36:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。