論文の概要: Describe Where You Are: Improving Noise-Robustness for Speech Emotion Recognition with Text Description of the Environment

• arxiv url: http://arxiv.org/abs/2407.17716v1
• Date: Thu, 25 Jul 2024 02:30:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-26 15:27:36.640960
• Title: Describe Where You Are: Improving Noise-Robustness for Speech Emotion Recognition with Text Description of the Environment
• Title（参考訳）: 環境のテキスト記述による音声感情認識におけるノイズ・ロバスト性の改善
• Authors: Seong-Gyun Leem, Daniel Fulford, Jukka-Pekka Onnela, David Gard, Carlos Busso,
• Abstract要約: 音声感情認識(SER)システムは、周囲ノイズが性能を著しく低下させる現実世界環境でしばしば苦労する。 本稿では,騒音条件下でのSER性能を最大化するために,テスト環境の事前知識を活用する新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 21.123477804401116
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Speech emotion recognition (SER) systems often struggle in real-world environments, where ambient noise severely degrades their performance. This paper explores a novel approach that exploits prior knowledge of testing environments to maximize SER performance under noisy conditions. To address this task, we propose a text-guided, environment-aware training where an SER model is trained with contaminated speech samples and their paired noise description. We use a pre-trained text encoder to extract the text-based environment embedding and then fuse it to a transformer-based SER model during training and inference. We demonstrate the effectiveness of our approach through our experiment with the MSP-Podcast corpus and real-world additive noise samples collected from the Freesound repository. Our experiment indicates that the text-based environment descriptions processed by a large language model (LLM) produce representations that improve the noise-robustness of the SER system. In addition, our proposed approach with an LLM yields better performance than our environment-agnostic baselines, especially in low signal-to-noise ratio (SNR) conditions. When testing at -5dB SNR level, our proposed method shows better performance than our best baseline model by 31.8 % (arousal), 23.5% (dominance), and 9.5% (valence).
• Abstract（参考訳）: 音声感情認識(SER)システムは、周囲ノイズが性能を著しく低下させる現実世界環境でしばしば苦労する。 本稿では,騒音条件下でのSER性能を最大化するために,テスト環境の事前知識を活用する新しい手法を提案する。 この課題に対処するために,SERモデルを汚染音声サンプルとペアノイズ記述を用いて訓練するテキスト誘導型環境認識トレーニングを提案する。 事前学習したテキストエンコーダを用いて、テキストベースの環境埋め込みを抽出し、トレーニングと推論中にトランスフォーマーベースのSERモデルに融合する。 我々は,MPP-PodcastコーパスとFreesoundレポジトリから収集した実世界の付加雑音サンプルを用いて,本手法の有効性を実証した。 実験の結果,大規模言語モデル(LLM)によって処理されたテキストベースの環境記述は,SERシステムのノイズロス性を改善する表現を生成することが示唆された。 さらに,LLMを用いた提案手法は,特に低信号-雑音比(SNR)条件において,環境に依存しないベースラインよりも優れた性能が得られる。 提案手法は,5dB SNRレベルでの試験では,最良ベースラインモデルよりも31.8 %(覚醒),23.5%(支配),9.5%(原子価)の優れた性能を示した。

関連論文リスト

• Effective Noise-aware Data Simulation for Domain-adaptive Speech Enhancement Leveraging Dynamic Stochastic Perturbation [25.410770364140856]
  クロスドメイン音声強調(SE)は、目に見えない対象領域におけるノイズや背景情報の不足により、しばしば深刻な課題に直面している。 本研究では,ノイズ抽出技術とGANを利用した新しいデータシミュレーション手法を提案する。 本研究では,動的摂動の概念を導入し,制御された摂動を推論中の雑音埋め込みに注入する。
  論文  参考訳（メタデータ） (2024-09-03T02:29:01Z)
• Learning with Noisy Foundation Models [95.50968225050012]
  本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。 雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T16:22:41Z)
• Noisy Pair Corrector for Dense Retrieval [59.312376423104055]
  ノイズペアコレクタ(NPC)と呼ばれる新しい手法を提案する。 NPCは検出モジュールと修正モジュールから構成される。 我々は,テキスト検索ベンチマークのNatural QuestionとTriviaQA,コード検索ベンチマークのStaQCとSO-DSで実験を行った。
  論文  参考訳（メタデータ） (2023-11-07T08:27:14Z)
• Understanding and Mitigating the Label Noise in Pre-training on Downstream Tasks [91.15120211190519]
  本稿では、事前学習データセットにおけるノイズの性質を理解し、下流タスクへの影響を軽減することを目的とする。 雑音の悪影響を軽減するために特徴空間に適応する軽量ブラックボックスチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2023-09-29T06:18:15Z)
• NASTAR: Noise Adaptive Speech Enhancement with Target-Conditional Resampling [34.565077865854484]
  ターゲット条件再サンプリング(NASTAR)を用いた雑音適応音声強調手法を提案する。 NASTARはフィードバック機構を使用して、ノイズ抽出器と検索モデルを介して適応的なトレーニングデータをシミュレートする。 実験結果から,NASTARは1つの雑音のある音声サンプルを効果的に使用して,SEモデルを目標条件に適応させることができることがわかった。
  論文  参考訳（メタデータ） (2022-06-18T00:15:48Z)
• Improving Noise Robustness of Contrastive Speech Representation Learning with Speech Reconstruction [109.44933866397123]
  実環境における音声認識システムの実現には,雑音の堅牢性が不可欠である。 雑音認識のための自己教師型フレームワークにより学習したノイズロスト表現を用いる。 ラベル付きデータのわずか16%で報告された最高の教師付きアプローチに匹敵するパフォーマンスを実現した。
  論文  参考訳（メタデータ） (2021-10-28T20:39:02Z)
• Bridging the Gap Between Clean Data Training and Real-World Inference for Spoken Language Understanding [76.89426311082927]
  既存のモデルはクリーンデータに基づいてトレーニングされ、クリーンデータトレーニングと現実世界の推論の間にtextitgapが発生する。 本稿では,良質なサンプルと低品質のサンプルの両方が類似ベクトル空間に埋め込まれた領域適応法を提案する。 広く使用されているデータセット、スニップス、および大規模な社内データセット(1000万のトレーニング例)に関する実験では、この方法は実世界の(騒々しい)コーパスのベースラインモデルを上回るだけでなく、堅牢性、すなわち、騒々しい環境下で高品質の結果を生み出すことを実証しています。
  論文  参考訳（メタデータ） (2021-04-13T17:54:33Z)
• Dynamic Layer Customization for Noise Robust Speech Emotion Recognition in Heterogeneous Condition Training [16.807298318504156]
  ノイズ条件毎に,サンプルを特殊特徴エンコーダに動的にルーティングすることで,性能を向上できることを示す。 時間的順序付けを動的にルーティングすることで,これらの改善をマルチモーダル設定に拡張する。
  論文  参考訳（メタデータ） (2020-10-21T18:07:32Z)
• CITISEN: A Deep Learning-Based Speech Signal-Processing Mobile Application [63.2243126704342]
  本研究では,CitisENと呼ばれる深層学習に基づく音声信号処理モバイルアプリケーションを提案する。 CitisENは、音声強調(SE)、モデル適応(MA)、背景雑音変換(BNC)の3つの機能を提供している。 雑音の多い音声信号と比較すると、改良された音声信号の約6%と33%の改善が達成された。
  論文  参考訳（メタデータ） (2020-08-21T02:04:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。