論文の概要: Advancing Test-Time Adaptation in Wild Acoustic Test Settings

• arxiv url: http://arxiv.org/abs/2310.09505v2
• Date: Sat, 05 Oct 2024 08:00:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-08 13:08:48.889016
• Title: Advancing Test-Time Adaptation in Wild Acoustic Test Settings
• Title（参考訳）: 野生の音響実験環境における試験時間適応の促進
• Authors: Hongfu Liu, Hengguan Huang, Ye Wang,
• Abstract要約: 音声信号は短期的な一貫性に従い、特別な適応戦略を必要とする。 本研究では,ASR微調整音響基礎モデルに適した新しい音響TTA法を提案する。 本手法は,様々な音環境下での既存のベースラインよりも優れる。
• 参考スコア（独自算出の注目度）: 26.05732574338255
• License:
• Abstract: Acoustic foundation models, fine-tuned for Automatic Speech Recognition (ASR), suffer from performance degradation in wild acoustic test settings when deployed in real-world scenarios. Stabilizing online Test-Time Adaptation (TTA) under these conditions remains an open and unexplored question. Existing wild vision TTA methods often fail to handle speech data effectively due to the unique characteristics of high-entropy speech frames, which are unreliably filtered out even when containing crucial semantic content. Furthermore, unlike static vision data, speech signals follow short-term consistency, requiring specialized adaptation strategies. In this work, we propose a novel wild acoustic TTA method tailored for ASR fine-tuned acoustic foundation models. Our method, Confidence-Enhanced Adaptation, performs frame-level adaptation using a confidence-aware weight scheme to avoid filtering out essential information in high-entropy frames. Additionally, we apply consistency regularization during test-time optimization to leverage the inherent short-term consistency of speech signals. Our experiments on both synthetic and real-world datasets demonstrate that our approach outperforms existing baselines under various wild acoustic test settings, including Gaussian noise, environmental sounds, accent variations, and sung speech.
• Abstract（参考訳）: ASR(Automatic Speech Recognition)のために微調整された音響基礎モデルでは、実世界のシナリオにデプロイした場合に、野生の音響テスト環境での性能劣化に悩まされる。 これらの条件下でのオンラインテスト時間適応(TTA)の安定化は、オープンで未調査の疑問である。 既存のワイルドビジョンTTA法は、重要なセマンティックコンテンツを含む場合でも信頼性の低い高エントロピー音声フレームの特徴のために、音声データを効果的に処理できないことが多い。 さらに、静的視覚データとは異なり、音声信号は短期的な一貫性に従い、特別な適応戦略を必要とする。 本研究では,ASR微調整音響基礎モデルに適した新しい音響TTA法を提案する。 高エントロピーフレームにおける本質的な情報のフィルタリングを回避するために,信頼度を考慮した重み付け方式を用いてフレームレベル適応を行う。 さらに,音声信号の短期的整合性を活用するために,テスト時最適化時の整合性正則化を適用した。 提案手法は, ガウス雑音, 環境音, アクセント変化, 歌声など, 様々な音環境下で, 既存のベースラインよりも優れていることを示す。

関連論文リスト

• Towards Robust Transcription: Exploring Noise Injection Strategies for Training Data Augmentation [55.752737615873464]
  本研究では,SNR(Signal-to-Noise Ratio)レベルにおける白色雑音の影響について検討した。 この研究は、様々な音環境における一貫した性能を維持する転写モデルの開発に向けた予備的な研究として、貴重な洞察を与えてくれることを願っている。
  論文  参考訳（メタデータ） (2024-10-18T02:31:36Z)
• Effective Noise-aware Data Simulation for Domain-adaptive Speech Enhancement Leveraging Dynamic Stochastic Perturbation [25.410770364140856]
  クロスドメイン音声強調(SE)は、目に見えない対象領域におけるノイズや背景情報の不足により、しばしば深刻な課題に直面している。 本研究では,ノイズ抽出技術とGANを利用した新しいデータシミュレーション手法を提案する。 本研究では,動的摂動の概念を導入し,制御された摂動を推論中の雑音埋め込みに注入する。
  論文  参考訳（メタデータ） (2024-09-03T02:29:01Z)
• Audio Enhancement for Computer Audition -- An Iterative Training Paradigm Using Sample Importance [42.90024643696503]
  音声強調のためのモデルを協調的に最適化するエンド・ツー・エンドの学習ソリューションを提案する。 トレーニングパラダイムを評価するための4つの代表的なアプリケーションについて検討する。
  論文  参考訳（メタデータ） (2024-08-12T16:23:58Z)
• Enhanced ASR Robustness to Packet Loss with a Front-End Adaptation Network [23.034147003704483]
  本研究は,ASRモデルの単語誤り率(WER)を改善するために,パケット損失から回復することに焦点を当てた。 凍結ASRモデルに接続したフロントエンド適応ネットワークを提案する。 実験により、Whisperの基準に基づいてトレーニングされた適応ネットワークは、特にドメインや言語間の単語エラー率を減少させることが示された。
  論文  参考訳（メタデータ） (2024-06-27T06:40:01Z)
• High-Fidelity Speech Synthesis with Minimal Supervision: All Using Diffusion Models [56.00939852727501]
  最小教師付き音声合成は、2種類の離散音声表現を組み合わせることでTSを分離する。 非自己回帰フレームワークは、制御可能性を高め、持続拡散モデルは、多様化された韻律表現を可能にする。
  論文  参考訳（メタデータ） (2023-09-27T09:27:03Z)
• AR-TTA: A Simple Method for Real-World Continual Test-Time Adaptation [1.4530711901349282]
  本稿では,自律運転のためのデータセット,すなわちCLAD-CとShiFTを用いたテスト時間適応手法の検証を提案する。 現在のテスト時間適応手法は、ドメインシフトの様々な程度を効果的に扱うのに苦労している。 モデル安定性を高めるために、小さなメモリバッファを組み込むことで、確立された自己学習フレームワークを強化する。
  論文  参考訳（メタデータ） (2023-09-18T19:34:23Z)
• Self-Supervised Visual Acoustic Matching [63.492168778869726]
  音響マッチングは、ターゲットの音響環境に録音されたかのように、音声クリップを再合成することを目的としている。 そこで本研究では,対象のシーン画像と音声のみを含む,視覚的音響マッチングのための自己教師型アプローチを提案する。 提案手法は,条件付きGANフレームワークと新しいメトリクスを用いて,室内音響をアンタングル化し,音をターゲット環境に再合成する方法を共同で学習する。
  論文  参考訳（メタデータ） (2023-07-27T17:59:59Z)
• Factorised Speaker-environment Adaptive Training of Conformer Speech Recognition Systems [31.813788489512394]
  本稿では,Conformer ASRモデルに対する話者環境適応学習とテスト時間適応手法を提案する。 300時間WHAMノイズ劣化データの実験では、分解適応がベースラインを一貫して上回ることが示唆された。 さらに分析した結果,提案手法は未知の話者環境に迅速に適応できる可能性が示唆された。
  論文  参考訳（メタデータ） (2023-06-26T11:32:05Z)
• Listen, Adapt, Better WER: Source-free Single-utterance Test-time Adaptation for Automatic Speech Recognition [65.84978547406753]
  Test-time Adaptationは、ソースドメインでトレーニングされたモデルに適応して、テストサンプルの予測を改善することを目的としている。 単一発話テスト時間適応 (SUTA) は音声領域における最初のTTA研究である。
  論文  参考訳（メタデータ） (2022-03-27T06:38:39Z)
• AdaStereo: An Efficient Domain-Adaptive Stereo Matching Approach [50.855679274530615]
  本稿では,AdaStereoというドメイン適応型アプローチを提案する。 我々のモデルは、KITTI、Middlebury、ETH3D、DrivingStereoなど、複数のベンチマークで最先端のクロスドメイン性能を実現している。 提案手法は,様々なドメイン適応設定に対して堅牢であり,迅速な適応アプリケーションシナリオや実環境展開に容易に組み込むことができる。
  論文  参考訳（メタデータ） (2021-12-09T15:10:47Z)
• Cross-domain Adaptation with Discrepancy Minimization for Text-independent Forensic Speaker Verification [61.54074498090374]
  本研究では,複数の音響環境下で収集したCRSS-Forensicsオーディオデータセットを紹介する。 我々は、VoxCelebデータを用いてCNNベースのネットワークを事前訓練し、次に、CRSS-Forensicsのクリーンな音声で高レベルのネットワーク層の一部を微調整するアプローチを示す。
  論文  参考訳（メタデータ） (2020-09-05T02:54:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。