論文の概要: Enhanced ASR Robustness to Packet Loss with a Front-End Adaptation Network

• arxiv url: http://arxiv.org/abs/2406.18928v1
• Date: Thu, 27 Jun 2024 06:40:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-28 14:57:01.187053
• Title: Enhanced ASR Robustness to Packet Loss with a Front-End Adaptation Network
• Title（参考訳）: フロントエンド適応ネットワークによるASRロバスト性向上
• Authors: Yehoshua Dissen, Shiry Yonash, Israel Cohen, Joseph Keshet,
• Abstract要約: 本研究は,ASRモデルの単語誤り率(WER)を改善するために,パケット損失から回復することに焦点を当てた。 凍結ASRモデルに接続したフロントエンド適応ネットワークを提案する。 実験により、Whisperの基準に基づいてトレーニングされた適応ネットワークは、特にドメインや言語間の単語エラー率を減少させることが示された。
• 参考スコア（独自算出の注目度）: 23.034147003704483
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the realm of automatic speech recognition (ASR), robustness in noisy environments remains a significant challenge. Recent ASR models, such as Whisper, have shown promise, but their efficacy in noisy conditions can be further enhanced. This study is focused on recovering from packet loss to improve the word error rate (WER) of ASR models. We propose using a front-end adaptation network connected to a frozen ASR model. The adaptation network is trained to modify the corrupted input spectrum by minimizing the criteria of the ASR model in addition to an enhancement loss function. Our experiments demonstrate that the adaptation network, trained on Whisper's criteria, notably reduces word error rates across domains and languages in packet-loss scenarios. This improvement is achieved with minimal affect to Whisper model's foundational performance, underscoring our method's practicality and potential in enhancing ASR models in challenging acoustic environments.
• Abstract（参考訳）: 音声認識(ASR)の分野では、ノイズの多い環境における堅牢性は依然として大きな課題である。 Whisperのような最近のASRモデルは将来性を示すが、ノイズ条件下での有効性はさらに向上する可能性がある。 本研究は,ASRモデルの単語誤り率(WER)を改善するために,パケット損失から回復することに焦点を当てた。 凍結ASRモデルに接続したフロントエンド適応ネットワークを提案する。 適応ネットワークは、拡張損失関数に加えて、ASRモデルの基準を最小化することにより、劣化した入力スペクトルを変更するよう訓練される。 実験により,Whisperの基準に基づいて学習した適応ネットワークは,パケットロスシナリオにおけるドメインや言語間の単語誤り率を著しく低減することを示した。 この改善は、Whisperモデルの基本性能に最小限の影響を伴って達成され、我々の手法の実用性と、挑戦的な音響環境におけるASRモデルの強化の可能性を示す。

関連論文リスト

• Transferable Adversarial Attacks against ASR [43.766547483367795]
  最先端自動音声認識モデルにおける実用的なブラックボックス攻撃の脆弱性について検討する。 そこで本稿では,ASRに対する音声認識勾配最適化手法(SAGO)を提案する。 総合的な実験結果から,2つのデータベース上の5つのモデルにまたがるベースラインアプローチと比較して,性能が向上したことが明らかとなった。
  論文  参考訳（メタデータ） (2024-11-14T06:32:31Z)
• Crossmodal ASR Error Correction with Discrete Speech Units [16.58209270191005]
  ASR誤り訂正(AEC)に対するASR後処理手法を提案する。 我々は、事前学習と微調整の戦略を探求し、ASRドメインの不一致現象を明らかにする。 そこで本稿では,AEC品質向上のための単語埋め込みの整合・強化を目的とした,離散音声ユニットの組込みを提案する。
  論文  参考訳（メタデータ） (2024-05-26T19:58:38Z)
• Speech enhancement with frequency domain auto-regressive modeling [34.55703785405481]
  遠距離実環境における音声アプリケーションは、残響によって破損した信号を扱うことが多い。 本稿では,音声品質と自動音声認識(ASR)性能を向上させるために,音声認識の統一的枠組みを提案する。
  論文  参考訳（メタデータ） (2023-09-24T03:25:51Z)
• Towards Improved Room Impulse Response Estimation for Speech Recognition [53.04440557465013]
  遠距離場自動音声認識(ASR)におけるブラインドルームインパルス応答(RIR)推定システムを提案する。 まず、改良されたRIR推定と改善されたASR性能の関連性について、ニューラルネットワークを用いたRIR推定器の評価を行った。 次に、残響音声からRIR特徴を符号化し、符号化された特徴からRIRを構成するGANベースのアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-11-08T00:40:27Z)
• Calibrate and Refine! A Novel and Agile Framework for ASR-error Robust Intent Detection [8.842878491315124]
  本稿では,2つのプラグ・アンド・プレイモジュールを用いたASRエラー頑健な意図検出のためのCR-IDという新しいフレームワークを提案する。 SNIPSデータセットによる実験結果から,提案するCR-IDフレームワークが競合性能を実現することを示す。
  論文  参考訳（メタデータ） (2022-05-23T02:54:11Z)
• Attention-based Multi-hypothesis Fusion for Speech Summarization [83.04957603852571]
  音声認識(ASR)とテキスト要約(TS)を組み合わせることで、音声要約を実現することができる ASR誤差はカスケード法における出力要約の品質に直接影響する。 本稿では、ASRの誤りに対して頑健なカスケード音声要約モデルを提案し、ASRが生成した複数の仮説を利用して、ASRの誤りが要約に与える影響を緩和する。
  論文  参考訳（メタデータ） (2021-11-16T03:00:29Z)
• Improving Noise Robustness of Contrastive Speech Representation Learning with Speech Reconstruction [109.44933866397123]
  実環境における音声認識システムの実現には,雑音の堅牢性が不可欠である。 雑音認識のための自己教師型フレームワークにより学習したノイズロスト表現を用いる。 ラベル付きデータのわずか16%で報告された最高の教師付きアプローチに匹敵するパフォーマンスを実現した。
  論文  参考訳（メタデータ） (2021-10-28T20:39:02Z)
• Fine-tuning of Pre-trained End-to-end Speech Recognition with Generative Adversarial Networks [10.723935272906461]
  近年, GAN (Generative Adversarial Network) を用いたエンド・ツー・エンド(E2E) ASRシステムの対戦訓練について検討している。 GAN目標を用いた事前学習型ASRモデルの微調整のための新しいフレームワークを提案する。 提案手法は,ベースラインと従来のGANベースの対戦モデルより優れている。
  論文  参考訳（メタデータ） (2021-03-10T17:40:48Z)
• Deep Adaptive Inference Networks for Single Image Super-Resolution [72.7304455761067]
  シングルイメージ超解像(SISR)は、ディープ畳み込みニューラルネットワーク(CNN)の展開により、近年大きく進歩している。 本稿では,深部SISR(AdaDSR)の適応型推論ネットワークを活用することで,この問題に対処する。 我々のAdaDSRは、SISRモデルをバックボーンとし、画像の特徴とリソース制約を入力として取り、ローカルネットワーク深さのマップを予測する軽量アダプタモジュールを備える。
  論文  参考訳（メタデータ） (2020-04-08T10:08:20Z)
• Characterizing Speech Adversarial Examples Using Self-Attention U-Net Enhancement [102.48582597586233]
  本稿では,U-Net$_At$という,U-Netに基づくアテンションモデルを提案する。 対戦型音声アタックを用いた自動音声認識(ASR)タスクの実験を行った。
  論文  参考訳（メタデータ） (2020-03-31T02:16:34Z)
• Improving noise robust automatic speech recognition with single-channel time-domain enhancement network [100.1041336974175]
  単一チャネルの時間領域分割手法により,ASRの性能が大幅に向上することを示す。 単一チャネル雑音の低減はASR性能を向上できることを示す。
  論文  参考訳（メタデータ） (2020-03-09T09:36:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。