論文の概要: BEST-RQ-Based Self-Supervised Learning for Whisper Domain Adaptation

• arxiv url: http://arxiv.org/abs/2510.24570v1
• Date: Tue, 28 Oct 2025 16:01:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-29 15:35:37.264023
• Title: BEST-RQ-Based Self-Supervised Learning for Whisper Domain Adaptation
• Title（参考訳）: BEST-RQに基づくWhisper領域適応のための自己教師付き学習
• Authors: Raphaël Bagat, Irina Illina, Emmanuel Vincent,
• Abstract要約: 未ラベルデータを用いてWhisperのエンコーダを適応させる新しいフレームワークであるBEARDを提案する。 従来の自己教師型学習法とは異なり、BEARDはBEST-RQ目標と凍結教師エンコーダからの知識蒸留を独自に組み合わせ、エンコーダと事前訓練されたデコーダとの相補性を確保する。 実験では,非ネイティブ音声,雑音,特殊フレーズを特徴とする,ATC(Air Traffic Control)通信ドメインのATCO2コーパスに着目した。
• 参考スコア（独自算出の注目度）: 9.90081460759926
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Automatic Speech Recognition (ASR) systems, despite large multilingual training, struggle in out-of-domain and low-resource scenarios where labeled data is scarce. We propose BEARD (BEST-RQ Encoder Adaptation with Re-training and Distillation), a novel framework designed to adapt Whisper's encoder using unlabeled data. Unlike traditional self-supervised learning methods, BEARD uniquely combines a BEST-RQ objective with knowledge distillation from a frozen teacher encoder, ensuring the encoder's complementarity with the pre-trained decoder. Our experiments focus on the ATCO2 corpus from the challenging Air Traffic Control (ATC) communications domain, characterized by non-native speech, noise, and specialized phraseology. Using about 5,000 hours of untranscribed speech for BEARD and 2 hours of transcribed speech for fine-tuning, the proposed approach significantly outperforms previous baseline and fine-tuned model, achieving a relative improvement of 12% compared to the fine-tuned model. To the best of our knowledge, this is the first work to use a self-supervised learning objective for domain adaptation of Whisper.
• Abstract（参考訳）: 音声認識システム (ASR) は、多言語学習にもかかわらず、ラベル付きデータが不足している領域外および低リソースのシナリオで苦労する。 我々は,Whisperのエンコーダをラベル付きデータを用いて適応させる新しいフレームワークであるBEARD(BEST-RQ Encoder Adaptation with Re-training and Distillation)を提案する。 従来の自己教師型学習法とは異なり、BEARDはBEST-RQ目標と凍結教師エンコーダからの知識蒸留を独自に組み合わせ、エンコーダと事前訓練されたデコーダとの相補性を確保する。 実験では,非ネイティブ音声,雑音,特殊フレーズを特徴とする,ATC(Air Traffic Control)通信ドメインのATCO2コーパスに着目した。 BEARDの非転写音声の約5000時間と微調整音声の約2時間を用いて,提案手法は従来のベースラインモデルと微調整モデルよりも有意に優れ,微調整モデルと比較して12%の相対的な改善を実現している。 我々の知る限りでは、Whisperのドメイン適応に自己教師付き学習目標を用いた最初の研究である。

関連論文リスト

• Co-training for Low Resource Scientific Natural Language Inference [65.37685198688538]
  遠隔教師付きラベルに分類器のトレーニング力学に基づいて重みを割り当てる新しいコトレーニング手法を提案する。 予測された信頼度に対する任意のしきい値に基づいてサンプルをフィルタリングするのではなく、重要重みを割り当てることにより、自動ラベル付きデータの使用を最大化する。 提案手法は、遠隔監視ベースラインに対するマクロF1の1.5%の改善と、他の強力なSSLベースラインよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2024-06-20T18:35:47Z)
• Self-Taught Recognizer: Toward Unsupervised Adaptation for Speech Foundation Models [84.8919069953397]
  Self-Taught Recognizer (STAR) は、音声認識システムのための教師なし適応フレームワークである。 その結果,STARは14のドメインで平均13.5%の単語誤り率の相対的な減少を実現していることがわかった。 STARは1時間以内のラベル付きデータを必要とする高いデータ効率を示す。
  論文  参考訳（メタデータ） (2024-05-23T04:27:11Z)
• Self-Supervised Speech Quality Estimation and Enhancement Using Only Clean Speech [50.95292368372455]
  ベクトル量子化変分オートエンコーダ(VQ-VAE)の量子化誤差に基づく音声評価のための自己教師付きメトリックであるVQScoreを提案する。 VQ-VAEのトレーニングはクリーン音声に依存するため、音声が歪んだときに大きな量子化誤差が期待できる。 また,ベクトル量子化機構は,自己教師付き音声強調(SE)モデルトレーニングにも有効であることがわかった。
  論文  参考訳（メタデータ） (2024-02-26T06:01:38Z)
• Contextual-Utterance Training for Automatic Speech Recognition [65.4571135368178]
  本稿では,過去と将来の文脈発話を利用した文脈発話訓練手法を提案する。 また,自動音声認識(ASR)システムをストリーミングするための2モード文脈発話訓練手法を提案する。 提案手法により、WERと平均最後のトークン放出遅延を6%以上、40ms以上削減できる。
  論文  参考訳（メタデータ） (2022-10-27T08:10:44Z)
• Supervision-Guided Codebooks for Masked Prediction in Speech Pre-training [102.14558233502514]
  自己教師型学習(SSL)における事前学習のマズード予測は,音声認識における顕著な進歩をみせている。 本稿では,自動音声認識(ASR)の性能向上のための2つの教師付きコードブック生成手法を提案する。
  論文  参考訳（メタデータ） (2022-06-21T06:08:30Z)
• Wav2Seq: Pre-training Speech-to-Text Encoder-Decoder Models Using Pseudo Languages [58.43299730989809]
  本稿では,音声データに対するエンコーダ・デコーダモデルの両部分を事前学習するための,最初の自己教師型アプローチであるWav2Seqを紹介する。 我々は、コンパクトな離散表現として擬似言語を誘導し、自己教師付き擬似音声認識タスクを定式化する。 このプロセスは独自のものであり、低コストの第2段階のトレーニングとして適用することができる。
  論文  参考訳（メタデータ） (2022-05-02T17:59:02Z)
• Representative Subset Selection for Efficient Fine-Tuning in Self-Supervised Speech Recognition [6.450618373898492]
  ASRのための自己教師型音声モデルにおいて、効率的な微調整を行うために最適なデータのサブセットを同定する作業を検討する。 自己教師型ASRにおける代表サブセット選択のためのCOWERAGEアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-03-18T10:12:24Z)
• Efficiently Fusing Pretrained Acoustic and Linguistic Encoders for Low-resource Speech Recognition [9.732767611907068]
  本研究では,前訓練音響エンコーダ(wav2vec2.0)と前訓練言語エンコーダ(bert)をエンドツーエンドasrモデルに融合する。 本モデルは他のエンドツーエンドモデルに比べてcallhomeコーパスの認識性能が(15時間)向上する。
  論文  参考訳（メタデータ） (2021-01-17T16:12:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。