論文の概要: Gumbel-BEARD: Automatic Layer Selection for Self-Supervised Adaptation of Whisper in Low-Resource Domains

• arxiv url: http://arxiv.org/abs/2606.11429v1
• Date: Tue, 09 Jun 2026 20:27:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-11 16:42:38.171019
• Title: Gumbel-BEARD: Automatic Layer Selection for Self-Supervised Adaptation of Whisper in Low-Resource Domains
• Title（参考訳）: Gumbel-BEARD:低リソース領域におけるウィスパーの自己最適化適応のための自動層選択
• Authors: Zilai Wang, Natarajan Balaji Shankar, Mohan Shi, Kaiyuan Zhang, Abeer Alwan,
• Abstract要約: Gumbel-BEARDはWhisperエンコーダ層選択を自動化するドメイン適応フレームワークである。 手動チューニングなしでターゲット音響特性に動的に適応する。 We establish new state-of-the-art word error rate (WERs) of 8.21% using Whisper-medium on MyST and 11.06% using Whisper-small。
• 参考スコア（独自算出の注目度）: 18.955894409840823
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Speech foundation models often struggle in low-resource domains due to domain mismatch and data scarcity. We propose Gumbel-BEARD, a domain adaptation framework that automates Whisper encoder layer selection via an end-to-end trainable hard Gumbel-Softmax selector. It enables self-supervised adaptation with a BEST-RQ objective that dynamically adapts to target acoustic characteristics without manual tuning. Experiments on the MyST child speech corpus demonstrate efficiency and scalability: with 10 h of labeled data for fine-tuning, our method matches a fully supervised baseline trained on the complete 133 h labeled set. We establish new state-of-the-art word error rates (WERs) of 8.21% using Whisper-medium on MyST and 11.06% using Whisper-small on the OGI Spontaneous dataset. Evaluation on CORAAL further confirms robustness to adult dialectal domain shifts, with up to 6% relative WER reduction, highlighting the generalizability of our approach to diverse low-resource conditions.
• Abstract（参考訳）: 音声基礎モデルは、ドメインミスマッチとデータ不足のために、低リソース領域でしばしば苦労する。 本稿では,Whisperエンコーダ層選択を自動化するドメイン適応フレームワークであるGumbel-BEARDを提案する。 BEST-RQ目標による自己監督型適応が可能で、手動チューニングなしでターゲット音響特性に動的に適応できる。 10hのラベル付きデータを微調整するために,本手法は完全133hのラベル付きデータセットで訓練された完全教師付きベースラインに適合する。 我々は,MyST上でWhisper-mediumを用いて8.21%,OGI自発データセット上でWhisper-smallを用いて11.06%の新しい単語誤り率(WER)を確立した。 CORAALの評価は、成人の方言ドメインシフトに対するロバスト性をさらに確認し、最大6%の相対的なWER削減を達成し、様々な低リソース条件に対するアプローチの一般化性を強調した。

関連論文リスト

• Smart Passive Acoustic Monitoring: Embedding a Classifier on AudioMoth Microcontroller [0.0]
  本稿では,AudioMothマイクロコントローラに直接分類器を埋め込むことで,音像をその場で解析できるスマートPAMシステムを提案する。 具体的には、1次元畳み込みニューラルネットワーク(1D-CNN)を最適化し、生音声を分類する。 このモデルは、Scopoli Shearwater seabirds(絶滅危惧種)の特定の呼び出しに焦点を当て、分類精度91%の現実世界のデータセットで訓練されている。
  論文  参考訳（メタデータ） (2026-05-05T06:37:35Z)
• Whisper: Courtside Edition Enhancing ASR Performance Through LLM-Driven Context Generation [0.5097809301149341]
  本稿では,Whisperの書き起こしを再学習せずに拡張する,新しい多エージェント大規模言語検出モデル(LLM)を提案する。 このパイプラインは、Whisperの最初の書き起こしをインターセプトし、ドメインコンテキストの識別、名前付き認識エンティティ、jargonに特殊なLLMエージェントを適用し、Whisperのデコーダをガイドするコンパクトプロンプトを生成する。
  論文  参考訳（メタデータ） (2026-02-21T22:15:59Z)
• BEST-RQ-Based Self-Supervised Learning for Whisper Domain Adaptation [9.90081460759926]
  未ラベルデータを用いてWhisperのエンコーダを適応させる新しいフレームワークであるBEARDを提案する。 従来の自己教師型学習法とは異なり、BEARDはBEST-RQ目標と凍結教師エンコーダからの知識蒸留を独自に組み合わせ、エンコーダと事前訓練されたデコーダとの相補性を確保する。 実験では,非ネイティブ音声,雑音,特殊フレーズを特徴とする,ATC(Air Traffic Control)通信ドメインのATCO2コーパスに着目した。
  論文  参考訳（メタデータ） (2025-10-28T16:01:24Z)
• Lost in Translation? Vocabulary Alignment for Source-Free Adaptation in Open-Vocabulary Semantic Segmentation [90.5844979560448]
  VocAlignは、セマンティックセグメンテーションにおいてVLM用に特別に設計された、ソースフリーのドメイン適応フレームワークである。 提案手法は,CityScapesデータセットの6.11mIoU改善を実現し,ゼロショットセグメンテーションベンチマークにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2025-09-18T17:59:58Z)
• Heterogeneous Self-Supervised Acoustic Pre-Training with Local Constraints [64.15709757611369]
  異種データを扱うための自己教師付き事前学習手法を提案する。 提案手法は、下流の教師付き微調整タスクに対する自己教師付き事前訓練モデルの適応性を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2025-08-27T15:48:50Z)
• Self-Taught Recognizer: Toward Unsupervised Adaptation for Speech Foundation Models [84.8919069953397]
  Self-Taught Recognizer (STAR) は、音声認識システムのための教師なし適応フレームワークである。 その結果,STARは14のドメインで平均13.5%の単語誤り率の相対的な減少を実現していることがわかった。 STARは1時間以内のラベル付きデータを必要とする高いデータ効率を示す。
  論文  参考訳（メタデータ） (2024-05-23T04:27:11Z)
• Advancing Test-Time Adaptation in Wild Acoustic Test Settings [26.05732574338255]
  音声信号は短期的な一貫性に従い、特別な適応戦略を必要とする。 本研究では,ASR微調整音響基礎モデルに適した新しい音響TTA法を提案する。 本手法は,様々な音環境下での既存のベースラインよりも優れる。
  論文  参考訳（メタデータ） (2023-10-14T06:22:08Z)
• On-the-Fly Feature Based Rapid Speaker Adaptation for Dysarthric and Elderly Speech Recognition [53.17176024917725]
  話者レベルのデータの共有化は、データ集約型モデルに基づく話者適応手法の実用的利用を制限する。 本稿では,2種類のデータ効率,特徴量に基づくオンザフライ話者適応手法を提案する。
  論文  参考訳（メタデータ） (2022-03-28T09:12:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。