論文の概要: Damage Control During Domain Adaptation for Transducer Based Automatic Speech Recognition

• arxiv url: http://arxiv.org/abs/2210.03255v1
• Date: Thu, 6 Oct 2022 23:38:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-10 13:25:10.481549
• Title: Damage Control During Domain Adaptation for Transducer Based Automatic Speech Recognition
• Title（参考訳）: トランスデューサを用いた自動音声認識における領域適応時の損傷制御
• Authors: Somshubra Majumdar, Shantanu Acharya, Vitaly Lavrukhin, Boris Ginsburg
• Abstract要約: 新しいドメインへのモデル適応の潜在的な欠点は、元のドメインでのワードエラー率が著しく低下している大惨な忘れ事である。 本稿では,音声認識モデルを新しい領域に同時に適用したい場合について述べる。 本稿では,Transducerエンコーダの限られたトレーニング戦略や正規化アダプタモジュール,予測,結合器ネットワークなどの手法を提案する。
• 参考スコア（独自算出の注目度）: 13.029537136528521
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automatic speech recognition models are often adapted to improve their accuracy in a new domain. A potential drawback of model adaptation to new domains is catastrophic forgetting, where the Word Error Rate on the original domain is significantly degraded. This paper addresses the situation when we want to simultaneously adapt automatic speech recognition models to a new domain and limit the degradation of accuracy on the original domain without access to the original training dataset. We propose several techniques such as a limited training strategy and regularized adapter modules for the Transducer encoder, prediction, and joiner network. We apply these methods to the Google Speech Commands and to the UK and Ireland English Dialect speech data set and obtain strong results on the new target domain while limiting the degradation on the original domain.
• Abstract（参考訳）: 自動音声認識モデルは、新しい領域で精度を向上させるためにしばしば適用される。 新しいドメインへのモデル適応の潜在的な欠点は、元のドメインの単語エラー率が著しく低下する破滅的な忘れることである。 本稿では、新しい領域に自動音声認識モデルを同時に適用したい場合と、元のトレーニングデータセットにアクセスせずに元のドメインの精度の低下を制限する場合について述べる。 本稿では,Transducerエンコーダの限られたトレーニング戦略や正規化アダプタモジュール,予測,結合器ネットワークなどの手法を提案する。 本手法は,Google Speech Commands および UK および Ireland English Dialect 音声データセットに適用し,元のドメインの劣化を抑えつつ,新たなターゲットドメインに対する強い結果を得る。

関連論文リスト

• Progressive Conservative Adaptation for Evolving Target Domains [76.9274842289221]
  従来のドメイン適応は、典型的には、ソースドメインから定常ターゲットドメインに知識を転送する。 このような対象データに対する復元と適応は、時間とともに計算とリソース消費をエスカレートする。 我々は、進歩的保守的適応(PCAda)と呼ばれる、単純で効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2024-02-07T04:11:25Z)
• Automatic Data Augmentation for Domain Adapted Fine-Tuning of Self-Supervised Speech Representations [21.423349835589793]
  SSL(Self-Supervised Learning)は、大量のラベルのない音声データを活用して音声認識モデルの性能を向上させる。 これにもかかわらず、プレトレーニングとターゲットデータセットの音響ミスマッチに直面しながら、音声SSL表現が失敗する可能性がある。 音響領域におけるそのようなミスマッチを示すケースを対象とした,新しい教師付きドメイン適応手法を提案する。
  論文  参考訳（メタデータ） (2023-06-01T09:30:49Z)
• SwitchPrompt: Learning Domain-Specific Gated Soft Prompts for Classification in Low-Resource Domains [14.096170976149521]
  SwitchPromptは、汎用ドメインからさまざまな低リソースドメインへのデータセットでトレーニングされた言語モデルを適応するための、新しくて軽量なプロンプト手法である。 筆者らは,SwitchPromptを用いた場合の一般領域事前学習言語モデルの有効性を3つのテキスト分類ベンチマークで検証した。 彼らはしばしば、ベースライン・オブ・ザ・アーツ・プロンプト法で訓練されたドメイン固有の手法を最大10.7%の精度で上回っている。
  論文  参考訳（メタデータ） (2023-02-14T07:14:08Z)
• Domain Adaptation via Prompt Learning [39.97105851723885]
  Unsupervised Domain Adaption (UDA) は、十分にアノテーションされたソースドメインから学習したモデルをターゲットドメインに適応させることを目的としている。 我々は,Prompt Learning (DAPL) によるドメイン適応という,UDAのための新しいプロンプト学習パラダイムを導入する。
  論文  参考訳（メタデータ） (2022-02-14T13:25:46Z)
• Non-Parametric Unsupervised Domain Adaptation for Neural Machine Translation [61.27321597981737]
  $k$NN-MTは、トレーニング済みニューラルネットワーク翻訳(NMT)モデルとドメイン固有のトークンレベルである$k$-nearest-neighbor検索を直接組み込むという有望な能力を示している。 対象言語におけるドメイン内単言語文を直接使用して,$k$-nearest-neighbor検索に有効なデータストアを構築する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-14T11:50:01Z)
• Stagewise Unsupervised Domain Adaptation with Adversarial Self-Training for Road Segmentation of Remote Sensing Images [93.50240389540252]
  リモートセンシング画像からの道路セグメンテーションは、幅広い応用可能性を持つ課題である。 本稿では,この領域における領域シフト(DS)問題に対処するため,RoadDAと呼ばれる新たな段階的ドメイン適応モデルを提案する。 2つのベンチマーク実験の結果、RoadDAはドメインギャップを効率的に減らし、最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2021-08-28T09:29:14Z)
• Unsupervised Domain Adaptation in Speech Recognition using Phonetic Features [6.872447420442981]
  音声特徴量を用いた音声認識において、教師なし性に基づくドメイン適応を行う手法を提案する。 TIMITデータセット上で実験を行い,提案手法を用いて音素誤り率を著しく低減した。
  論文  参考訳（メタデータ） (2021-08-04T06:22:12Z)
• Neural Supervised Domain Adaptation by Augmenting Pre-trained Models with Random Units [14.183224769428843]
  自然言語処理(NLP)におけるニューラルトランスファーラーニング(TL)の展開 本稿では,その効率性にも拘わらず,主な限界に悩まされている解釈手法について述べる。 本稿では,正規化,重み付け,ランダムに初期化を施した事前学習モデルの強化について提案する。
  論文  参考訳（メタデータ） (2021-06-09T09:29:11Z)
• Gradient Regularized Contrastive Learning for Continual Domain Adaptation [86.02012896014095]
  本稿では,ラベル付きソースドメインと非ラベル付きターゲットドメインのシーケンスでモデルを提示する連続的なドメイン適応の問題について検討する。 障害を解決するため,グラディエント正規化コントラスト学習(GRCL)を提案する。 Digits、DomainNet、Office-Caltechベンチマークの実験は、我々のアプローチの強力なパフォーマンスを示しています。
  論文  参考訳（メタデータ） (2021-03-23T04:10:42Z)
• DEAAN: Disentangled Embedding and Adversarial Adaptation Network for Robust Speaker Representation Learning [69.70594547377283]
  話者関連およびドメイン固有の特徴を解き放つための新しいフレームワークを提案する。 我々のフレームワークは、より話者差別的でドメイン不変な話者表現を効果的に生成できる。
  論文  参考訳（メタデータ） (2020-12-12T19:46:56Z)
• Understanding Self-Training for Gradual Domain Adaptation [107.37869221297687]
  段階的なドメイン適応は、対象領域へ徐々にシフトするラベルのないデータのみを与えられたソースドメインで訓練された初期分類器を適応させることが目的である。 目標領域への直接適応が非有界誤差をもたらすような設定下において、段階的なシフトを伴う自己学習の誤差に対する最初の非無空上界を証明した。 この理論解析はアルゴリズムの洞察を導き、無限のデータを持つ場合でも正規化とラベルのシャープ化が不可欠であることを強調し、より小さなワッサーシュタイン無限距離のシフトに対して自己学習が特にうまく働くことを示唆している。
  論文  参考訳（メタデータ） (2020-02-26T08:59:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。