論文の概要: Transliterated Zero-Shot Domain Adaptation for Automatic Speech Recognition

• arxiv url: http://arxiv.org/abs/2412.11185v1
• Date: Sun, 15 Dec 2024 13:32:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:55:36.605506
• Title: Transliterated Zero-Shot Domain Adaptation for Automatic Speech Recognition
• Title（参考訳）: 自動音声認識のための文字化ゼロショット領域適応
• Authors: Han Zhu, Gaofeng Cheng, Qingwei Zhao, Pengyuan Zhang,
• Abstract要約: ドメイン適応はゼロショットドメイン適応(ZSDA)の問題に対処できる。 対象のドメイン情報がよりアクセスしやすい別のソース言語から対象のドメイン知識を転送する。 翻訳されたZSDAは、wav2vec 2.0ベースラインと比較して単語エラー率を9.2%削減する。
• 参考スコア（独自算出の注目度）: 35.77832843098757
• License:
• Abstract: The performance of automatic speech recognition models often degenerates on domains not covered by the training data. Domain adaptation can address this issue, assuming the availability of the target domain data in the target language. However, such assumption does not stand in many real-world applications. To make domain adaptation more applicable, we address the problem of zero-shot domain adaptation (ZSDA), where target domain data is unavailable in the target language. Instead, we transfer the target domain knowledge from another source language where the target domain data is more accessible. To do that, we first perform cross-lingual pre-training (XLPT) to share domain knowledge across languages, then use target language fine-tuning to build the final model. One challenge in this practice is that the pre-trained knowledge can be forgotten during fine-tuning, resulting in sub-optimal adaptation performance. To address this issue, we propose transliterated ZSDA to achieve consistent pre-training and fine-tuning labels, leading to maximum preservation of the pre-trained knowledge. Experimental results show that transliterated ZSDA relatively decreases the word error rate by 9.2% compared with a wav2vec 2.0 baseline. Moreover, transliterated ZSDA consistently outperforms self-supervised ZSDA and performs on par with supervised ZSDA, proving the superiority of transliteration-based pre-training labels.
• Abstract（参考訳）: 自動音声認識モデルの性能は、トレーニングデータでカバーされていない領域で劣化することが多い。 ドメイン適応は、ターゲット言語におけるターゲットドメインデータの可用性を前提として、この問題に対処することができる。 しかし、そのような仮定は多くの現実世界の応用には当てはまらない。 ドメイン適応をより適用可能にするため、ターゲット言語では対象ドメインデータが利用できないゼロショットドメイン適応(ZSDA)の問題に対処する。 代わりに、ターゲットドメインの知識を、ターゲットドメインデータがよりアクセスしやすい別のソース言語から転送します。 そのため、まず言語間のドメイン知識を共有するために言語間事前学習(XLPT)を行い、次にターゲット言語を微調整して最終モデルを構築する。 このプラクティスの課題の1つは、訓練済みの知識を微調整中に忘れることができ、その結果、準最適適応性能が得られることである。 この問題に対処するために、一貫した事前学習と微調整のラベルを実現するための文字化ZSDAを提案し、事前学習された知識を最大限に保存する。 実験の結果,翻訳したZSDAはwav2vec 2.0ベースラインと比較して単語誤り率を9.2%減少させることがわかった。 さらに、文字化ZSDAは、常に自己教師付きZSDAより優れ、教師付きZSDAと同等に動作し、文字化ベースの事前学習ラベルの優越性を証明している。

関連論文リスト

• Prior Knowledge Guided Unsupervised Domain Adaptation [82.9977759320565]
  本稿では,対象とするクラス分布に関する事前知識を利用できる知識誘導型非教師付きドメイン適応(KUDA)設定を提案する。 特に,対象領域におけるクラス分布に関する2種類の事前知識について考察する。 このような事前知識を用いて生成した擬似ラベルを精査する修正モジュールを提案する。
  論文  参考訳（メタデータ） (2022-07-18T18:41:36Z)
• Boosting Cross-Domain Speech Recognition with Self-Supervision [35.01508881708751]
  自動音声認識(ASR)のクロスドメイン性能は,トレーニングとテストのミスマッチにより著しく損なわれる可能性がある。 従来, 自己監督学習 (SSL) や擬似ラベル学習 (PL) は, 未ラベルデータの自己監督を利用してUDAに有効であることが示された。 この研究は、事前学習および微調整のパラダイムにおいて、ラベルなしデータを完全に活用する体系的なUDAフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-20T14:02:53Z)
• KALA: Knowledge-Augmented Language Model Adaptation [65.92457495576141]
  プレトレーニング言語モデル(PLM)のための新しいドメイン適応フレームワークを提案する。 知識拡張言語モデル適応(英: Knowledge-Augmented Language Model Adaptation, KALA)は、PLMの中間的隠れ表現をドメイン知識で修飾する。 計算効率は高いが,我々のKALAは適応型事前学習よりも優れていた。
  論文  参考訳（メタデータ） (2022-04-22T08:11:59Z)
• Stagewise Unsupervised Domain Adaptation with Adversarial Self-Training for Road Segmentation of Remote Sensing Images [93.50240389540252]
  リモートセンシング画像からの道路セグメンテーションは、幅広い応用可能性を持つ課題である。 本稿では,この領域における領域シフト(DS)問題に対処するため,RoadDAと呼ばれる新たな段階的ドメイン適応モデルを提案する。 2つのベンチマーク実験の結果、RoadDAはドメインギャップを効率的に減らし、最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2021-08-28T09:29:14Z)
• Contrastive Learning and Self-Training for Unsupervised Domain Adaptation in Semantic Segmentation [71.77083272602525]
  UDAはラベル付きソースドメインからラベルなしターゲットドメインへの効率的な知識伝達を試みている。 本稿では,領域にまたがるカテゴリ別センタロイドを適応させるコントラスト学習手法を提案する。 提案手法を自己学習で拡張し,メモリ効率の良い時間アンサンブルを用いて一貫性と信頼性の高い擬似ラベルを生成する。
  論文  参考訳（メタデータ） (2021-05-05T11:55:53Z)
• Feature Adaptation of Pre-Trained Language Models across Languages and Domains with Robust Self-Training [47.12438995938133]
  我々は、訓練済み言語モデル(PrLM)を微調整なしで新しいドメインに適用する。 PrLMから識別的特徴を学習するために,クラス認識型自己蒸留(CFd)を提案する。 2つの単言語および多言語Amazonレビューデータセットの実験は、CFdが継続的に自己学習のパフォーマンスを改善することができることを示している。
  論文  参考訳（メタデータ） (2020-09-24T08:04:37Z)
• Deep Co-Training with Task Decomposition for Semi-Supervised Domain Adaptation [80.55236691733506]
  半教師付きドメイン適応(SSDA)は、ラベル付きソースドメインからトレーニングされたモデルを、異なるが関連するターゲットドメインに適応させることを目的としている。 本稿では,SSDAタスクを対象ドメイン内の半教師付き学習(SSL)タスクと,ドメイン間の非教師付きドメイン適応(UDA)タスクの2つのサブタスクに明示的に分解することを提案する。
  論文  参考訳（メタデータ） (2020-07-24T17:57:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。