論文の概要: Efficient domain adaptation of language models in ASR systems using Prompt-tuning

• arxiv url: http://arxiv.org/abs/2110.06502v1
• Date: Wed, 13 Oct 2021 05:20:57 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-15 01:07:53.899612
• Title: Efficient domain adaptation of language models in ASR systems using Prompt-tuning
• Title（参考訳）: プロンプトチューニングを用いたasrシステムにおける言語モデルの効率的なドメイン適応
• Authors: Saket Dingliwal, Ashish Shenoy, Sravan Bodapati, Ankur Gandhe, Ravi Teja Gadde, Katrin Kirchhoff
• Abstract要約: ドメイン固有の音声認識システムは、ドメイン内評価において、ジェネリックな音声認識よりも優れた性能を発揮する。 我々は,少数のドメイントークン埋め込みパラメータをトレーニングして,トランスフォーマーベースのLMを特定のドメインにプライマリ化する手法であるプロンプトチューニングを用いてこの問題を克服する。 ドメインあたりのパラメータをわずかに増やせば、未適応のLMを使用するベースラインよりもはるかに複雑なスコアが得られる。
• 参考スコア（独自算出の注目度）: 10.353639212734175
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Automatic Speech Recognition (ASR) systems have found their use in numerous industrial applications in very diverse domains. Since domain-specific systems perform better than their generic counterparts on in-domain evaluation, the need for memory and compute-efficient domain adaptation is obvious. Particularly, adapting parameter-heavy transformer-based language models used for rescoring ASR hypothesis is challenging. In this work, we overcome the problem using prompt-tuning, a methodology that trains a small number of domain token embedding parameters to prime a transformer-based LM to a particular domain. With just a handful of extra parameters per domain, we achieve much better perplexity scores over the baseline of using an unadapted LM. Despite being parameter-efficient, these improvements are comparable to those of fully-fine-tuned models with hundreds of millions of parameters. We replicate our findings in perplexity numbers to Word Error Rate in a domain-specific ASR system for one such domain.
• Abstract（参考訳）: 自動音声認識(ASR)システムは、非常に多様な分野の多くの産業用途で使われている。 ドメイン固有のシステムはドメイン内評価において一般的なシステムよりもパフォーマンスが良いので、メモリと計算効率の良いドメイン適応の必要性は明らかです。 特に、ASR仮説の再構成に使用されるパラメータ重変換言語モデルの適用は困難である。 本研究では,少数のドメイントークン埋め込みパラメータをトレーニングし,トランスフォーマーベースのLMを特定のドメインにプライマリ化する手法であるプロンプトチューニングを用いてこの問題を克服する。 ドメインあたりのパラメータをわずかに増やせば、未適応のLMを使用するベースラインよりもはるかに複雑なスコアが得られる。 パラメータ効率は高いが、これらの改善は数億のパラメータを持つ完全な調整モデルに匹敵する。 本研究は,ドメイン固有のASRシステムにおいて,単語誤り率(Word Error Rate)に再現する。

関連論文リスト

• Schema Augmentation for Zero-Shot Domain Adaptation in Dialogue State Tracking [16.67185296899117]
  ゼロショットドメイン適応のための現在の大規模言語モデルアプローチは、ターゲットドメインに関連する知識の導入を促すことに依存している。 本研究では,言語モデルのゼロショット領域適応を微調整により改善する新しいデータ拡張手法であるAugmentationを考案する。 MultiWOZ と SpokenWOZ の実験により,提案手法はベースラインよりも大幅に改善された。
  論文  参考訳（メタデータ） (2024-10-31T18:57:59Z)
• Investigating the potential of Sparse Mixtures-of-Experts for multi-domain neural machine translation [59.41178047749177]
  トレーニング中に見られるさまざまなドメインのデータを扱うことができ、トレーニング中に見つからないドメインに対して堅牢な効率的なモデルを開発することを目的として、マルチドメインニューラルネットワーク翻訳に重点を置いている。 SMOE(Sparse Mixture-of-Experts)モデルは、効率的なモデルスケーリングを可能にするため、このタスクに適していると仮定する。 マルチドメインシナリオにおけるSMoEの有用性を検証するための一連の実験を行い、Transformerの簡単な幅スケーリングは、実際はよりシンプルで驚くほど効率的なアプローチであり、SMoEと同等の性能レベルに達することを発見した。
  論文  参考訳（メタデータ） (2024-07-01T09:45:22Z)
• Role Prompting Guided Domain Adaptation with General Capability Preserve for Large Language Models [55.51408151807268]
  特定のドメインに合わせると、LLM(Large Language Models)は破滅的な忘れを経験する傾向がある。 同時に複数のドメインのための汎用モデルを構築することで、全体的なパフォーマンスが低下することが多い。 RolE Prompting Guided Multi-Domain Adaptation (REGA) 戦略を提案する。
  論文  参考訳（メタデータ） (2024-03-05T08:22:41Z)
• TADA: Efficient Task-Agnostic Domain Adaptation for Transformers [3.9379577980832843]
  本研究では,タスクに依存しない新しいドメイン適応手法であるTADを紹介する。 TADA内では、トランスフォーマーエンコーダ用のドメイン認識型入力表現とトークン化器を学習するために埋め込みを再学習する。 メタ埋め込みと新しいメタトケナイザを用いて実験を行い、マルチドメインのユースケースでタスク毎に1つのモデルを作成する。
  論文  参考訳（メタデータ） (2023-05-22T04:53:59Z)
• Improving Domain Generalization with Domain Relations [77.63345406973097]
  本稿では、モデルがトレーニングされたドメインと異なる新しいドメインに適用されたときに発生するドメインシフトに焦点を当てる。 ドメイン固有モデルを学習するためのD$3$Gという新しい手法を提案する。 以上の結果から,D$3$Gは最先端の手法より一貫して優れていた。
  論文  参考訳（メタデータ） (2023-02-06T08:11:16Z)
• Multi-Prompt Alignment for Multi-Source Unsupervised Domain Adaptation [86.02485817444216]
  マルチプロンプトアライメント(MPA: Multi-Prompt Alignment)は,マルチソースUDAのためのシンプルかつ効率的なフレームワークである。 MPAは、学習したプロンプトを自動エンコードプロセスで認知し、再構築されたプロンプトの合意を最大化することでそれらを調整する。 実験によると、MPAは3つの一般的なデータセットで最先端の結果を達成し、DomainNetの平均精度は54.1%である。
  論文  参考訳（メタデータ） (2022-09-30T03:40:10Z)
• Domain Prompts: Towards memory and compute efficient domain adaptation of ASR systems [10.353639212734175]
  ドメインプロンプト(Domain Prompts)は、少数のドメイントークン埋め込みパラメータをトレーニングして、トランスフォーマーベースのLMを特定のドメインにプライマリ化する手法である。 ドメインあたりのパラメータをわずかに増やすことで、未適応のLMを使用するベースラインよりも7-14%のWERの改善を実現しています。
  論文  参考訳（メタデータ） (2021-12-16T09:13:04Z)
• Learning Transferable Parameters for Unsupervised Domain Adaptation [29.962241958947306]
  非自明なドメイン適応(UDA)は、学習機械が分散シフトの下でラベル付きソースドメインからラベルなしドメインに適応できるようにする。 本稿では,学習過程におけるドメイン固有情報による副作用を軽減するためにTransferable Learning(TransPar)を提案する。
  論文  参考訳（メタデータ） (2021-08-13T09:09:15Z)
• Adaptive Domain-Specific Normalization for Generalizable Person Re-Identification [81.30327016286009]
  一般化可能なRe-IDのための適応型ドメイン固有正規化手法(AdsNorm)を提案する。 本研究では,一般化可能人物 Re-ID に対する適応領域特異的正規化手法 (AdsNorm) を提案する。
  論文  参考訳（メタデータ） (2021-05-07T02:54:55Z)
• Multi-Domain Spoken Language Understanding Using Domain- and Task-Aware Parameterization [78.93669377251396]
  音声言語理解は、各ドメインでトレーニングデータのセットが利用できる教師付き学習問題として対処されてきた。 既存の1つのアプローチは、ドメイン間の共同トレーニングに共有パラメータを使用して、マルチドメイン学習を行うことによって、この問題を解決する。 本稿では,ドメイン固有モデルパラメータとタスク固有モデルパラメータを用いて,この手法のパラメータ化を改善することを提案する。
  論文  参考訳（メタデータ） (2020-04-30T15:15:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。