論文の概要: Domain Prompts: Towards memory and compute efficient domain adaptation
of ASR systems
- arxiv url: http://arxiv.org/abs/2112.08718v1
- Date: Thu, 16 Dec 2021 09:13:04 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-18 00:32:48.384079
- Title: Domain Prompts: Towards memory and compute efficient domain adaptation
of ASR systems
- Title（参考訳）: ドメインプロンプト:ASRシステムのメモリと計算効率のよいドメイン適応を目指して
- Authors: Saket Dingliwal, Ashish Shenoy, Sravan Bodapati, Ankur Gandhe, Ravi
Teja Gadde, Katrin Kirchhoff
- Abstract要約: ドメインプロンプト(Domain Prompts)は、少数のドメイントークン埋め込みパラメータをトレーニングして、トランスフォーマーベースのLMを特定のドメインにプライマリ化する手法である。
ドメインあたりのパラメータをわずかに増やすことで、未適応のLMを使用するベースラインよりも7-14%のWERの改善を実現しています。
- 参考スコア（独自算出の注目度）: 10.353639212734175
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Automatic Speech Recognition (ASR) systems have found their use in numerous
industrial applications in very diverse domains. Since domain-specific systems
perform better than their generic counterparts on in-domain evaluation, the
need for memory and compute-efficient domain adaptation is obvious.
Particularly, adapting parameter-heavy transformer-based language models used
for rescoring ASR hypothesis is challenging. In this work, we introduce
domain-prompts, a methodology that trains a small number of domain token
embedding parameters to prime a transformer-based LM to a particular domain.
With just a handful of extra parameters per domain, we achieve 7-14% WER
improvement over the baseline of using an unadapted LM. Despite being
parameter-efficient, these improvements are comparable to those of
fully-fine-tuned models with hundreds of millions of parameters. With ablations
on prompt-sizes, dataset sizes, initializations and domains, we provide
evidence for the benefits of using domain-prompts in ASR systems.
- Abstract（参考訳）: 自動音声認識(ASR)システムは、非常に多様な分野の多くの産業用途で使われている。
ドメイン固有のシステムはドメイン内評価において一般的なシステムよりもパフォーマンスが良いので、メモリと計算効率の良いドメイン適応の必要性は明らかです。
特に、ASR仮説の再構成に使用されるパラメータ重変換言語モデルの適用は困難である。
本稿では,少数のドメイントークン埋め込みパラメータをトレーニングして,トランスフォーマーベースのLMを特定のドメインにプライマリ化する手法であるドメインプロンプトを紹介する。
ドメインあたりのパラメータをわずかに増やすことで、未適応のLMを使用するベースラインよりも7-14%のWERの改善を実現しています。
パラメータ効率は高いが、これらの改善は数億のパラメータを持つ完全な調整モデルに匹敵する。
プロンプトサイズ,データセットサイズ,初期化,ドメインの短縮により,ASRシステムにおけるドメインプロンプトの利用のメリットを示す。
関連論文リスト
- Investigating the potential of Sparse Mixtures-of-Experts for multi-domain neural machine translation [59.41178047749177]
トレーニング中に見られるさまざまなドメインのデータを扱うことができ、トレーニング中に見つからないドメインに対して堅牢な効率的なモデルを開発することを目的として、マルチドメインニューラルネットワーク翻訳に重点を置いている。
SMOE(Sparse Mixture-of-Experts)モデルは、効率的なモデルスケーリングを可能にするため、このタスクに適していると仮定する。
マルチドメインシナリオにおけるSMoEの有用性を検証するための一連の実験を行い、Transformerの簡単な幅スケーリングは、実際はよりシンプルで驚くほど効率的なアプローチであり、SMoEと同等の性能レベルに達することを発見した。
論文 参考訳（メタデータ） (2024-07-01T09:45:22Z) - Role Prompting Guided Domain Adaptation with General Capability Preserve
for Large Language Models [55.51408151807268]
特定のドメインに合わせると、LLM(Large Language Models)は破滅的な忘れを経験する傾向がある。
同時に複数のドメインのための汎用モデルを構築することで、全体的なパフォーマンスが低下することが多い。
RolE Prompting Guided Multi-Domain Adaptation (REGA) 戦略を提案する。
論文 参考訳（メタデータ） (2024-03-05T08:22:41Z) - PM-DETR: Domain Adaptive Prompt Memory for Object Detection with
Transformers [25.812325027602252]
トランスフォーマーベースの検出器(DETR)は、エンドツーエンドのオブジェクト検出に顕著な性能を示した。
DETRを異なるデータ分散に転送すると、パフォーマンスが大幅に低下する可能性がある。
本稿では,検出変圧器を異なる分布に適応させるための階層型Prompt Domain Memory (PDM)を提案する。
論文 参考訳（メタデータ） (2023-07-01T12:02:24Z) - TADA: Efficient Task-Agnostic Domain Adaptation for Transformers [3.9379577980832843]
本研究では,タスクに依存しない新しいドメイン適応手法であるTADを紹介する。
TADA内では、トランスフォーマーエンコーダ用のドメイン認識型入力表現とトークン化器を学習するために埋め込みを再学習する。
メタ埋め込みと新しいメタトケナイザを用いて実験を行い、マルチドメインのユースケースでタスク毎に1つのモデルを作成する。
論文 参考訳（メタデータ） (2023-05-22T04:53:59Z) - Multi-Prompt Alignment for Multi-Source Unsupervised Domain Adaptation [86.02485817444216]
マルチプロンプトアライメント(MPA: Multi-Prompt Alignment)は,マルチソースUDAのためのシンプルかつ効率的なフレームワークである。
MPAは、学習したプロンプトを自動エンコードプロセスで認知し、再構築されたプロンプトの合意を最大化することでそれらを調整する。
実験によると、MPAは3つの一般的なデータセットで最先端の結果を達成し、DomainNetの平均精度は54.1%である。
論文 参考訳（メタデータ） (2022-09-30T03:40:10Z) - Domain-Agnostic Prior for Transfer Semantic Segmentation [197.9378107222422]
教師なしドメイン適応(UDA)はコンピュータビジョンコミュニティにおいて重要なトピックである。
ドメインに依存しない事前学習(DAP)を用いてドメイン間表現学習を規則化する機構を提案する。
我々の研究は、UDAがより良いプロキシ、おそらく他のデータモダリティの恩恵を受けていることを明らかにしている。
論文 参考訳（メタデータ） (2022-04-06T09:13:25Z) - Efficient domain adaptation of language models in ASR systems using
Prompt-tuning [10.353639212734175]
ドメイン固有の音声認識システムは、ドメイン内評価において、ジェネリックな音声認識よりも優れた性能を発揮する。
我々は,少数のドメイントークン埋め込みパラメータをトレーニングして,トランスフォーマーベースのLMを特定のドメインにプライマリ化する手法であるプロンプトチューニングを用いてこの問題を克服する。
ドメインあたりのパラメータをわずかに増やせば、未適応のLMを使用するベースラインよりもはるかに複雑なスコアが得られる。
論文 参考訳（メタデータ） (2021-10-13T05:20:57Z) - Learning Transferable Parameters for Unsupervised Domain Adaptation [29.962241958947306]
非自明なドメイン適応(UDA)は、学習機械が分散シフトの下でラベル付きソースドメインからラベルなしドメインに適応できるようにする。
本稿では,学習過程におけるドメイン固有情報による副作用を軽減するためにTransferable Learning(TransPar)を提案する。
論文 参考訳（メタデータ） (2021-08-13T09:09:15Z) - Self-Adversarial Disentangling for Specific Domain Adaptation [52.1935168534351]
ドメイン適応は、ソースとターゲットドメイン間のドメインシフトをブリッジすることを目的としています。
最近の手法では、特定の次元について明示的な事前知識を考慮しないのが一般的である。
論文 参考訳（メタデータ） (2021-08-08T02:36:45Z) - Multi-Domain Spoken Language Understanding Using Domain- and Task-Aware
Parameterization [78.93669377251396]
音声言語理解は、各ドメインでトレーニングデータのセットが利用できる教師付き学習問題として対処されてきた。
既存の1つのアプローチは、ドメイン間の共同トレーニングに共有パラメータを使用して、マルチドメイン学習を行うことによって、この問題を解決する。
本稿では,ドメイン固有モデルパラメータとタスク固有モデルパラメータを用いて,この手法のパラメータ化を改善することを提案する。
論文 参考訳（メタデータ） (2020-04-30T15:15:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。