論文の概要: Internal Language Model Estimation based Adaptive Language Model Fusion for Domain Adaptation

• arxiv url: http://arxiv.org/abs/2211.00968v1
• Date: Wed, 2 Nov 2022 09:15:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-03 14:06:07.395673
• Title: Internal Language Model Estimation based Adaptive Language Model Fusion for Domain Adaptation
• Title（参考訳）: ドメイン適応のための適応言語モデル融合に基づく内部言語モデル推定
• Authors: Rao Ma, Xiaobo Wu, Jin Qiu, Yanan Qin, Haihua Xu, Peihao Wu, Zejun Ma
• Abstract要約: 内部言語モデル推定に基づく適応的ドメイン適応(ILME-ADA)と呼ばれる適応的LM融合手法を提案する。 本稿では、ニューラルネットワークとn-gram LMをEMMとして用いたRNN-TおよびLASモデリングフレームワークを用いたILME-ADA法の有効性を、2つのドメイン固有(ターゲット)テストセットで示す。
• 参考スコア（独自算出の注目度）: 12.239557608053156
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: ASR model deployment environment is ever-changing, and the incoming speech can be switched across different domains during a session. This brings a challenge for effective domain adaptation when only target domain text data is available, and our objective is to obtain obviously improved performance on the target domain while the performance on the general domain is less undermined. In this paper, we propose an adaptive LM fusion approach called internal language model estimation based adaptive domain adaptation (ILME-ADA). To realize such an ILME-ADA, an interpolated log-likelihood score is calculated based on the maximum of the scores from the internal LM and the external LM (ELM) respectively. We demonstrate the efficacy of the proposed ILME-ADA method with both RNN-T and LAS modeling frameworks employing neural network and n-gram LMs as ELMs respectively on two domain specific (target) test sets. The proposed method can achieve significantly better performance on the target test sets while it gets minimal performance degradation on the general test set, compared with both shallow and ILME-based LM fusion methods.
• Abstract（参考訳）: ASRモデルデプロイメント環境は変わらず変化しており、セッション中に入力された音声は異なるドメイン間で切り替えることができる。 これにより、対象領域のテキストデータのみを対象とする場合の効果的なドメイン適応が課題となり、汎用ドメインの性能が損なわれない一方で、対象領域での明らかに改善されたパフォーマンスを得ることが目的である。 本稿では、内部言語モデル推定に基づく適応ドメイン適応(ILME-ADA)と呼ばれる適応LM融合手法を提案する。 このようなILME-ADAを実現するために、内部LMと外部LM(ELM)とのスコアの最大値に基づいて補間対数様スコアを算出する。 本稿では、ニューラルネットワークとn-gram LMをEMMとして用いたRNN-TおよびLASモデリングフレームワークを用いたILME-ADA法の有効性を、2つのドメイン固有(ターゲット)テストセットで示す。 提案手法は, 浅層および ilme 系 lm 融合法と比較して, 一般テストセットの性能低下を最小限に抑えつつ, 目標テストセットの性能を大幅に向上させることができる。

関連論文リスト

• Self-Exploring Language Models: Active Preference Elicitation for Online Alignment [88.56809269990625]
  本研究では, 分布域外領域を積極的に探索するために, 潜在的に高次応答に対して楽観的に偏りを呈する2段階的客観性を提案する。 実験の結果,Zephyr-7B-SFTとLlama-3-8B-Instructモデルで微調整した場合,SELM(Self-Exploring Language Models)は命令追従ベンチマークの性能を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-05-29T17:59:07Z)
• Unified Language-driven Zero-shot Domain Adaptation [55.64088594551629]
  Unified Language-driven Zero-shot Domain Adaptation (ULDA)は、新しいタスクセットである。 これにより、ドメインIDの知識を明示することなく、単一のモデルを多様なターゲットドメインに適応させることができる。
  論文  参考訳（メタデータ） (2024-04-10T16:44:11Z)
• Dynamic Domain Discrepancy Adjustment for Active Multi-Domain Adaptation [3.367755441623275]
  マルチソースアン教師付きドメイン適応(MUDA)は、関連するソースドメインから未ラベルのターゲットドメインに知識を転送することを目的としている。 アクティブマルチドメイン適応(D3AAMDA)のための動的ドメイン不一致適応法(Dynamic Domain Disrepancy Adjustment)を提案する。 このメカニズムは、ソースドメインとターゲットドメイン間の特徴のアライメントレベルを制御し、ソースドメイン内のローカルな有利な特徴情報を効果的に活用する。
  論文  参考訳（メタデータ） (2023-07-26T09:40:19Z)
• Divide and Adapt: Active Domain Adaptation via Customized Learning [56.79144758380419]
  対象インスタンスを成層化可能な4つのカテゴリに分割する新しいADAフレームワークであるDiaNA(Divide-and-Adapt)を提案する。 不確実性とドメイン性に基づく新しいデータ分割プロトコルにより、DiaNAは最も有利なサンプルを正確に認識することができる。 の精神のおかげで、DiaNAはドメインギャップの大きなバリエーションでデータを処理できる。
  論文  参考訳（メタデータ） (2023-07-21T14:37:17Z)
• Mask The Bias: Improving Domain-Adaptive Generalization of CTC-based ASR with Internal Language Model Estimation [14.840612036671734]
  自己回帰モデルに対するこのバイアスを軽減するために、内部言語モデル推定(ILME)が提案されている。 CTCに基づくASRモデルのための新しいILME手法を提案する。 本手法は、内部LMの擬似ログ類似度を推定するために、音声タイムステップを反復的にマスクする。
  論文  参考訳（メタデータ） (2023-05-05T20:35:42Z)
• IDA: Informed Domain Adaptive Semantic Segmentation [51.12107564372869]
  クラスレベルのセグメンテーション性能に基づいてデータを混合する自己学習フレームワークであるDomain Informed Adaptation (IDA) モデルを提案する。 IDAモデルでは、クラスレベルの性能を期待信頼スコア(ECS)によって追跡し、動的スケジュールを用いて異なる領域のデータに対する混合比を決定する。 提案手法は,GTA-Vの都市景観への適応において1.1 mIoU,SynTHIAの都市への適応において0.9 mIoUのマージンで,最先端のUDA-SS法よりも優れる。
  論文  参考訳（メタデータ） (2023-03-05T18:16:34Z)
• On Language Model Integration for RNN Transducer based Speech Recognition [49.84285563767935]
  共通RNN-Tフレームワークで構成された様々なILM補正に基づくLM積分法について検討する。 ILM補正による性能改善の2つの主な理由を復号化解釈する。 また,ハイブリッド自己回帰変換器の証明を拡張することで,正確なILMトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-10-13T16:30:46Z)
• A Simple Baseline to Semi-Supervised Domain Adaptation for Machine Translation [73.3550140511458]
  State-of-the-art Neural Machine Translation (NMT)システムは、データハングリーであり、教師付きデータを持たない新しいドメインではパフォーマンスが良くない。 NMTの半教師付きドメイン適応シナリオに対する単純だが効果のあるアプローチを提案する。 このアプローチは、言語モデリング、バックトランスレーション、教師付き翻訳の3つのトレーニング目標を通じて、TransformerベースのNMTモデルを反復的にトレーニングする。
  論文  参考訳（メタデータ） (2020-01-22T16:42:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。