論文の概要: A Parameter-efficient Language Extension Framework for Multilingual ASR

• arxiv url: http://arxiv.org/abs/2406.06329v1
• Date: Mon, 10 Jun 2024 14:46:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-11 13:38:29.286768
• Title: A Parameter-efficient Language Extension Framework for Multilingual ASR
• Title（参考訳）: 多言語ASRのためのパラメータ効率のよい言語拡張フレームワーク
• Authors: Wei Liu, Jingyong Hou, Dong Yang, Muyong Cao, Tan Lee,
• Abstract要約: 本稿では,言語拡張のためのアーキテクチャベースのフレームワークを提案する。 パラメータ効率が良く、新しい言語に適応するためにアドオンモジュールを漸進的に組み込むように設計されている。 幅広い低パフォーマンスデータサイズを持つ5つの新しい言語で実験を行う。
• 参考スコア（独自算出の注目度）: 25.758826304861948
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Covering all languages with a multilingual speech recognition model (MASR) is very difficult. Performing language extension on top of an existing MASR is a desirable choice. In this study, the MASR continual learning problem is probabilistically decomposed into language identity prediction (LP) and cross-lingual adaptation (XLA) sub-problems. Based on this, we propose an architecture-based framework for language extension that can fundamentally solve catastrophic forgetting, debudded as PELE. PELE is designed to be parameter-efficient, incrementally incorporating an add-on module to adapt to a new language. Specifically, different parameter-efficient fine-tuning (PEFT) modules and their variants are explored as potential candidates to perform XLA. Experiments are carried out on 5 new languages with a wide range of low-resourced data sizes. The best-performing PEFT candidate can achieve satisfactory performance across all languages and demonstrates superiority in three of five languages over the continual joint learning setting. Notably, PEFT methods focusing on weight parameters or input features are revealed to be limited in performance, showing significantly inferior extension capabilities compared to inserting a lightweight module in between layers such as an Adapter.
• Abstract（参考訳）: 多言語音声認識モデル(MASR)で全言語をカバーすることは極めて困難である。 既存のMASR上で言語拡張を実行することが望ましい選択である。 本研究では,MASR連続学習問題を言語同一性予測(LP)と言語間適応(XLA)サブプロブレムに確率的に分解する。 そこで我々は,言語拡張のためのアーキテクチャベースのフレームワークを提案する。 PELEはパラメータ効率が高く、新しい言語に適応するためにアドオンモジュールを漸進的に組み込むように設計されている。 具体的には、パラメータ効率の異なる細調整(PEFT)モジュールとその変種をXLAの実行候補として検討する。 さまざまな低リソースのデータサイズを持つ5つの新しい言語で実験を行う。 最も優れたPEFT候補は、すべての言語で満足な性能を達成でき、連続的な共同学習環境における5言語のうち3言語で優位性を示す。 特に、重みパラメータや入力特徴に着目したPEFT法は、Adapterのような層間において軽量モジュールを挿入するよりも、性能が著しく劣っていることが明らかとなった。

関連論文リスト

• MoE-LPR: Multilingual Extension of Large Language Models through Mixture-of-Experts with Language Priors Routing [78.62611800987817]
  大規模言語モデル(LLM)は、事前学習データに言語が不均等に分布するため、しばしば英語中心である。 そこで本稿では,MoE-LPR (Mixture-of-Experts with Language Priors) と呼ばれる手法を提案する。
  論文  参考訳（メタデータ） (2024-08-21T07:43:49Z)
• Learn and Don't Forget: Adding a New Language to ASR Foundation Models [33.98622415462255]
  ファンデーションASRモデルは、ウィスパーの100言語など、多くの言語をサポートすることが多い。 微調整は単純ではあるが、元の集合の精度を低下させることがある。 EWCは特定のターゲット言語のパフォーマンスを維持する可能性に対して、代替的な妥協を提供する。
  論文  参考訳（メタデータ） (2024-07-09T12:14:48Z)
• Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
  本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。 我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
  論文  参考訳（メタデータ） (2023-06-13T08:08:08Z)
• Continual Learning in Multilingual NMT via Language-Specific Embeddings [92.91823064720232]
  共有語彙を小さな言語固有の語彙に置き換え、新しい言語の並列データに新しい埋め込みを微調整する。 元のモデルのパラメータは変更されていないため、初期言語の性能は劣化しない。
  論文  参考訳（メタデータ） (2021-10-20T10:38:57Z)
• Efficient Test Time Adapter Ensembling for Low-resource Language Varieties [115.12997212870962]
  多言語事前学習モデルの言語間移動を容易にするために,特殊言語とタスクアダプタが提案されている。 直感的な解法は、新しい言語の種類に関連言語アダプタを使用することであるが、この解が準最適性能をもたらすことを観察する。 本稿では,新しいアダプタを訓練することなく,未知言語への言語アダプタの堅牢性を向上させることを目的とする。
  論文  参考訳（メタデータ） (2021-09-10T13:44:46Z)
• MAD-X: An Adapter-Based Framework for Multi-Task Cross-Lingual Transfer [136.09386219006123]
  我々は、任意のタスクや言語への高いポータビリティとパラメータ効率の移行を可能にするアダプタベースのフレームワークであるMAD-Xを提案する。 MAD-Xは、名前付きエンティティ認識と因果コモンセンス推論に基づいて、タイプボロジーに多様性のある言語群を横断する言語間移動において、芸術の状態を上回ります。
  論文  参考訳（メタデータ） (2020-04-30T18:54:43Z)
• Learning to Scale Multilingual Representations for Vision-Language Tasks [51.27839182889422]
  SMALRの有効性は、これまでビジョン言語タスクでサポートされた2倍以上の10の多言語で実証されている。 単語の埋め込み手法と比較して,訓練パラメータの1/5以下で,複数言語による画像文検索と先行作業の3～4%の性能評価を行った。
  論文  参考訳（メタデータ） (2020-04-09T01:03:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。