論文の概要: Seamless Language Expansion: Enhancing Multilingual Mastery in Self-Supervised Models
- arxiv url: http://arxiv.org/abs/2406.14092v1
- Date: Thu, 20 Jun 2024 08:13:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-21 14:50:31.111059
- Title: Seamless Language Expansion: Enhancing Multilingual Mastery in Self-Supervised Models
- Title（参考訳）: シームレス言語の拡張: 自己監督型モデルにおける多言語習得の強化
- Authors: Jing Xu, Minglin Wu, Xixin Wu, Helen Meng,
- Abstract要約: 既存のSSLモデルにLoRAを統合して新しい言語を拡張する適応手法を提案する。
また、既存の言語における能力を維持するために、データの組み合わせと再クラスタ化を含む保存戦略も開発している。
- 参考スコア（独自算出の注目度）: 60.09618700199927
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Self-supervised (SSL) models have shown great performance in various downstream tasks. However, they are typically developed for limited languages, and may encounter new languages in real-world. Developing a SSL model for each new language is costly. Thus, it is vital to figure out how to efficiently adapt existed SSL models to a new language without impairing its original abilities. We propose adaptation methods which integrate LoRA to existed SSL models to extend new language. We also develop preservation strategies which include data combination and re-clustering to retain abilities on existed languages. Applied to mHuBERT, we investigate their effectiveness on speech re-synthesis task. Experiments show that our adaptation methods enable mHuBERT to be applied to a new language (Mandarin) with MOS value increased about 1.6 and the relative value of WER reduced up to 61.72%. Also, our preservation strategies ensure that the performance on both existed and new languages remains intact.
- Abstract（参考訳）: 自己監視(SSL)モデルは、さまざまな下流タスクで優れたパフォーマンスを示している。
しかし、それらは典型的には限られた言語のために開発され、現実世界で新しい言語に遭遇することがある。
新しい言語ごとにSSLモデルを開発するのはコストがかかる。
したがって、既存のSSLモデルを元の能力を損なうことなく、いかに効率的に新しい言語に適応させるかを理解することが不可欠である。
既存のSSLモデルにLoRAを統合して新しい言語を拡張する適応手法を提案する。
また、既存の言語における能力を維持するために、データの組み合わせと再クラスタ化を含む保存戦略も開発している。
本研究はmHuBERTに適用し, 音声合成における効果について検討する。
MOS値が1.6, WERの相対値が61.72%, mHuBERTを新しい言語(マンダリン)に適用できることを示す実験を行った。
また、我々の保存戦略は、新しい言語と新しい言語の両方のパフォーマンスが引き続き維持されていることを保証します。
関連論文リスト
- QueEn: A Large Language Model for Quechua-English Translation [20.377876059048692]
本稿では,Retrieval-Augmented Generation(RAG)とパラメータ効率のよい微調整技術を組み合わせた,ケチュア英訳の新しい手法であるQueEnを提案する。
BLEUスコアは標準GPTモデルの1.5に対して17.6である。
論文 参考訳（メタデータ） (2024-12-06T17:04:21Z) - How to Learn a New Language? An Efficient Solution for Self-Supervised Learning Models Unseen Languages Adaption in Low-Resource Scenario [72.02391485962127]
音声認識(ASR)における音声自己監視学習(SSL)モデルの性能向上
低リソース言語 ASR では、事前訓練された言語と低リソース言語のドメインミスマッチ問題に遭遇する。
これらの問題に対処するためのアダプタに基づく従来型の効率的な微調整手法を拡張した。
論文 参考訳（メタデータ） (2024-11-27T10:51:00Z) - Efficient Compression of Multitask Multilingual Speech Models [0.0]
DistilWhisperは、マルチタスクとマルチ言語機能の利点を維持しながら、これらの言語におけるASRのパフォーマンスギャップを埋めることができる。
提案手法は, 言語専門家を用いた軽量モジュール型ASR微調整と, ささやかな大口径v2からの知識蒸留の2つの戦略を含む。
論文 参考訳（メタデータ） (2024-05-02T03:11:59Z) - LLM Augmented LLMs: Expanding Capabilities through Composition [56.40953749310957]
CALM -- 言語モデルの拡張のための構成 -- は、モデル間の相互アテンションを導入して、表現を構成し、新しい機能を有効にする。
低リソース言語で訓練されたより小さなモデルでPaLM2-Sを増強すると、英語への翻訳のようなタスクで最大13%の改善が達成される。
PaLM2-Sがコード固有モデルで拡張されると、コード生成や説明タスクのベースモデルよりも40%向上する。
論文 参考訳（メタデータ） (2024-01-04T18:53:01Z) - Efficiently Adapting Pretrained Language Models To New Languages [9.33333013114014]
近年の大規模言語モデル (LLM) は低リソース言語に準最適性能を示す。
我々は,既存の学習済みLLMをこれらの問題に対処することなく,新しい言語に効率的に適応する方法について検討する。
論文 参考訳（メタデータ） (2023-11-09T20:59:08Z) - Improving Language Plasticity via Pretraining with Active Forgetting [63.36484652568976]
本稿では,新しい言語に迅速に適応可能な PLM を作成する簡単な方法として,事前学習中に能動的に忘れる機構を提案する。
RoBERTaを用いた実験では、忘れるメカニズムで事前訓練されたモデルは、言語適応中により高速な収束を示す。
論文 参考訳（メタデータ） (2023-07-03T17:12:44Z) - Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。
我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
論文 参考訳（メタデータ） (2023-06-13T08:08:08Z) - BLOOM+1: Adding Language Support to BLOOM for Zero-Shot Prompting [50.24676567971536]
BLOOMモデルは広く公開されている多言語言語モデルであるが、事前訓練は46言語に限られていた。
既存の言語適応戦略をBLOOMに適用し、8つの新しい言語の性能向上を促すゼロショットをベンチマークする。
データ言語を十分に訓練すれば、多様な言語に適応できると結論付けている。
論文 参考訳（メタデータ） (2022-12-19T15:24:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。