論文の概要: Task Arithmetic for Language Expansion in Speech Translation

• arxiv url: http://arxiv.org/abs/2409.11274v1
• Date: Tue, 17 Sep 2024 15:25:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-18 15:57:32.602323
• Title: Task Arithmetic for Language Expansion in Speech Translation
• Title（参考訳）: 音声翻訳における言語拡張のためのタスク算術
• Authors: Yao-Fei Cheng, Hayato Futami, Yosuke Kashiwagi, Emiru Tsunoo, Wen Shen Teo, Siddhant Arora, Shinji Watanabe,
• Abstract要約: 我々は,新しい言語ペアと既存のモデルで訓練されたモデルを組み合わせることで,新しい言語ペアを拡張することを提案する。 また,STに対するタスク演算の直接適用により,マージされたモデルが命令に従わないことが判明した。 言語を混乱させないために,追加の言語制御モデルとマージする拡張タスク演算法を提案する。
• 参考スコア（独自算出の注目度）: 41.721843322787045
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in large language models (LLMs) have gained interest in speech-text multimodal foundation models, achieving strong performance on instruction-based speech translation (ST). However, expanding language pairs from an existing instruction-tuned ST system is costly due to the necessity of re-training on a combination of new and previous datasets. We propose to expand new language pairs by merging the model trained on new language pairs and the existing model, using task arithmetic. We find that the direct application of task arithmetic for ST causes the merged model to fail to follow instructions; thus, generating translation in incorrect languages. To eliminate language confusion, we propose an augmented task arithmetic method that merges an additional language control model. It is trained to generate the correct target language token following the instructions. Our experiments demonstrate that our proposed language control model can achieve language expansion by eliminating language confusion. In our MuST-C and CoVoST-2 experiments, it shows up to 4.66 and 4.92 BLEU scores improvement, respectively. In addition, we demonstrate the use of our task arithmetic framework can expand to a language pair where neither paired ST training data nor a pre-trained ST model is available. We first synthesize the ST system from machine translation (MT) systems via task analogy, then merge the synthesized ST system to the existing ST model.
• Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩は、音声テキストの多モーダル基礎モデルに関心を持ち、命令ベースの音声翻訳(ST)において高いパフォーマンスを達成している。 しかし、既存の命令調整STシステムから言語ペアを拡張するのは、新しいデータセットと以前のデータセットの組み合わせで再学習する必要があるため、コストがかかる。 タスク算術を用いて,新しい言語ペアと既存モデルで訓練されたモデルを統合することで,新しい言語ペアを拡張することを提案する。 そこで,STに対するタスク演算の直接適用により,統合されたモデルでは命令に従わないことが判明した。 言語を混乱させないために,追加の言語制御モデルとマージする拡張タスク演算法を提案する。 命令に従って適切なターゲット言語トークンを生成するように訓練されている。 提案する言語制御モデルは,言語混乱を解消し,言語拡張を実現することができることを示す。 MuST-CとCoVoST-2の実験では、それぞれ4.66と4.92のBLEUスコアが改善されている。 さらに、我々のタスク演算フレームワークを用いることで、ペアSTトレーニングデータも事前学習STモデルも使用できない言語ペアに拡張できることを示す。 まず, 機械翻訳(MT)システムからタスクアナログを用いてSTシステムを合成し, 合成STシステムを既存のSTモデルにマージする。

関連論文リスト

• Crosslingual Generalization through Multitask Finetuning [80.8822603322471]
  マルチタスク誘導ファインタニング(MTF)は、大きな言語モデルがゼロショット設定で新しいタスクに一般化するのに役立つことが示されている。 MTFを事前訓練された多言語BLOOMおよびmT5モデルファミリーに適用し、BLOOMZおよびmT0と呼ばれる微調整された変種を生成する。 英語のプロンプトを用いた英語タスクにおける多言語多言語モデルの微調整により、非英語言語へのタスク一般化が可能となる。
  論文  参考訳（メタデータ） (2022-11-03T13:19:32Z)
• Bidirectional Language Models Are Also Few-shot Learners [54.37445173284831]
  SAP(Sequential Autoregressive Prompting)は,双方向モデルの高速化を実現する技術である。 SAPは質問応答と要約に有効であることを示す。 この結果から,より広範な言語モデルの創発的特性として,プロンプトに基づく学習が証明された。
  論文  参考訳（メタデータ） (2022-09-29T01:35:57Z)
• Continual Learning in Multilingual NMT via Language-Specific Embeddings [92.91823064720232]
  共有語彙を小さな言語固有の語彙に置き換え、新しい言語の並列データに新しい埋め込みを微調整する。 元のモデルのパラメータは変更されていないため、初期言語の性能は劣化しない。
  論文  参考訳（メタデータ） (2021-10-20T10:38:57Z)
• Improving the Lexical Ability of Pretrained Language Models for Unsupervised Neural Machine Translation [127.81351683335143]
  クロスリンガルプリトレーニングは、2つの言語の語彙的表現と高レベル表現を整列させるモデルを必要とする。 これまでの研究では、これは表現が十分に整合していないためです。 本稿では,語彙レベルの情報で事前学習するバイリンガルマスク言語モデルを,型レベルのクロスリンガルサブワード埋め込みを用いて強化する。
  論文  参考訳（メタデータ） (2021-03-18T21:17:58Z)
• Reusing a Pretrained Language Model on Languages with Limited Corpora for Unsupervised NMT [129.99918589405675]
  本稿では,オープンソース言語上でのみ事前訓練されたLMを再利用する効果的な手法を提案する。 モノリンガルLMは両言語で微調整され、UNMTモデルの初期化に使用される。 我々のアプローチであるRE-LMは、英語・マケドニア語(En-Mk)と英語・アルバニア語(En-Sq)の競合言語間事前学習モデル(XLM)より優れています。
  論文  参考訳（メタデータ） (2020-09-16T11:37:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。