論文の概要: Task Arithmetic for Language Expansion in Speech Translation

• arxiv url: http://arxiv.org/abs/2409.11274v2
• Date: Fri, 23 May 2025 09:59:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-26 18:08:33.425802
• Title: Task Arithmetic for Language Expansion in Speech Translation
• Title（参考訳）: 音声翻訳における言語拡張のためのタスク算術
• Authors: Yao-Fei Cheng, Hayato Futami, Yosuke Kashiwagi, Emiru Tsunoo, Wen Shen Teo, Siddhant Arora, Shinji Watanabe,
• Abstract要約: 我々は,タスク算術を用いて既存の1対1のSTシステムから1対1のSTシステムを構築することを目的としている。 MuST-CとCoVoST-2の実験では、BLEUのスコアは最大4.66と4.92で改善され、COMETのゲインは8.87と11.83だった。
• 参考スコア（独自算出の注目度）: 41.721843322787045
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent progress in large language models (LLMs) has gained interest in speech-text multimodal foundation models, achieving strong performance on instruction-tuned speech translation (ST). However, expanding language pairs is costly due to re-training on combined new and previous datasets. To address this, we aim to build a one-to-many ST system from existing one-to-one ST systems using task arithmetic without re-training. Direct application of task arithmetic in ST leads to language confusion; therefore, we introduce an augmented task arithmetic method incorporating a language control model to ensure correct target language generation. Our experiments on MuST-C and CoVoST-2 show BLEU score improvements of up to 4.66 and 4.92, with COMET gains of 8.87 and 11.83. In addition, we demonstrate our framework can extend to language pairs lacking paired ST training data or pre-trained ST models by synthesizing ST models based on existing machine translation (MT) and ST models via task analogies.
• Abstract（参考訳）: 近年の大規模言語モデル (LLM) の進歩は, 音声文の多モーダル基礎モデルへの関心が高まり, 命令調整型音声翻訳 (ST) の性能が向上している。 しかし、言語ペアの拡大は、新しいデータセットと以前のデータセットを組み合わせて再トレーニングするため、コストがかかる。 そこで本研究では,タスク算術を用いて1対1のSTシステムから1対1のSTシステムを構築することを目的としている。 そこで,STにおけるタスク算術の直接適用は言語混乱につながるため,言語制御モデルを組み込んだ拡張的タスク算術法を導入し,適切なターゲット言語生成を実現する。 MuST-CおよびCoVoST-2を用いた実験では,BLEUスコアが最大4.66,4.92,COMETが8.87,11.83であった。 さらに,既存の機械翻訳(MT)とSTモデルに基づくSTモデルをタスクアナログで合成することにより,STモデルのペア化や事前学習ができない言語ペアにまで拡張できることを示す。

関連論文リスト

• Crosslingual Generalization through Multitask Finetuning [80.8822603322471]
  マルチタスク誘導ファインタニング(MTF)は、大きな言語モデルがゼロショット設定で新しいタスクに一般化するのに役立つことが示されている。 MTFを事前訓練された多言語BLOOMおよびmT5モデルファミリーに適用し、BLOOMZおよびmT0と呼ばれる微調整された変種を生成する。 英語のプロンプトを用いた英語タスクにおける多言語多言語モデルの微調整により、非英語言語へのタスク一般化が可能となる。
  論文  参考訳（メタデータ） (2022-11-03T13:19:32Z)
• Bidirectional Language Models Are Also Few-shot Learners [54.37445173284831]
  SAP(Sequential Autoregressive Prompting)は,双方向モデルの高速化を実現する技術である。 SAPは質問応答と要約に有効であることを示す。 この結果から,より広範な言語モデルの創発的特性として,プロンプトに基づく学習が証明された。
  論文  参考訳（メタデータ） (2022-09-29T01:35:57Z)
• Continual Learning in Multilingual NMT via Language-Specific Embeddings [92.91823064720232]
  共有語彙を小さな言語固有の語彙に置き換え、新しい言語の並列データに新しい埋め込みを微調整する。 元のモデルのパラメータは変更されていないため、初期言語の性能は劣化しない。
  論文  参考訳（メタデータ） (2021-10-20T10:38:57Z)
• Improving the Lexical Ability of Pretrained Language Models for Unsupervised Neural Machine Translation [127.81351683335143]
  クロスリンガルプリトレーニングは、2つの言語の語彙的表現と高レベル表現を整列させるモデルを必要とする。 これまでの研究では、これは表現が十分に整合していないためです。 本稿では,語彙レベルの情報で事前学習するバイリンガルマスク言語モデルを,型レベルのクロスリンガルサブワード埋め込みを用いて強化する。
  論文  参考訳（メタデータ） (2021-03-18T21:17:58Z)
• Reusing a Pretrained Language Model on Languages with Limited Corpora for Unsupervised NMT [129.99918589405675]
  本稿では,オープンソース言語上でのみ事前訓練されたLMを再利用する効果的な手法を提案する。 モノリンガルLMは両言語で微調整され、UNMTモデルの初期化に使用される。 我々のアプローチであるRE-LMは、英語・マケドニア語(En-Mk)と英語・アルバニア語(En-Sq)の競合言語間事前学習モデル(XLM)より優れています。
  論文  参考訳（メタデータ） (2020-09-16T11:37:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。