論文の概要: Language-Family Adapters for Multilingual Neural Machine Translation

• arxiv url: http://arxiv.org/abs/2209.15236v1
• Date: Fri, 30 Sep 2022 05:02:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-03 15:25:22.387525
• Title: Language-Family Adapters for Multilingual Neural Machine Translation
• Title（参考訳）: 多言語ニューラルマシン翻訳のための言語ファミリーアダプタ
• Authors: Alexandra Chronopoulou, Dario Stojanovski, Alexander Fraser
• Abstract要約: 自己超越による豊富なコーパスに事前訓練された多言語モデルでは、さまざまな自然言語処理タスクにおいて最先端の結果が得られている。 機械翻訳では、多言語事前訓練されたモデルは、1つまたは複数の言語ペアの並列データに基づいて微調整されることが多い。 本稿では,言語間移動を容易にするために,事前訓練された多言語モデル上で言語ファミリーアダプタを訓練する。
• 参考スコア（独自算出の注目度）: 129.99918589405675
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Massively multilingual models pretrained on abundant corpora with self-supervision achieve state-of-the-art results in a wide range of natural language processing tasks. In machine translation, multilingual pretrained models are often fine-tuned on parallel data from one or multiple language pairs. Multilingual fine-tuning improves performance on medium- and low-resource languages but requires modifying the entire model and can be prohibitively expensive. Training a new set of adapters on each language pair or training a single set of adapters on all language pairs while keeping the pretrained model's parameters frozen has been proposed as a parameter-efficient alternative. However, the former do not permit any sharing between languages, while the latter share parameters for all languages and have to deal with negative interference. In this paper, we propose training language-family adapters on top of a pretrained multilingual model to facilitate cross-lingual transfer. Our model consistently outperforms other adapter-based approaches. We also demonstrate that language-family adapters provide an effective method to translate to languages unseen during pretraining.
• Abstract（参考訳）: 過剰なコーパスに事前学習された多言語モデルと自己スーパービジョンは、幅広い自然言語処理タスクにおいて最先端の成果を達成している。 機械翻訳では、多言語事前訓練されたモデルは、1つまたは複数の言語ペアの並列データに基づいて微調整されることが多い。 マルチ言語ファインチューニングは中低リソース言語のパフォーマンスを向上させるが、モデル全体を変更する必要があるため、極めて高価である。 それぞれの言語ペアに新しいアダプタセットをトレーニングしたり、すべての言語ペアに1つのアダプタセットをトレーニングしたり、事前訓練されたモデルのパラメータを凍結し続けることは、パラメータ効率の代替案として提案されている。 しかし、前者は言語間の共有を許可せず、後者はすべての言語のパラメータを共有し、負の干渉に対処する必要がある。 本稿では,事前学習された多言語モデル上に言語ファミリーアダプタを訓練し,言語間転送を容易にすることを提案する。 私たちのモデルは、他のアダプタベースのアプローチを一貫して上回っています。 また,言語ファミリーアダプタは,事前学習中に認識できない言語に翻訳する効果的な方法であることを示す。

関連論文リスト

• Targeted Multilingual Adaptation for Low-resource Language Families [17.212424929235624]
  我々は、事前学習されたモデルを言語族に適応させるためのベストプラクティスについて研究する。 適応モデルは単言語および多言語ベースラインを大きく上回る。 低リソース言語は、高リソース言語のパフォーマンスをほとんど犠牲にすることなく、トレーニング中に積極的にアップサンプリングできる。
  論文  参考訳（メタデータ） (2024-05-20T23:38:06Z)
• LlamaTurk: Adapting Open-Source Generative Large Language Models for Low-Resource Language [2.9914612342004503]
  本研究は、主に英語で訓練された大規模な言語モデルを低リソース言語に適応させることにより、代替的な解決策を探求する。 継続訓練,命令細調整,タスク特化細調整,語彙拡張など,さまざまな戦略を評価する。 その結果、継続学習は、難易度スコアに反映されるような言語理解を向上し、タスク固有のチューニングは、一般的に下流タスクのパフォーマンスを向上することを示した。
  論文  参考訳（メタデータ） (2024-05-13T13:41:59Z)
• The Impact of Language Adapters in Cross-Lingual Transfer for NLU [0.8702432681310401]
  2つの多言語モデルと3つの多言語データセットを用いた詳細なアブレーション研究において、ターゲット言語アダプタを含めることの効果について検討する。 本結果から,タスク,言語,モデル間でターゲット言語アダプタの効果は相容れないことが示唆された。 学習後の言語アダプタの除去は、弱い負の効果しか示さず、言語アダプタが予測に強い影響を与えていないことを示している。
  論文  参考訳（メタデータ） (2024-01-31T20:07:43Z)
• Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
  本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。 我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
  論文  参考訳（メタデータ） (2023-06-13T08:08:08Z)
• Continual Learning in Multilingual NMT via Language-Specific Embeddings [92.91823064720232]
  共有語彙を小さな言語固有の語彙に置き換え、新しい言語の並列データに新しい埋め込みを微調整する。 元のモデルのパラメータは変更されていないため、初期言語の性能は劣化しない。
  論文  参考訳（メタデータ） (2021-10-20T10:38:57Z)
• Efficient Test Time Adapter Ensembling for Low-resource Language Varieties [115.12997212870962]
  多言語事前学習モデルの言語間移動を容易にするために,特殊言語とタスクアダプタが提案されている。 直感的な解法は、新しい言語の種類に関連言語アダプタを使用することであるが、この解が準最適性能をもたらすことを観察する。 本稿では,新しいアダプタを訓練することなく,未知言語への言語アダプタの堅牢性を向上させることを目的とする。
  論文  参考訳（メタデータ） (2021-09-10T13:44:46Z)
• MAD-X: An Adapter-Based Framework for Multi-Task Cross-Lingual Transfer [136.09386219006123]
  我々は、任意のタスクや言語への高いポータビリティとパラメータ効率の移行を可能にするアダプタベースのフレームワークであるMAD-Xを提案する。 MAD-Xは、名前付きエンティティ認識と因果コモンセンス推論に基づいて、タイプボロジーに多様性のある言語群を横断する言語間移動において、芸術の状態を上回ります。
  論文  参考訳（メタデータ） (2020-04-30T18:54:43Z)
• Balancing Training for Multilingual Neural Machine Translation [130.54253367251738]
  多言語機械翻訳(MT)モデルは、複数の言語に翻訳/翻訳することができる。 標準的なプラクティスは、表現力を高めるために、リソースの少ない言語をアップサンプルすることである。 そこで本研究では,データスコアラによるトレーニングデータの重み付けを自動的に学習する手法を提案する。
  論文  参考訳（メタデータ） (2020-04-14T18:23:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。