論文の概要: Serial or Parallel? Plug-able Adapter for multilingual machine translation

• arxiv url: http://arxiv.org/abs/2104.08154v1
• Date: Fri, 16 Apr 2021 14:58:28 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-19 14:37:43.793498
• Title: Serial or Parallel? Plug-able Adapter for multilingual machine translation
• Title（参考訳）: シリアルかパラレルか? 多言語機械翻訳用プラグ可能なアダプタ
• Authors: Yaoming Zhu, Jiangtao Feng, Chengqi Zhao, Mingxuan Wang, Lei Li
• Abstract要約: 多言語機械翻訳のためのデフュージョン適応を付加したトランスフォーマーモデルであるPAMを提案する。 PAMは、単語と中間表現を言語固有のものに移すための埋め込みと層アダプタで構成されている。 IWSLT、OPUS-100、WMTベンチマークの実験結果から、メソッドは強力な競合相手よりも優れていることが示された。
• 参考スコア（独自算出の注目度）: 15.114588783601466
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Developing a unified multilingual translation model is a key topic in machine translation research. However, existing approaches suffer from performance degradation: multilingual models yield inferior performance compared to the ones trained separately on rich bilingual data. We attribute the performance degradation to two issues: multilingual embedding conflation and multilingual fusion effects. To address the two issues, we propose PAM, a Transformer model augmented with defusion adaptation for multilingual machine translation. Specifically, PAM consists of embedding and layer adapters to shift the word and intermediate representations towards language-specific ones. Extensive experiment results on IWSLT, OPUS-100, and WMT benchmarks show that \method outperforms several strong competitors, including series adapter and multilingual knowledge distillation.
• Abstract（参考訳）: 統一多言語翻訳モデルの開発は機械翻訳研究の重要なテーマである。 しかし、既存のアプローチはパフォーマンス低下に苦しんでおり、多言語モデルでは、リッチなバイリンガルデータで個別にトレーニングされたモデルに比べてパフォーマンスが劣る。 性能劣化は,多言語組込みコンフレーションと多言語融合効果の2つに分類した。 この2つの問題に対処するため,多言語機械翻訳のためのデフュージョン適応を付加したトランスフォーマーモデルであるPAMを提案する。 具体的には、PAMは、単語と中間表現を言語固有のものへシフトするための埋め込みと層アダプタで構成されている。 iwslt、opus-100、wmtベンチマークでの広範な実験の結果、 \method は、シリーズアダプタや多言語知識蒸留など、いくつかの強力な競合相手よりも優れていることが示されている。

関連論文リスト

• PEACH: Pre-Training Sequence-to-Sequence Multilingual Models for Translation with Semi-Supervised Pseudo-Parallel Document Generation [5.004814662623874]
  本稿では,多言語事前学習のための高品質な擬似並列データを生成する,新しい半教師付きSPDGを提案する。 実験の結果, PEACH はmT5 と mBART を様々な翻訳タスクで訓練する上で, 既存の手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-04-03T18:19:26Z)
• Language-Family Adapters for Low-Resource Multilingual Neural Machine Translation [129.99918589405675]
  自己超越で訓練された大規模多言語モデルは、幅広い自然言語処理タスクにおいて最先端の結果を達成する。 マルチリンガルな微調整は低リソース言語のパフォーマンスを向上させるが、モデル全体を変更する必要があるため、極めて高価である。 言語間移動を容易にするため,mBART-50上で言語ファミリーアダプタを訓練する。
  論文  参考訳（メタデータ） (2022-09-30T05:02:42Z)
• xGQA: Cross-Lingual Visual Question Answering [100.35229218735938]
  xGQAは視覚的質問応答タスクのための新しい多言語評価ベンチマークである。 確立された英語GQAデータセットを7言語に拡張する。 本稿では,マルチモーダルトランスフォーマーモデルに適応するアダプタベースの新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2021-09-13T15:58:21Z)
• Efficient Test Time Adapter Ensembling for Low-resource Language Varieties [115.12997212870962]
  多言語事前学習モデルの言語間移動を容易にするために,特殊言語とタスクアダプタが提案されている。 直感的な解法は、新しい言語の種類に関連言語アダプタを使用することであるが、この解が準最適性能をもたらすことを観察する。 本稿では,新しいアダプタを訓練することなく,未知言語への言語アダプタの堅牢性を向上させることを目的とする。
  論文  参考訳（メタデータ） (2021-09-10T13:44:46Z)
• Lightweight Adapter Tuning for Multilingual Speech Translation [47.89784337058167]
  適応モジュールはNLPのファインチューニングの代替として最近導入された。 本稿では,多言語音声翻訳用アダプタの包括的解析を提案する。
  論文  参考訳（メタデータ） (2021-06-02T20:51:42Z)
• Are Multilingual Models Effective in Code-Switching? [57.78477547424949]
  多言語モデルの有効性を検討し,複合言語設定の能力と適応性について検討する。 この結果から,事前学習した多言語モデルでは,コードスイッチングにおける高品質な表現が必ずしも保証されないことが示唆された。
  論文  参考訳（メタデータ） (2021-03-24T16:20:02Z)
• XLM-T: Scaling up Multilingual Machine Translation with Pretrained Cross-lingual Transformer Encoders [89.0059978016914]
  そこで本稿では,既製のクロスリンガルトランスフォーマでモデルを初期化し,多言語並列データで微調整するXLM-Tを提案する。 この単純な方法は,10対のWMTデータセットと94対のOPUS-100コーパスにおいて,大幅な改善を実現する。
  論文  参考訳（メタデータ） (2020-12-31T11:16:51Z)
• Deep Transformers with Latent Depth [42.33955275626127]
  Transformerモデルは、多くのシーケンスモデリングタスクにおいて最先端のパフォーマンスを達成した。 本稿では,層選択の後方分布を学習することで,どの層を使うかを自動的に学習する確率的フレームワークを提案する。 多言語機械翻訳のための1つの共有トランスフォーマーネットワークを学習する新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-09-28T07:13:23Z)
• Improving Massively Multilingual Neural Machine Translation and Zero-Shot Translation [81.7786241489002]
  ニューラルネットワーク翻訳(NMT)の多言語モデルは理論的には魅力的であるが、しばしばバイリンガルモデルに劣る。 我々は,多言語NMTが言語ペアをサポートするためにより強力なモデリング能力を必要とすることを論じる。 未知のトレーニング言語ペアの翻訳を強制するために,ランダムなオンライン翻訳を提案する。
  論文  参考訳（メタデータ） (2020-04-24T17:21:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。