論文の概要: $m^4Adapter$: Multilingual Multi-Domain Adaptation for Machine Translation with a Meta-Adapter

• arxiv url: http://arxiv.org/abs/2210.11912v1
• Date: Fri, 21 Oct 2022 12:25:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-24 14:53:25.847865
• Title: $m^4Adapter$: Multilingual Multi-Domain Adaptation for Machine Translation with a Meta-Adapter
• Title（参考訳）: m^4adapter$:メタ適応型機械翻訳のための多言語マルチドメイン適応
• Authors: Wen Lai, Alexandra Chronopoulou, Alexander Fraser
• Abstract要約: 多言語ニューラルネットワーク翻訳モデル(MNMT)は、ドメインと言語ペアのデータに基づいて評価すると、最先端の性能が得られる。 ドメインシフトや新しい言語ペアへの変換にMNMTモデルを使用すると、パフォーマンスが劇的に低下する。 我々はメタラーニングとアダプタを用いたドメイン知識と言語知識を組み合わせた$m4Adapter$を提案する。
• 参考スコア（独自算出の注目度）: 128.69723410769586
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multilingual neural machine translation models (MNMT) yield state-of-the-art performance when evaluated on data from a domain and language pair seen at training time. However, when a MNMT model is used to translate under domain shift or to a new language pair, performance drops dramatically. We consider a very challenging scenario: adapting the MNMT model both to a new domain and to a new language pair at the same time. In this paper, we propose $m^4Adapter$ (Multilingual Multi-Domain Adaptation for Machine Translation with a Meta-Adapter), which combines domain and language knowledge using meta-learning with adapters. We present results showing that our approach is a parameter-efficient solution which effectively adapts a model to both a new language pair and a new domain, while outperforming other adapter methods. An ablation study also shows that our approach more effectively transfers domain knowledge across different languages and language information across different domains.
• Abstract（参考訳）: 多言語ニューラルネットワーク翻訳モデル(MNMT)は、トレーニング時に見られるドメインと言語ペアのデータに基づいて評価すると、最先端のパフォーマンスが得られる。 しかし、ドメインシフトや新しい言語ペアへの変換にMNMTモデルを使用すると、性能は劇的に低下する。 我々は、mnmtモデルを新しいドメインと新しい言語ペアの両方に同時に適応させるという非常に難しいシナリオを考えています。 本稿ではメタラーニングとアダプティブを併用したドメイン知識と言語知識を組み合わせた$m^4Adapter$(Multilingual Multi-Domain Adaptation for Machine Translation with a Meta-Adapter)を提案する。 提案手法は,新しい言語ペアと新しいドメインの両方にモデルを効果的に適応し,他のアダプタ手法よりも優れたパラメータ効率のソリューションであることを示す。 アブレーション研究によれば、このアプローチは異なる言語にまたがるドメイン知識と、異なるドメインにまたがる言語情報をより効果的に伝達する。

関連論文リスト

• $k$NN-Adapter: Efficient Domain Adaptation for Black-Box Language Models [18.969047541720123]
  $k$NN-Adapterは、大きな言語モデルを新しいドメインに適応させる方法である。 4つの異なるドメインの実験では、$k$NN-Adapterがパープレキシティを大幅に改善している。
  論文  参考訳（メタデータ） (2023-02-21T18:54:21Z)
• AdapterSoup: Weight Averaging to Improve Generalization of Pretrained Language Models [127.04370753583261]
  事前訓練された言語モデル(PLM)は、大規模なコーパスで訓練されるが、しばしば特定のドメインに特化する必要がある。 解決策は、テスト時に新しいドメインに関連ドメインアダプタを使用することである。 本稿では、異なるドメインでトレーニングされたアダプタの重量空間平均化を行うAdapterSoupを紹介する。
  論文  参考訳（メタデータ） (2023-02-14T13:09:23Z)
• Language-Family Adapters for Low-Resource Multilingual Neural Machine Translation [129.99918589405675]
  自己超越で訓練された大規模多言語モデルは、幅広い自然言語処理タスクにおいて最先端の結果を達成する。 マルチリンガルな微調整は低リソース言語のパフォーマンスを向上させるが、モデル全体を変更する必要があるため、極めて高価である。 言語間移動を容易にするため,mBART-50上で言語ファミリーアダプタを訓練する。
  論文  参考訳（メタデータ） (2022-09-30T05:02:42Z)
• Multilingual Domain Adaptation for NMT: Decoupling Language and Domain Information with Adapters [66.7986513246294]
  機械翻訳の文脈における言語とドメインアダプタの構成性について検討する。 部分的なリソースのシナリオでは、ドメイン固有のアダプタと言語固有のアダプタの組み合わせは、しばしば欠落した言語を破滅的に忘れてしまう。
  論文  参考訳（メタデータ） (2021-10-18T18:55:23Z)
• Non-Parametric Unsupervised Domain Adaptation for Neural Machine Translation [61.27321597981737]
  $k$NN-MTは、トレーニング済みニューラルネットワーク翻訳(NMT)モデルとドメイン固有のトークンレベルである$k$-nearest-neighbor検索を直接組み込むという有望な能力を示している。 対象言語におけるドメイン内単言語文を直接使用して,$k$-nearest-neighbor検索に有効なデータストアを構築する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-14T11:50:01Z)
• Efficient Test Time Adapter Ensembling for Low-resource Language Varieties [115.12997212870962]
  多言語事前学習モデルの言語間移動を容易にするために,特殊言語とタスクアダプタが提案されている。 直感的な解法は、新しい言語の種類に関連言語アダプタを使用することであるが、この解が準最適性能をもたらすことを観察する。 本稿では,新しいアダプタを訓練することなく,未知言語への言語アダプタの堅牢性を向上させることを目的とする。
  論文  参考訳（メタデータ） (2021-09-10T13:44:46Z)
• Domain Adaptation and Multi-Domain Adaptation for Neural Machine Translation: A Survey [9.645196221785694]
  ニューラルマシン翻訳(nmt)モデルのドメイン適応に対するロバストなアプローチに注目した。 特に、システムが複数のドメインから文を翻訳する必要がある場合を検討します。 我々はNMT研究の他の分野に対するドメイン適応とマルチドメイン適応技術の利点を強調した。
  論文  参考訳（メタデータ） (2021-04-14T16:21:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。