論文の概要: Revisiting Modularized Multilingual NMT to Meet Industrial Demands

• arxiv url: http://arxiv.org/abs/2010.09402v1
• Date: Mon, 19 Oct 2020 11:51:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-05 20:38:16.857021
• Title: Revisiting Modularized Multilingual NMT to Meet Industrial Demands
• Title（参考訳）: 産業ニーズを満たすモジュール化多言語nmtの再検討
• Authors: Sungwon Lyu, Bokyung Son, Kichang Yang, and Jaekyoung Bae
• Abstract要約: 本研究は,モジュールを同一言語間でのみ共有する多言語ニューラルマシン翻訳モデルを再考する。 トレーニングされたモジュールを利用することで、インクリメンタルに追加されたモジュールは、単独でトレーニングされたモデルよりも優れたパフォーマンスを示します。 以上の結果から,M2は多言語翻訳に有効な候補である可能性が示唆された。
• 参考スコア（独自算出の注目度）: 4.836820883738597
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The complete sharing of parameters for multilingual translation (1-1) has been the mainstream approach in current research. However, degraded performance due to the capacity bottleneck and low maintainability hinders its extensive adoption in industries. In this study, we revisit the multilingual neural machine translation model that only share modules among the same languages (M2) as a practical alternative to 1-1 to satisfy industrial requirements. Through comprehensive experiments, we identify the benefits of multi-way training and demonstrate that the M2 can enjoy these benefits without suffering from the capacity bottleneck. Furthermore, the interlingual space of the M2 allows convenient modification of the model. By leveraging trained modules, we find that incrementally added modules exhibit better performance than singly trained models. The zero-shot performance of the added modules is even comparable to supervised models. Our findings suggest that the M2 can be a competent candidate for multilingual translation in industries.
• Abstract（参考訳）: 多言語翻訳のためのパラメータの完全な共有(1-1)は、現在の研究において主要なアプローチである。 しかし、キャパシティのボトルネックと保守性の低さにより性能が低下し、産業で広く採用されることになる。 本研究では, 産業要求を満たすために, 1-1 の代替として, 同一言語 (M2) のモジュールのみを共有する多言語ニューラルマシン翻訳モデルを再検討する。 総合的な実験を通じて,マルチウェイトレーニングのメリットを特定し,キャパシティボトルネックに苦しむことなく,m2がこれらのメリットを享受できることを実証する。 さらに、M2の言語間空間はモデルの便利な修正を可能にする。 トレーニングされたモジュールを利用することで、インクリメンタルに追加されたモジュールは、単独でトレーニングされたモデルよりも優れたパフォーマンスを示します。 追加モジュールのゼロショットパフォーマンスは、教師付きモデルにさえ匹敵する。 以上の結果から,M2は多言語翻訳に有効な候補であることが示唆された。

関連論文リスト

• Is Modularity Transferable? A Case Study through the Lens of Knowledge Distillation [59.37775534633868]
  同族PLM間で事前訓練されたタスク固有のPEFTモジュールを転送するための極めて簡単なアプローチを提案する。 また,不整合性PLM間のモジュールの移動を,推論複雑性の変化を伴わずに行う方法を提案する。
  論文  参考訳（メタデータ） (2024-03-27T17:50:00Z)
• YAYI 2: Multilingual Open-Source Large Language Models [53.92832054643197]
  我々は,300億のパラメータを持つベースモデルとチャットモデルを含むYAYI 2を提案する。 YAYI 2は、トレーニング済みのデータ処理パイプラインによってフィルタされた2.65兆のトークンを含む多言語コーパス上で、スクラッチから事前トレーニングされる。 ベースモデルは、数百万の指示による教師付き微調整と、人間のフィードバックからの強化学習によって、人間の価値と整合する。
  論文  参考訳（メタデータ） (2023-12-22T17:34:47Z)
• ModuleFormer: Modularity Emerges from Mixture-of-Experts [60.6148988099284]
  本稿では,大規模言語モデルの効率性と柔軟性を向上させるために,新しいニューラルネットワークアーキテクチャであるModuleFormerを提案する。 以前のSMoEベースのモジュラー言語モデルとは異なり、ModuleFormerは未処理のデータからモジュラリティを誘導することができる。
  論文  参考訳（メタデータ） (2023-06-07T17:59:57Z)
• Distilling Efficient Language-Specific Models for Cross-Lingual Transfer [75.32131584449786]
  多言語変換器(MMT)は多言語間変換学習に広く用いられている。 MMTの言語カバレッジは、モデルサイズ、推論時間、エネルギ、ハードウェアコストの点で、必要以上にコストがかかる。 本稿では,MMTから圧縮された言語固有のモデルを抽出し,言語間移動のための元のMTのキャパシティを保持することを提案する。
  論文  参考訳（メタデータ） (2023-06-02T17:31:52Z)
• Lifting the Curse of Multilinguality by Pre-training Modular Transformers [72.46919537293068]
  多言語事前訓練されたモデルは、多言語間のパフォーマンスが低下する、多言語間の呪いに苦しむ。 言語固有のモジュールを導入し、言語定数当たりのトレーニング可能なパラメータの総数を保ちながら、モデルの総容量を拡大できるようにします。 我々のアプローチは、測定可能な性能低下のないポストホック言語の追加を可能にし、モデルの使用を事前訓練された言語セットに制限しない。
  論文  参考訳（メタデータ） (2022-05-12T17:59:56Z)
• Multilingual Neural Machine Translation:Can Linguistic Hierarchies Help? [29.01386302441015]
  MNMT(Multilingual Neural Machine Translation)は、複数の言語間の翻訳をサポートする単一のNMTモデルを訓練する。 MNMTモデルの性能は、様々な言語から知識を伝達することで、負の転送によって翻訳性能が低下するので、訓練で使用される言語の種類に大きく依存する。 本稿では,MNMTにおける階層的知識蒸留(HKD)手法を提案する。
  論文  参考訳（メタデータ） (2021-10-15T02:31:48Z)
• An Empirical Investigation of Multi-bridge Multilingual NMT models [4.449118708319941]
  マルチブリッジ多言語NMTモデル(MB-M2M)について検討する。 非英語対と英語中心の言語対で訓練されたモデル。
  論文  参考訳（メタデータ） (2021-10-14T12:14:22Z)
• Improving Massively Multilingual Neural Machine Translation and Zero-Shot Translation [81.7786241489002]
  ニューラルネットワーク翻訳(NMT)の多言語モデルは理論的には魅力的であるが、しばしばバイリンガルモデルに劣る。 我々は,多言語NMTが言語ペアをサポートするためにより強力なモデリング能力を必要とすることを論じる。 未知のトレーニング言語ペアの翻訳を強制するために,ランダムなオンライン翻訳を提案する。
  論文  参考訳（メタデータ） (2020-04-24T17:21:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。