論文の概要: Towards Higher Pareto Frontier in Multilingual Machine Translation

• arxiv url: http://arxiv.org/abs/2305.15718v1
• Date: Thu, 25 May 2023 05:01:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-26 17:24:53.897364
• Title: Towards Higher Pareto Frontier in Multilingual Machine Translation
• Title（参考訳）: 多言語機械翻訳における高次パレートフロンティアに向けて
• Authors: Yichong Huang, Xiaocheng Feng, Xinwei Geng, Baohang Li, Bing Qin
• Abstract要約: 多言語コーパスの長期分布は困難である。 パレート最適化(Pareto optimization)、すなわち、一部の言語の最適化は、他の言語のパフォーマンスを劣化させるコストがかかる可能性がある。 新たなトレーニングフレームワークを提案する。 Pareto Mutual Distillation (Pareto-MD) Paretoはトレードオフではなく、外向きのフロンティアだ。
• 参考スコア（独自算出の注目度）: 19.250559844081046
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multilingual neural machine translation has witnessed remarkable progress in recent years. However, the long-tailed distribution of multilingual corpora poses a challenge of Pareto optimization, i.e., optimizing for some languages may come at the cost of degrading the performance of others. Existing balancing training strategies are equivalent to a series of Pareto optimal solutions, which trade off on a Pareto frontier. In this work, we propose a new training framework, Pareto Mutual Distillation (Pareto-MD), towards pushing the Pareto frontier outwards rather than making trade-offs. Specifically, Pareto-MD collaboratively trains two Pareto optimal solutions that favor different languages and allows them to learn from the strengths of each other via knowledge distillation. Furthermore, we introduce a novel strategy to enable stronger communication between Pareto optimal solutions and broaden the applicability of our approach. Experimental results on the widely-used WMT and TED datasets show that our method significantly pushes the Pareto frontier and outperforms baselines by up to +2.46 BLEU.
• Abstract（参考訳）: 多言語ニューラルマシン翻訳は近年顕著な進歩を遂げている。 しかし、多言語コーパスのロングテール分布はパレート最適化の課題となり、ある言語に対する最適化は、他の言語のパフォーマンスを低下させるコストがかかる可能性がある。 既存のバランストレーニング戦略は、paretoのフロンティアで取引される一連のpareto最適化ソリューションと同等である。 本研究では,パレート・相互蒸留(pareto mutual distillation,pareto-md)という新たな訓練枠組みを提案する。 具体的には、pareto-mdは異なる言語を好む2つのpareto最適解を協調的に訓練し、知識蒸留を通じて互いの強みから学ぶことができる。 さらに,paretoの最適解間のコミュニケーションを強化し,その適用可能性を広げる新たな戦略を提案する。 広範に使用されているWMTおよびTEDデータセットの実験結果から,本手法はパレートフロンティアを著しく押し上げ,ベースラインを+2.46BLEUまで向上させることが示された。

関連論文リスト

• Optimal Transport Posterior Alignment for Cross-lingual Semantic Parsing [68.47787275021567]
  言語間のセマンティックパーシングは、高いソース言語(例えば英語)から少ないトレーニングデータを持つ低リソース言語へのパーシング能力を伝達する。 そこで本稿では,最適輸送を用いた係り受け変数間の言語間相違を明示的に最小化することで,言語間セマンティック解析のための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-07-09T04:52:31Z)
• VECO 2.0: Cross-lingual Language Model Pre-training with Multi-granularity Contrastive Learning [56.47303426167584]
  複数粒度アライメントを持つコントラスト学習に基づく言語間事前学習モデルVECO2.0を提案する。 具体的には、シーケンス・ツー・シーケンスアライメントが誘導され、並列対の類似性を最大化し、非並列対を最小化する。 トークン・ツー・トークンのアライメントは、シソーラス辞書を介して発掘された同義トークンと、バイリンガルな例の他の未使用トークンとのギャップを埋めるために統合される。
  論文  参考訳（メタデータ） (2023-04-17T12:23:41Z)
• On the Pareto Front of Multilingual Neural Machine Translation [123.94355117635293]
  我々は、ニューラルネットワーク翻訳(MNMT)におけるサンプリング比によって、与えられた方向の性能がどう変化するかを検討する。 我々は,MNMTにおけるユニークなパフォーマンストレードオフフロントを予測するために,ダブルパワー法を提案する。 本実験では, トレーニング予算の1/5から1/2に過ぎず, 温度探索法や勾配操作法よりも優れた性能が得られた。
  論文  参考訳（メタデータ） (2023-04-06T16:49:19Z)
• Pareto Manifold Learning: Tackling multiple tasks via ensembles of single-task models [50.33956216274694]
  マルチタスク学習(MTL)では、タスクは、ソリューションへの最適化を導くのではなく、互いに達成したパフォーマンスを競い、制限することができる。 重み空間におけるアンサンブル手法であるTextitPareto Manifold Learningを提案する。
  論文  参考訳（メタデータ） (2022-10-18T11:20:54Z)
• Distributionally Robust Multilingual Machine Translation [94.51866646879337]
  本稿では,分散的ロバストな最適化に基づくMNMT(Multilingual Neural Machine Translation)の新しい学習目標を提案する。 この目的を,反復的最適応答方式を用いて,大規模翻訳コーパスに対して実用的に最適化する方法を示す。 本手法は,多対一の翻訳設定と多対多の翻訳設定の両方において,平均と言語毎のパフォーマンスにおいて,強いベースライン法より一貫して優れる。
  論文  参考訳（メタデータ） (2021-09-09T03:48:35Z)
• Contrastive Learning for Many-to-many Multilingual Neural Machine Translation [16.59039088482523]
  既存の多言語機械翻訳アプローチは主に英語中心の方向に焦点を当てている。 我々は、英語以外の方向の質を重視した多言語翻訳システムの構築を目指している。
  論文  参考訳（メタデータ） (2021-05-20T03:59:45Z)
• X-METRA-ADA: Cross-lingual Meta-Transfer Learning Adaptation to Natural Language Understanding and Question Answering [55.57776147848929]
  自然言語理解のための言語横断型メタトランシュファー学習アプローチX-METRA-ADAを提案する。 我々のアプローチは、最適化に基づくメタ学習アプローチであるMAMLに適応し、新しい言語に適応することを学ぶ。 提案手法は難易度の高い微調整に優れており,ほとんどの言語において両タスクの競合性能に到達していることを示す。
  論文  参考訳（メタデータ） (2021-04-20T00:13:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。