論文の概要: The unreasonable effectiveness of few-shot learning for machine translation

• arxiv url: http://arxiv.org/abs/2302.01398v1
• Date: Thu, 2 Feb 2023 20:19:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-06 18:27:10.767260
• Title: The unreasonable effectiveness of few-shot learning for machine translation
• Title（参考訳）: 数ショット学習の機械翻訳における不合理な効果
• Authors: Xavier Garcia, Yamini Bansal, Colin Cherry, George Foster, Maxim Krikun, Fangxiaoyu Feng, Melvin Johnson, Orhan Firat
• Abstract要約: 我々は,高解像度と低解像度の両言語ペアに対して,未ペア言語データで訓練された少数ショット翻訳システムの可能性を実証する。 自己教師付き学習のみで訓練されたトランスフォーマーデコーダのみのモデルが、専門的な教師付き最先端モデルと一致することを示す。
• 参考スコア（独自算出の注目度）: 45.502857360503235
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We demonstrate the potential of few-shot translation systems, trained with unpaired language data, for both high and low-resource language pairs. We show that with only 5 examples of high-quality translation data shown at inference, a transformer decoder-only model trained solely with self-supervised learning, is able to match specialized supervised state-of-the-art models as well as more general commercial translation systems. In particular, we outperform the best performing system on the WMT'21 English - Chinese news translation task by only using five examples of English - Chinese parallel data at inference. Moreover, our approach in building these models does not necessitate joint multilingual training or back-translation, is conceptually simple and shows the potential to extend to the multilingual setting. Furthermore, the resulting models are two orders of magnitude smaller than state-of-the-art language models. We then analyze the factors which impact the performance of few-shot translation systems, and highlight that the quality of the few-shot demonstrations heavily determines the quality of the translations generated by our models. Finally, we show that the few-shot paradigm also provides a way to control certain attributes of the translation -- we show that we are able to control for regional varieties and formality using only a five examples at inference, paving the way towards controllable machine translation systems.
• Abstract（参考訳）: 高度・低リソースの言語ペアに対して,非ペア型言語データを用いて学習した,少数の翻訳システムの可能性を示す。 自己教師付き学習でのみ訓練されたトランスフォーマーデコーダのみのモデルでは,推論時に提示される質の高い翻訳データの例が5つに過ぎず,より一般的な商用翻訳システムと同様に,専門的な教師付き翻訳モデルとマッチングできることが示されている。 特に,wmt'21英語-中国語ニュース翻訳タスクにおいて,推論時の英語-中国語パラレルデータの5つの例のみを用いて,最高のパフォーマンスシステムを構築した。 さらに,これらのモデル構築におけるアプローチは,共同学習や後方翻訳を必要とせず,概念的にシンプルであり,多言語設定に拡張する可能性を示している。 さらに、得られたモデルは最先端の言語モデルよりも2桁小さい。 次に,マイナショット翻訳システムの性能に影響を与える要因を分析し,マイナショットデモンストレーションの品質がモデルが生成する翻訳の質に大きく左右される点を強調した。 最後に、マイナショットパラダイムは翻訳の特定の属性を制御する手段も提供しています -- 推論において5つの例のみを使用して、地域品種と形式を制御できることを示し、制御可能な機械翻訳システムへの道を開くことができます。

関連論文リスト

• Using Machine Translation to Augment Multilingual Classification [0.0]
  複数の言語にまたがる分類課題に対して,機械翻訳を用いて多言語モデルを微調整する効果について検討する。 翻訳されたデータは、多言語分類器をチューニングするのに十分な品質であり、この新規な損失技術は、それなしでチューニングされたモデルよりも幾らか改善できることを示す。
  論文  参考訳（メタデータ） (2024-05-09T00:31:59Z)
• BUFFET: Benchmarking Large Language Models for Few-shot Cross-lingual Transfer [81.5984433881309]
  本稿では,54言語にまたがる15のタスクをシーケンス・ツー・シーケンス・フォーマットで統一するBUFFETを紹介する。 BUFFETは、数発の言語間移動のための厳密で公平な評価フレームワークを確立するように設計されている。 コンテクスト内言語間移動における改善の余地は極めて大きいことが判明した。
  論文  参考訳（メタデータ） (2023-05-24T08:06:33Z)
• Unified Model Learning for Various Neural Machine Translation [63.320005222549646]
  既存の機械翻訳(NMT)研究は主にデータセット固有のモデルの開発に焦点を当てている。 我々は,NMT(UMLNMT)のための統一モデル学習モデル(Unified Model Learning for NMT)を提案する。 OurNMTは、データセット固有のモデルよりも大幅に改善され、モデルデプロイメントコストが大幅に削減される。
  論文  参考訳（メタデータ） (2023-05-04T12:21:52Z)
• Building Multilingual Machine Translation Systems That Serve Arbitrary X-Y Translations [75.73028056136778]
  任意のX-Y翻訳方向に対応するMNMTシステムを実際に構築する方法を示す。 また,本提案手法を,実用的な展開シナリオに対応するため,極めて大規模なデータ設定で検討した。
  論文  参考訳（メタデータ） (2022-06-30T02:18:15Z)
• Unsupervised Neural Machine Translation with Generative Language Models Only [19.74865387759671]
  生成事前学習言語モデルから、最先端の教師なしニューラルネットワーク翻訳システムを導出する方法を示す。 本手法は, 数発増幅, 蒸留, 逆翻訳の3段階からなる。
  論文  参考訳（メタデータ） (2021-10-11T17:35:34Z)
• Exemplar-Controllable Paraphrasing and Translation using Bitext [57.92051459102902]
  私たちは、バイリンガルテキスト(bitext)からのみ学ぶことができるように、以前の作業からモデルを適用する。 提案した1つのモデルでは、両言語で制御されたパラフレーズ生成と、両言語で制御された機械翻訳の4つのタスクを実行することができる。
  論文  参考訳（メタデータ） (2020-10-12T17:02:50Z)
• Harnessing Multilinguality in Unsupervised Machine Translation for Rare Languages [48.28540903568198]
  マルチリンガル性は低リソース環境において教師なしシステムの実現に不可欠であることを示す。 我々は,5つの低リソース言語(グジャラート語,カザフ語,ネパール語,シンハラ語,トルコ語)について,英語方向と英語方向の単一モデルを提案する。 我々は、これらの言語の現在最先端の教師なしベースラインを全て上回り、最大14.4BLEUのゲインを得る。
  論文  参考訳（メタデータ） (2020-09-23T15:07:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。