論文の概要: How Far Can 100 Samples Go? Unlocking Overall Zero-Shot Multilingual Translation via Tiny Multi-Parallel Data

• arxiv url: http://arxiv.org/abs/2401.12413v1
• Date: Mon, 22 Jan 2024 23:55:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-24 17:16:50.668359
• Title: How Far Can 100 Samples Go? Unlocking Overall Zero-Shot Multilingual Translation via Tiny Multi-Parallel Data
• Title（参考訳）: 100のサンプルはどこまで? Tiny Multi-Parallelデータによるゼロショット多言語翻訳のアンロック
• Authors: Di Wu, Shaomu Tan, Yan Meng, David Stap and Christof Monz
• Abstract要約: 非常に少量のマルチ並列データを用いて微調整を行うことで、英語中心モデルのゼロショット能力を容易に向上できることを示す。 驚くべきことに、我々の経験的分析は、小さなランダムにサンプリングされた方向の微調整でも、同等の全体的な改善が達成できることを示している。
• 参考スコア（独自算出の注目度）: 10.286714403840355
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Zero-shot translation is an open problem, aiming to translate between language pairs unseen during training in Multilingual Machine Translation (MMT). A common, albeit resource-consuming, solution is to mine as many translation directions as possible to add to the parallel corpus. In this paper, we show that the zero-shot capability of an English-centric model can be easily enhanced by fine-tuning with a very small amount of multi-parallel data. For example, on the EC30 dataset, we show that up to +21.7 ChrF non-English overall improvements (870 directions) can be achieved by using only 100 multi-parallel samples, meanwhile preserving capability in English-centric directions. We further study the size effect of fine-tuning data and its transfer capabilities. Surprisingly, our empirical analysis shows that comparable overall improvements can be achieved even through fine-tuning in a small, randomly sampled direction set (10\%). Also, the resulting non-English performance is quite close to the upper bound (complete translation). Due to its high efficiency and practicality, we encourage the community 1) to consider the use of the fine-tuning method as a strong baseline for zero-shot translation and 2) to construct more comprehensive and high-quality multi-parallel data to cover real-world demand.
• Abstract（参考訳）: ゼロショット翻訳はオープンな問題であり、Multilingual Machine Translation (MMT)のトレーニング中に見つからない言語ペア間の翻訳を目的としている。 リソース消費の一般的な解決策は、できるだけ多くの翻訳方向をマイニングして並列コーパスに追加することだ。 本稿では、非常に少ないマルチ並列データで微調整を行うことにより、英語中心モデルのゼロショット能力を容易に向上できることを示す。 例えば、EC30データセットでは、英語中心の方向での保存能力を維持しながら、100のマルチ並列サンプルを使用することで、英語以外の全体的な改善(870方向)を+21.7 ChrFで達成できることが示されている。 さらに、微調整データのサイズ効果とその転送機能について検討する。 驚くべきことに、我々の経験的分析は、小さなランダムにサンプリングされた方向セット(10\%)での微調整でも、同等の全体的な改善が達成できることを示している。 また、結果として得られる非英語のパフォーマンスは上界に近い(完全翻訳)。 その高い効率と実践性から,我々はコミュニティを奨励する 1)ゼロショット翻訳のための強固なベースラインとしての微調整法の使用と考察 2) より包括的で高品質なマルチ並列データを構築し、現実の需要をカバーする。

関連論文リスト

• How Multilingual Are Large Language Models Fine-Tuned for Translation? [13.612090779277281]
  並列テキスト上での微調整大型言語モデル(LLM)は、大量の並列データに対して教師あり方式で訓練された専用翻訳システムより優れていることが示されている。 翻訳の微調整は、ゼロショット言語、ゼロショット言語ペア、英語を含まない翻訳タスクのLLMのMT機能にどのように影響しますか? 翻訳の微調整により、ゼロショット言語でも平均で翻訳品質が向上するが、関連する言語ペアによる影響は不均一である。
  論文  参考訳（メタデータ） (2024-05-30T22:08:20Z)
• Narrowing the Gap between Zero- and Few-shot Machine Translation by Matching Styles [53.92189950211852]
  大規模言語モデルは、文脈内学習を用いたゼロショットと少数ショットの例を用いて、機械翻訳に一般化する能力を示した。 本稿では,このギャップに寄与する要因について検討し,対象コーパスの書字スタイルを一致させることで,このギャップをほとんど(約70%)閉鎖できることを示す。
  論文  参考訳（メタデータ） (2023-11-04T03:18:45Z)
• Adapting to Non-Centered Languages for Zero-shot Multilingual Translation [12.487990897680422]
  我々は,非中心言語に適応して,シンプルで軽量で効果的な言語特化モデリング手法を提案する。 IWSLT17, Europarl, TED Talk, OPUS-100 データセットの Transformer を用いた実験により, 本手法が非中心データ条件に容易に適合できることが判明した。
  論文  参考訳（メタデータ） (2022-09-09T06:34:12Z)
• OneAligner: Zero-shot Cross-lingual Transfer with One Rich-Resource Language Pair for Low-Resource Sentence Retrieval [91.76575626229824]
  文検索タスク用に特別に設計されたアライメントモデルであるOneAlignerを提案する。 大規模並列多言語コーパス(OPUS-100)の全ての言語ペアで訓練すると、このモデルは最先端の結果が得られる。 実験結果から,文アライメントタスクの性能はモノリンガルおよび並列データサイズに大きく依存することがわかった。
  論文  参考訳（メタデータ） (2022-05-17T19:52:42Z)
• Improving Multilingual Translation by Representation and Gradient Regularization [82.42760103045083]
  表現レベルと勾配レベルの両方でNMTモデルを正規化するための共同手法を提案する。 提案手法は,オフターゲット翻訳の発生率の低減とゼロショット翻訳性能の向上に有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-10T10:52:21Z)
• Distributionally Robust Multilingual Machine Translation [94.51866646879337]
  本稿では,分散的ロバストな最適化に基づくMNMT(Multilingual Neural Machine Translation)の新しい学習目標を提案する。 この目的を,反復的最適応答方式を用いて,大規模翻訳コーパスに対して実用的に最適化する方法を示す。 本手法は,多対一の翻訳設定と多対多の翻訳設定の両方において,平均と言語毎のパフォーマンスにおいて,強いベースライン法より一貫して優れる。
  論文  参考訳（メタデータ） (2021-09-09T03:48:35Z)
• Subword Segmentation and a Single Bridge Language Affect Zero-Shot Neural Machine Translation [36.4055239280145]
  WMTデータに基づいて学習した多言語EN$leftrightarrow$FR,CS,DE,FIシステムのゼロショット性能について検討した。 ゼロショット翻訳におけるソースのコピーに対するバイアスを観察し、サブワードセグメンテーションの選択がこのバイアスにどのように影響するかを考察する。
  論文  参考訳（メタデータ） (2020-11-03T13:45:54Z)
• Beyond English-Centric Multilingual Machine Translation [74.21727842163068]
  我々は真の多言語多言語翻訳モデルを作成し、100言語のいずれかのペア間で直接翻訳できる。 大規模なマイニングによって生成された教師付きデータで、数千の言語方向をカバーするトレーニングデータセットを構築し、オープンソースにしています。 WMTのベストシングルシステムに競争力を持たせながら、非英語の方向を直接翻訳する場合、非英語モデルに焦点をあてると10 BLEU以上のゲインが得られる。
  論文  参考訳（メタデータ） (2020-10-21T17:01:23Z)
• Improving Massively Multilingual Neural Machine Translation and Zero-Shot Translation [81.7786241489002]
  ニューラルネットワーク翻訳(NMT)の多言語モデルは理論的には魅力的であるが、しばしばバイリンガルモデルに劣る。 我々は,多言語NMTが言語ペアをサポートするためにより強力なモデリング能力を必要とすることを論じる。 未知のトレーニング言語ペアの翻訳を強制するために,ランダムなオンライン翻訳を提案する。
  論文  参考訳（メタデータ） (2020-04-24T17:21:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。