論文の概要: How Far Can 100 Samples Go? Unlocking Overall Zero-Shot Multilingual Translation via Tiny Multi-Parallel Data

• arxiv url: http://arxiv.org/abs/2401.12413v2
• Date: Mon, 26 Feb 2024 23:23:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-28 21:18:03.622109
• Title: How Far Can 100 Samples Go? Unlocking Overall Zero-Shot Multilingual Translation via Tiny Multi-Parallel Data
• Title（参考訳）: 100のサンプルはどこまで? Tiny Multi-Parallelデータによるゼロショット多言語翻訳のアンロック
• Authors: Di Wu, Shaomu Tan, Yan Meng, David Stap and Christof Monz
• Abstract要約: リソースを消費する一般的な解決策は、トレーニングコーパスに可能な限り多くの関連する翻訳方向を追加することである。 英語中心のモデルでは、非常に少量のマルチ並列データで簡単に微調整することで驚くほど大きなゼロショット改善が達成できることを示す。
• 参考スコア（独自算出の注目度）: 10.286714403840355
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Zero-shot translation aims to translate between language pairs not seen during training in Multilingual Machine Translation (MMT) and is largely considered an open problem. A common, albeit resource-consuming, solution is to add as many related translation directions as possible to the training corpus. In this paper, we show that for an English-centric model, surprisingly large zero-shot improvements can be achieved by simply fine-tuning with a very small amount of multi-parallel data. For example, on the EC30 dataset, we obtain up to +21.7 ChrF non-English overall improvements (870 directions) by using only 100 multi-parallel samples while preserving English-centric translation quality. When investigating the size effect of fine-tuning data and its transfer capabilities, we found that already a small, randomly sampled set of fine-tuning directions is sufficient to achieve comparable improvements. The resulting non-English performance is close to the complete translation upper bound. Even in a minimal setting -- fine-tuning with only one single sample -- the well-known off-target issue is almost completely resolved, explaining parts--but not all -- of the observed improvements in translation quality.
• Abstract（参考訳）: ゼロショット翻訳は、Multilingual Machine Translation (MMT)において訓練中に見られない言語ペア間の翻訳を目標としている。 リソース消費の一般的な解決策は、可能な限り多くの関連する翻訳方向をトレーニングコーパスに追加することだ。 本稿では、英語中心のモデルでは、ごく少量のマルチパラレルデータで微調整するだけで驚くほど大きなゼロショット改善を実現できることを示す。 例えば、ec30データセットでは、英語中心の翻訳品質を維持しつつ、100個のマルチパラレルサンプルを使用して、最大+21.7chrf非英語総合改善(870方向)を得る。 微調整データのサイズ効果とその伝達能力を調べると、既に小さな無作為サンプリングされた微調整方向の集合が同等の改善を達成するのに十分であることがわかった。 結果として得られる非英語のパフォーマンスは、完全な翻訳上界に近い。 最小限の設定でも -- 1つのサンプルのみによる微調整 -- 、よく知られたオフターゲット問題は、ほぼ完全に解決され、部品の説明もすべてではない -- 、翻訳品質の向上が観察されている。

関連論文リスト

• How Multilingual Are Large Language Models Fine-Tuned for Translation? [13.612090779277281]
  並列テキスト上での微調整大型言語モデル(LLM)は、大量の並列データに対して教師あり方式で訓練された専用翻訳システムより優れていることが示されている。 翻訳の微調整は、ゼロショット言語、ゼロショット言語ペア、英語を含まない翻訳タスクのLLMのMT機能にどのように影響しますか? 翻訳の微調整により、ゼロショット言語でも平均で翻訳品質が向上するが、関連する言語ペアによる影響は不均一である。
  論文  参考訳（メタデータ） (2024-05-30T22:08:20Z)
• Narrowing the Gap between Zero- and Few-shot Machine Translation by Matching Styles [53.92189950211852]
  大規模言語モデルは、文脈内学習を用いたゼロショットと少数ショットの例を用いて、機械翻訳に一般化する能力を示した。 本稿では,このギャップに寄与する要因について検討し,対象コーパスの書字スタイルを一致させることで,このギャップをほとんど(約70%)閉鎖できることを示す。
  論文  参考訳（メタデータ） (2023-11-04T03:18:45Z)
• Adapting to Non-Centered Languages for Zero-shot Multilingual Translation [12.487990897680422]
  我々は,非中心言語に適応して,シンプルで軽量で効果的な言語特化モデリング手法を提案する。 IWSLT17, Europarl, TED Talk, OPUS-100 データセットの Transformer を用いた実験により, 本手法が非中心データ条件に容易に適合できることが判明した。
  論文  参考訳（メタデータ） (2022-09-09T06:34:12Z)
• OneAligner: Zero-shot Cross-lingual Transfer with One Rich-Resource Language Pair for Low-Resource Sentence Retrieval [91.76575626229824]
  文検索タスク用に特別に設計されたアライメントモデルであるOneAlignerを提案する。 大規模並列多言語コーパス(OPUS-100)の全ての言語ペアで訓練すると、このモデルは最先端の結果が得られる。 実験結果から,文アライメントタスクの性能はモノリンガルおよび並列データサイズに大きく依存することがわかった。
  論文  参考訳（メタデータ） (2022-05-17T19:52:42Z)
• Improving Multilingual Translation by Representation and Gradient Regularization [82.42760103045083]
  表現レベルと勾配レベルの両方でNMTモデルを正規化するための共同手法を提案する。 提案手法は,オフターゲット翻訳の発生率の低減とゼロショット翻訳性能の向上に有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-10T10:52:21Z)
• Distributionally Robust Multilingual Machine Translation [94.51866646879337]
  本稿では,分散的ロバストな最適化に基づくMNMT(Multilingual Neural Machine Translation)の新しい学習目標を提案する。 この目的を,反復的最適応答方式を用いて,大規模翻訳コーパスに対して実用的に最適化する方法を示す。 本手法は,多対一の翻訳設定と多対多の翻訳設定の両方において,平均と言語毎のパフォーマンスにおいて,強いベースライン法より一貫して優れる。
  論文  参考訳（メタデータ） (2021-09-09T03:48:35Z)
• Subword Segmentation and a Single Bridge Language Affect Zero-Shot Neural Machine Translation [36.4055239280145]
  WMTデータに基づいて学習した多言語EN$leftrightarrow$FR,CS,DE,FIシステムのゼロショット性能について検討した。 ゼロショット翻訳におけるソースのコピーに対するバイアスを観察し、サブワードセグメンテーションの選択がこのバイアスにどのように影響するかを考察する。
  論文  参考訳（メタデータ） (2020-11-03T13:45:54Z)
• Beyond English-Centric Multilingual Machine Translation [74.21727842163068]
  我々は真の多言語多言語翻訳モデルを作成し、100言語のいずれかのペア間で直接翻訳できる。 大規模なマイニングによって生成された教師付きデータで、数千の言語方向をカバーするトレーニングデータセットを構築し、オープンソースにしています。 WMTのベストシングルシステムに競争力を持たせながら、非英語の方向を直接翻訳する場合、非英語モデルに焦点をあてると10 BLEU以上のゲインが得られる。
  論文  参考訳（メタデータ） (2020-10-21T17:01:23Z)
• Improving Massively Multilingual Neural Machine Translation and Zero-Shot Translation [81.7786241489002]
  ニューラルネットワーク翻訳(NMT)の多言語モデルは理論的には魅力的であるが、しばしばバイリンガルモデルに劣る。 我々は,多言語NMTが言語ペアをサポートするためにより強力なモデリング能力を必要とすることを論じる。 未知のトレーニング言語ペアの翻訳を強制するために,ランダムなオンライン翻訳を提案する。
  論文  参考訳（メタデータ） (2020-04-24T17:21:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。