論文の概要: Improving Polish to English Neural Machine Translation with Transfer Learning: Effects of Data Volume and Language Similarity

• arxiv url: http://arxiv.org/abs/2306.00660v1
• Date: Thu, 1 Jun 2023 13:34:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-02 16:07:03.324439
• Title: Improving Polish to English Neural Machine Translation with Transfer Learning: Effects of Data Volume and Language Similarity
• Title（参考訳）: 翻訳学習によるポーランド語から英語へのニューラルマシン翻訳の改善:データボリュームと言語類似性の影響
• Authors: Juuso Eronen, Michal Ptaszynski, Karol Nowakowski, Zheng Lin Chia, Fumito Masui
• Abstract要約: 機械翻訳作業におけるデータ量と類似言語の使用が伝達学習に与える影響について検討する。 OPUS-100データセットを用いてポーランド語と英語の翻訳タスクに対してmBARTモデルを微調整する。 実験の結果、関連する言語と大量のデータの組み合わせは、関連する言語や大量のデータだけで訓練されたモデルよりも優れていることがわかった。
• 参考スコア（独自算出の注目度）: 2.4674086273775035
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: This paper investigates the impact of data volume and the use of similar languages on transfer learning in a machine translation task. We find out that having more data generally leads to better performance, as it allows the model to learn more patterns and generalizations from the data. However, related languages can also be particularly effective when there is limited data available for a specific language pair, as the model can leverage the similarities between the languages to improve performance. To demonstrate, we fine-tune mBART model for a Polish-English translation task using the OPUS-100 dataset. We evaluate the performance of the model under various transfer learning configurations, including different transfer source languages and different shot levels for Polish, and report the results. Our experiments show that a combination of related languages and larger amounts of data outperforms the model trained on related languages or larger amounts of data alone. Additionally, we show the importance of related languages in zero-shot and few-shot configurations.
• Abstract（参考訳）: 本稿では,機械翻訳タスクにおけるデータ量と類似言語の使用がトランスファー学習に与える影響について検討する。 より多くのデータを持つことで、モデルがデータからより多くのパターンや一般化を学ぶことができるため、一般的にパフォーマンスが向上する。 しかし、モデルが言語間の類似性を利用してパフォーマンスを向上させることができるため、特定の言語ペアに限られたデータがある場合、関連する言語は特に効果的である。 そこで我々は,OPUS-100データセットを用いてポーランド語翻訳タスクのmBARTモデルを微調整した。 異なる転送ソース言語やポーランド語用ショットレベルを含む,様々な転送学習構成下でのモデルの性能を評価し,その結果を報告する。 実験の結果、関連する言語と大量のデータの組み合わせは、関連する言語や大量のデータだけで訓練されたモデルよりも優れていることがわかった。 さらに、ゼロショットおよび少数ショット構成における関連言語の重要性を示す。

関連論文リスト

• Training Bilingual LMs with Data Constraints in the Targeted Language [20.262591969661447]
  本研究では,データ制約対象言語における事前学習モデルの性能を向上させるために,高品質なデータを利用できる補助言語からデータを抽出する手法について検討する。 本研究では,データ豊富な補助言語におけるトレーニングとデータ間のパフォーマンスギャップを,対象言語のトレーニングと比較して定量化する。 以上の結果から,より強力な補助データセットは,モデルの変更や近接言語学習の目的を伴わずに,性能向上をもたらすことが示された。
  論文  参考訳（メタデータ） (2024-11-20T02:27:40Z)
• GradSim: Gradient-Based Language Grouping for Effective Multilingual Training [13.730907708289331]
  勾配類似度に基づく言語グループ化手法GradSimを提案する。 3つの多言語ベンチマークデータセットに対する実験により、最大のパフォーマンス向上につながることが示された。 言語的特徴の他に、データセットのトピックは言語グループ化において重要な役割を果たす。
  論文  参考訳（メタデータ） (2023-10-23T18:13:37Z)
• How do languages influence each other? Studying cross-lingual data sharing during LM fine-tuning [14.02101305717738]
  多言語大言語モデル(MLLM)は、多くの異なる言語からのデータに基づいて共同で訓練される。 言語がどの程度、どの条件下で、互いのデータに依存しているかは、まだ不明である。 MLLMは、細調整の初期段階から複数の言語からのデータに依存しており、細調整の進行に伴って、この依存度が徐々に増加することが判明した。
  論文  参考訳（メタデータ） (2023-05-22T17:47:41Z)
• Unified Model Learning for Various Neural Machine Translation [63.320005222549646]
  既存の機械翻訳(NMT)研究は主にデータセット固有のモデルの開発に焦点を当てている。 我々は,NMT(UMLNMT)のための統一モデル学習モデル(Unified Model Learning for NMT)を提案する。 OurNMTは、データセット固有のモデルよりも大幅に改善され、モデルデプロイメントコストが大幅に削減される。
  論文  参考訳（メタデータ） (2023-05-04T12:21:52Z)
• Languages You Know Influence Those You Learn: Impact of Language Characteristics on Multi-Lingual Text-to-Text Transfer [4.554080966463776]
  マルチ言語モデル (LM) は低リソース言語での自然言語処理の実現に成功している。 このようなモデル、特にmT5は、言語間の言語的および意味的な知識をどう転送するかをよりよく理解しようとしています。 この研究の鍵となる発見は、構文、形態学、音韻学の類似性が言語間移動のよい予測因子であることである。
  論文  参考訳（メタデータ） (2022-12-04T07:22:21Z)
• Language Agnostic Multilingual Information Retrieval with Contrastive Learning [59.26316111760971]
  本稿では,多言語情報検索システムの学習方法を提案する。 並列コーパスと非並列コーパスを利用して、事前訓練された多言語言語モデルを改善する。 我々のモデルは少数のパラレル文でもうまく機能する。
  論文  参考訳（メタデータ） (2022-10-12T23:53:50Z)
• Cross-lingual Machine Reading Comprehension with Language Branch Knowledge Distillation [105.41167108465085]
  言語間機械読解(CLMRC)は、ローソース言語に大規模なデータセットがないため、依然として難しい問題である。 本稿では,Language Branch Machine Reading (LBMRC) という新しい拡張手法を提案する。 LBMRCは、個々の言語に精通したMultiple Machine Read comprehension (MRC)モデルを訓練する。 複数の言語分岐モデルから全ての対象言語に対する単一モデルへのアマルガメート知識の多言語蒸留アプローチを考案する。
  論文  参考訳（メタデータ） (2020-10-27T13:12:17Z)
• Beyond English-Centric Multilingual Machine Translation [74.21727842163068]
  我々は真の多言語多言語翻訳モデルを作成し、100言語のいずれかのペア間で直接翻訳できる。 大規模なマイニングによって生成された教師付きデータで、数千の言語方向をカバーするトレーニングデータセットを構築し、オープンソースにしています。 WMTのベストシングルシステムに競争力を持たせながら、非英語の方向を直接翻訳する場合、非英語モデルに焦点をあてると10 BLEU以上のゲインが得られる。
  論文  参考訳（メタデータ） (2020-10-21T17:01:23Z)
• Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
  低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。 この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。 我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
  論文  参考訳（メタデータ） (2020-10-20T17:31:07Z)
• Mixed-Lingual Pre-training for Cross-lingual Summarization [54.4823498438831]
  言語間の要約は、ソース言語の記事に対する対象言語の要約を作成することを目的としている。 本稿では,翻訳のような言語間タスクと,マスク付き言語モデルのようなモノリンガルタスクの両方を活用する混合言語事前学習に基づくソリューションを提案する。 本モデルでは,2.82(中国語)と1.15(中国語,英語)のROUGE-1スコアを最先端の結果に対して改善する。
  論文  参考訳（メタデータ） (2020-10-18T00:21:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。