論文の概要: Competence-based Curriculum Learning for Multilingual Machine Translation

• arxiv url: http://arxiv.org/abs/2109.04002v1
• Date: Thu, 9 Sep 2021 02:52:34 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-10 14:21:09.208983
• Title: Competence-based Curriculum Learning for Multilingual Machine Translation
• Title（参考訳）: 多言語機械翻訳のための能力に基づくカリキュラム学習
• Authors: Mingliang Zhang, Fandong Meng, Yunhai Tong and Jie Zhou
• Abstract要約: 既存の多言語機械翻訳モデルは、不均衡という深刻な課題に直面している。 本稿では,多言語機械翻訳のためのコンピテンスベースのカリキュラム学習を提案する。 TEDトークデータセットにおける従来の最先端のアプローチと比較して,我々のアプローチは着実に,顕著なパフォーマンス向上を実現している。
• 参考スコア（独自算出の注目度）: 28.30800327665549
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Currently, multilingual machine translation is receiving more and more attention since it brings better performance for low resource languages (LRLs) and saves more space. However, existing multilingual machine translation models face a severe challenge: imbalance. As a result, the translation performance of different languages in multilingual translation models are quite different. We argue that this imbalance problem stems from the different learning competencies of different languages. Therefore, we focus on balancing the learning competencies of different languages and propose Competence-based Curriculum Learning for Multilingual Machine Translation, named CCL-M. Specifically, we firstly define two competencies to help schedule the high resource languages (HRLs) and the low resource languages: 1) Self-evaluated Competence, evaluating how well the language itself has been learned; and 2) HRLs-evaluated Competence, evaluating whether an LRL is ready to be learned according to HRLs' Self-evaluated Competence. Based on the above competencies, we utilize the proposed CCL-M algorithm to gradually add new languages into the training set in a curriculum learning manner. Furthermore, we propose a novel competenceaware dynamic balancing sampling strategy for better selecting training samples in multilingual training. Experimental results show that our approach has achieved a steady and significant performance gain compared to the previous state-of-the-art approach on the TED talks dataset.
• Abstract（参考訳）: 現在、低リソース言語(LRL)のパフォーマンスが向上し、より多くのスペースが節約されるため、多言語機械翻訳はますます注目を集めている。 しかし、既存の多言語機械翻訳モデルは深刻な課題に直面している。 その結果、多言語翻訳モデルにおける異なる言語の翻訳性能は、かなり異なる。 この不均衡問題は、異なる言語の異なる学習能力に由来すると主張する。 そこで本研究では,異なる言語の学習能力のバランスに着目し,多言語機械翻訳のための能力に基づくカリキュラム学習を提案する。 具体的には、まず、ハイリソース言語(HRL)と低リソース言語(HRL)をスケジュールする2つの能力を定義する。1) 自己評価能力、言語自体の学習能力の評価、2) HRLの自己評価能力に基づいてLRLが学習できるかどうかを評価する。 上記の能力に基づいて,提案するccl-mアルゴリズムを用いて,カリキュラム学習方式の学習セットに徐々に新しい言語を付加する。 さらに,多言語訓練における訓練サンプルの選択性を向上させるための,新しい能力評価動的バランスサンプリング戦略を提案する。 実験結果から,本手法はTEDトークデータセットにおける従来の最先端手法と比較して,安定した性能向上を実現していることがわかった。

関連論文リスト

• Code-Switching Curriculum Learning for Multilingual Transfer in LLMs [43.85646680303273]
  大規模言語モデル(LLM)は、様々なタスクにおいて、ほぼ人間レベルのパフォーマンスを示すが、その性能は、少数の高リソース言語の後、劇的に低下する。 第2言語習得の人的プロセスに触発されて,LLMの言語間移動を促進するためのCSCL(Code-Switching Curchical Learning)を提案する。 CSCLは,1)トークンレベルのコードスイッチング,2)文レベルのコードスイッチング,3)単言語コーパスからなるカリキュラムを用いて,段階的にモデルを訓練することで,人間の言語学習の段階を模倣する。
  論文  参考訳（メタデータ） (2024-11-04T06:31:26Z)
• Optimizing the Training Schedule of Multilingual NMT using Reinforcement Learning [0.3277163122167433]
  マルチ言語NMTのトレーニングスケジュールを最適化するために強化学習を利用する2つのアルゴリズムを提案する。 LRLとHRLを用いた8対1の翻訳データセットでは,単言語バッチのランダム選択と多言語バッチのシャッフルの両方に関して,BLEUとCOMETのスコアが向上する。
  論文  参考訳（メタデータ） (2024-10-08T15:20:13Z)
• Multilingual Pretraining and Instruction Tuning Improve Cross-Lingual Knowledge Alignment, But Only Shallowly [53.04368883943773]
  これに対処する2つのアプローチ、すなわち、多言語事前学習と多言語命令チューニングを提案する。 性能, 一貫性, 導電率レベルにおけるLLMの言語間知識アライメントを評価するために, CLiKAを提案する。 その結果、多言語事前学習と指導訓練は、多言語間知識アライメントに有用であるが、訓練戦略を慎重に設計する必要があることが示唆された。
  論文  参考訳（メタデータ） (2024-04-06T15:25:06Z)
• Analyzing and Adapting Large Language Models for Few-Shot Multilingual NLU: Are We There Yet? [82.02076369811402]
  教師付きファインチューニング(SFT)、教師付きインストラクションチューニング(SIT)、インコンテキストラーニング(ICL)は、3つの代替であり、事実上の標準的アプローチである。 提案手法は,6つの高・低リソース言語,3つの異なるNLUタスク,多種多様な言語とドメインのセットアップを用いて,3つのアプローチを網羅的かつ体系的に比較する。 そこで本研究では,教師あり指導のチューニングが,性能とリソース要件の最良のトレードオフであることを示す。
  論文  参考訳（メタデータ） (2024-03-04T10:48:13Z)
• Enhancing Multilingual Capabilities of Large Language Models through Self-Distillation from Resource-Rich Languages [60.162717568496355]
  大規模言語モデル(LLM)は多言語コーパスで事前訓練されている。 彼らのパフォーマンスは、いくつかのリソース豊富な言語と比較して、ほとんどの言語でまだ遅れています。
  論文  参考訳（メタデータ） (2024-02-19T15:07:32Z)
• High-resource Language-specific Training for Multilingual Neural Machine Translation [109.31892935605192]
  負の干渉を軽減するために,HLT-MT(High-Resource Language-specific Training)を用いた多言語翻訳モデルを提案する。 具体的には、まずマルチ言語モデルを高リソースペアでトレーニングし、デコーダの上部にある言語固有のモジュールを選択する。 HLT-MTは、高リソース言語から低リソース言語への知識伝達のために、利用可能なすべてのコーパスでさらに訓練されている。
  論文  参考訳（メタデータ） (2022-07-11T14:33:13Z)
• Multilingual Transfer Learning for QA Using Translation as Data Augmentation [13.434957024596898]
  我々は,多言語組込みを意味空間に近づけることで,言語間伝達を改善する戦略を検討する。 言語敵対的トレーニングと言語仲裁フレームワークという2つの新しい戦略を提案し、(ゼロリソースの)クロスリンガルトランスファーのパフォーマンスを大幅に改善します。 実験により,提案モデルは,最近導入された多言語MLQAデータセットとTyDiQAデータセットにおいて,以前のゼロショットベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-12-10T20:29:34Z)
• Cross-lingual Machine Reading Comprehension with Language Branch Knowledge Distillation [105.41167108465085]
  言語間機械読解(CLMRC)は、ローソース言語に大規模なデータセットがないため、依然として難しい問題である。 本稿では,Language Branch Machine Reading (LBMRC) という新しい拡張手法を提案する。 LBMRCは、個々の言語に精通したMultiple Machine Read comprehension (MRC)モデルを訓練する。 複数の言語分岐モデルから全ての対象言語に対する単一モデルへのアマルガメート知識の多言語蒸留アプローチを考案する。
  論文  参考訳（メタデータ） (2020-10-27T13:12:17Z)
• Balancing Training for Multilingual Neural Machine Translation [130.54253367251738]
  多言語機械翻訳(MT)モデルは、複数の言語に翻訳/翻訳することができる。 標準的なプラクティスは、表現力を高めるために、リソースの少ない言語をアップサンプルすることである。 そこで本研究では,データスコアラによるトレーニングデータの重み付けを自動的に学習する手法を提案する。
  論文  参考訳（メタデータ） (2020-04-14T18:23:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。