論文の概要: Optimizing the Training Schedule of Multilingual NMT using Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2410.06118v1
• Date: Tue, 8 Oct 2024 15:20:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 11:10:50.622828
• Title: Optimizing the Training Schedule of Multilingual NMT using Reinforcement Learning
• Title（参考訳）: 強化学習を用いた多言語NMT訓練スケジュールの最適化
• Authors: Alexis Allemann, Àlex R. Atrio, Andrei Popescu-Belis,
• Abstract要約: マルチ言語NMTのトレーニングスケジュールを最適化するために強化学習を利用する2つのアルゴリズムを提案する。 LRLとHRLを用いた8対1の翻訳データセットでは,単言語バッチのランダム選択と多言語バッチのシャッフルの両方に関して,BLEUとCOMETのスコアが向上する。
• 参考スコア（独自算出の注目度）: 0.3277163122167433
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Multilingual NMT is a viable solution for translating low-resource languages (LRLs) when data from high-resource languages (HRLs) from the same language family is available. However, the training schedule, i.e. the order of presentation of languages, has an impact on the quality of such systems. Here, in a many-to-one translation setting, we propose to apply two algorithms that use reinforcement learning to optimize the training schedule of NMT: (1) Teacher-Student Curriculum Learning and (2) Deep Q Network. The former uses an exponentially smoothed estimate of the returns of each action based on the loss on monolingual or multilingual development subsets, while the latter estimates rewards using an additional neural network trained from the history of actions selected in different states of the system, together with the rewards received. On a 8-to-1 translation dataset with LRLs and HRLs, our second method improves BLEU and COMET scores with respect to both random selection of monolingual batches and shuffled multilingual batches, by adjusting the number of presentations of LRL vs. HRL batches.
• Abstract（参考訳）: マルチリンガルNMTは、同じ言語ファミリーから高リソース言語(HRL)のデータが利用できる場合に、低リソース言語(LRL)を翻訳するための実行可能なソリューションである。 しかし、訓練スケジュール、すなわち言語提示の順序は、そのようなシステムの品質に影響を及ぼす。 本稿では,NMTの学習スケジュールを最適化するために強化学習を利用する2つのアルゴリズムを提案する。 前者は、モノリンガルまたは多言語開発サブセットの損失に基づいて、各アクションのリターンを指数関数的に滑らかに見積もる一方、後者は、システムの異なる状態で選択されたアクションの歴史からトレーニングされた追加のニューラルネットワークを使用して、受信された報酬と共に報酬を推定する。 LRLとHRLを用いた8対1の翻訳データセットでは,一言語バッチのランダム選択と多言語バッチのシャッフルに対してBLEUとCOMETのスコアを改良し,LRLとHRLのプレゼンテーション数を調整した。

関連論文リスト

• Enhancing Multilingual Capabilities of Large Language Models through Self-Distillation from Resource-Rich Languages [60.162717568496355]
  大規模言語モデル(LLM)は多言語コーパスで事前訓練されている。 彼らのパフォーマンスは、いくつかのリソース豊富な言語と比較して、ほとんどの言語でまだ遅れています。
  論文  参考訳（メタデータ） (2024-02-19T15:07:32Z)
• High-resource Language-specific Training for Multilingual Neural Machine Translation [109.31892935605192]
  負の干渉を軽減するために,HLT-MT(High-Resource Language-specific Training)を用いた多言語翻訳モデルを提案する。 具体的には、まずマルチ言語モデルを高リソースペアでトレーニングし、デコーダの上部にある言語固有のモジュールを選択する。 HLT-MTは、高リソース言語から低リソース言語への知識伝達のために、利用可能なすべてのコーパスでさらに訓練されている。
  論文  参考訳（メタデータ） (2022-07-11T14:33:13Z)
• Adaptive Activation Network For Low Resource Multilingual Speech Recognition [30.460501537763736]
  ASRモデルの上位層に適応的アクティベーションネットワークを導入する。 また,(1)クロス言語学習,(2)アクティベーション関数をソース言語からターゲット言語に置き換える,(2)多言語学習という2つの手法を提案する。 IARPA Babelデータセットに関する実験により、我々のアプローチは、オフスクラッチトレーニングや従来のボトルネック機能に基づく手法よりも優れていることを示した。
  論文  参考訳（メタデータ） (2022-05-28T04:02:59Z)
• Competence-based Curriculum Learning for Multilingual Machine Translation [28.30800327665549]
  既存の多言語機械翻訳モデルは、不均衡という深刻な課題に直面している。 本稿では,多言語機械翻訳のためのコンピテンスベースのカリキュラム学習を提案する。 TEDトークデータセットにおける従来の最先端のアプローチと比較して,我々のアプローチは着実に,顕著なパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2021-09-09T02:52:34Z)
• Improving the Lexical Ability of Pretrained Language Models for Unsupervised Neural Machine Translation [127.81351683335143]
  クロスリンガルプリトレーニングは、2つの言語の語彙的表現と高レベル表現を整列させるモデルを必要とする。 これまでの研究では、これは表現が十分に整合していないためです。 本稿では,語彙レベルの情報で事前学習するバイリンガルマスク言語モデルを,型レベルのクロスリンガルサブワード埋め込みを用いて強化する。
  論文  参考訳（メタデータ） (2021-03-18T21:17:58Z)
• Multilingual Transfer Learning for QA Using Translation as Data Augmentation [13.434957024596898]
  我々は,多言語組込みを意味空間に近づけることで,言語間伝達を改善する戦略を検討する。 言語敵対的トレーニングと言語仲裁フレームワークという2つの新しい戦略を提案し、(ゼロリソースの)クロスリンガルトランスファーのパフォーマンスを大幅に改善します。 実験により,提案モデルは,最近導入された多言語MLQAデータセットとTyDiQAデータセットにおいて,以前のゼロショットベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-12-10T20:29:34Z)
• Multi-task Learning for Multilingual Neural Machine Translation [32.81785430242313]
  本稿では,bitextデータ上での翻訳タスクと,モノリンガルデータ上での2つの認知タスクを併用してモデルを学習するマルチタスク学習フレームワークを提案する。 提案手法は,高リソース言語と低リソース言語の両方の翻訳品質を効果的に向上できることを示す。
  論文  参考訳（メタデータ） (2020-10-06T06:54:12Z)
• Reusing a Pretrained Language Model on Languages with Limited Corpora for Unsupervised NMT [129.99918589405675]
  本稿では,オープンソース言語上でのみ事前訓練されたLMを再利用する効果的な手法を提案する。 モノリンガルLMは両言語で微調整され、UNMTモデルの初期化に使用される。 我々のアプローチであるRE-LMは、英語・マケドニア語(En-Mk)と英語・アルバニア語(En-Sq)の競合言語間事前学習モデル(XLM)より優れています。
  論文  参考訳（メタデータ） (2020-09-16T11:37:10Z)
• Balancing Training for Multilingual Neural Machine Translation [130.54253367251738]
  多言語機械翻訳(MT)モデルは、複数の言語に翻訳/翻訳することができる。 標準的なプラクティスは、表現力を高めるために、リソースの少ない言語をアップサンプルすることである。 そこで本研究では,データスコアラによるトレーニングデータの重み付けを自動的に学習する手法を提案する。
  論文  参考訳（メタデータ） (2020-04-14T18:23:28Z)
• Pre-training via Leveraging Assisting Languages and Data Selection for Neural Machine Translation [49.51278300110449]
  興味のある言語に対する単言語コーパスの不足を補うために,他の言語の単言語コーパスを活用することを提案する。 低リソースの日英ニューラルマシン翻訳(NMT)のケーススタディでは、中国語とフランス語のモノリンガルコーパスを活用することで、日本語と英語のモノリンガルコーパスの不足を克服できることが示された。
  論文  参考訳（メタデータ） (2020-01-23T02:47:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。