論文の概要: Self-Guided Curriculum Learning for Neural Machine Translation
- arxiv url: http://arxiv.org/abs/2105.04475v1
- Date: Mon, 10 May 2021 16:12:14 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-11 15:35:23.026658
- Title: Self-Guided Curriculum Learning for Neural Machine Translation
- Title（参考訳）: ニューラルネットワーク翻訳のための自己指導型カリキュラム学習
- Authors: Lei Zhou, Liang Ding, Kevin Duh, Ryohei Sasano, Koichi Takeda
- Abstract要約: ニューラルマシン翻訳(NMT)モデルの学習を促進するための自己指導型カリキュラム戦略を提案する。
我々のアプローチは、強力なベースライン変換器に対する変換性能を一貫して改善することができる。
- 参考スコア（独自算出の注目度）: 25.870500301724128
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: In the field of machine learning, the well-trained model is assumed to be
able to recover the training labels, i.e. the synthetic labels predicted by the
model should be as close to the ground-truth labels as possible. Inspired by
this, we propose a self-guided curriculum strategy to encourage the learning of
neural machine translation (NMT) models to follow the above recovery criterion,
where we cast the recovery degree of each training example as its learning
difficulty. Specifically, we adopt the sentence level BLEU score as the proxy
of recovery degree. Different from existing curricula relying on linguistic
prior knowledge or third-party language models, our chosen learning difficulty
is more suitable to measure the degree of knowledge mastery of the NMT models.
Experiments on translation benchmarks, including WMT14
English$\Rightarrow$German and WMT17 Chinese$\Rightarrow$English, demonstrate
that our approach can consistently improve translation performance against
strong baseline Transformer.
- Abstract（参考訳）: 機械学習の分野では、よく訓練されたモデルがトレーニングラベル、すなわちトレーニングラベルを復元できると仮定される。
モデルによって予測される合成ラベルは可能な限り接地ラベルに近いはずである。
そこで我々は,ニューラルネットワーク翻訳(NMT)モデルの学習を上記の回復基準に従って促進する自己指導型カリキュラム戦略を提案し,各学習例の回復度を学習難度として評価した。
具体的には,回復度の指標として文レベルBLEUスコアを採用する。
言語前知識や第三者言語モデルに依存する既存のカリキュラムとは異なり,選択した学習難易度は,nmtモデルの知識熟達度を測定するのに適している。
WMT14 English$\Rightarrow$German や WMT17 Chinese$\Rightarrow$ English といった翻訳ベンチマークの実験は、我々のアプローチが強力なベースライン変換器に対する翻訳性能を一貫して改善できることを実証している。
関連論文リスト
- On the Shortcut Learning in Multilingual Neural Machine Translation [95.30470845501141]
本研究は、多言語ニューラルマシン翻訳(MNMT)において、一般的に語られるオフターゲット問題を再考する。
ターゲット外の問題は、(非中心的、中心的でない)言語マッピングのショートカットが過度に適合していることに起因しています。
学習力学の解析によると、ショートカット学習はモデルトレーニングの後期に一般的に発生する。
論文 参考訳（メタデータ） (2024-11-15T21:09:36Z) - Bridging the Bosphorus: Advancing Turkish Large Language Models through Strategies for Low-Resource Language Adaptation and Benchmarking [1.3716808114696444]
大規模言語モデル(LLM)は様々な分野において重要になってきており、表現不足の言語における高品質なモデルの緊急性を強調している。
本研究では、データ不足、モデル選択、評価、計算制限など、低リソース言語が直面する固有の課題について検討する。
論文 参考訳（メタデータ） (2024-05-07T21:58:45Z) - MT-PATCHER: Selective and Extendable Knowledge Distillation from Large Language Models for Machine Translation [61.65537912700187]
機械翻訳(MT)分野における言語モデル(LLM)の強みを実証した。
我々は,LLMから既存のMTモデルに選択的かつ包括的かつ積極的に知識を伝達するMT-Patcherというフレームワークを提案する。
論文 参考訳（メタデータ） (2024-03-14T16:07:39Z) - Active Learning for Neural Machine Translation [0.0]
NMTツールキットのJoey NMTにActive Learningと呼ばれるテクニックを組み込んで、低リソース言語翻訳の十分な精度と堅牢な予測を行った。
この研究は、トランスフォーマーベースのNMTシステム、ベースラインモデル(BM)、フルトレーニングモデル(FTM)、アクティブラーニング最小信頼ベースモデル(ALLCM)、アクティブラーニングマージンサンプリングベースモデル(ALMSM)を用いて、英語をヒンディー語に翻訳する。
論文 参考訳（メタデータ） (2022-12-30T17:04:01Z) - Continual Knowledge Distillation for Neural Machine Translation [74.03622486218597]
並列コーパスは、データ著作権、データプライバシ、競争上の差別化の理由から、一般にはアクセスできない。
本稿では,既存の翻訳モデルを利用して,関心の1つのモデルを改善するための連続的知識蒸留法を提案する。
論文 参考訳（メタデータ） (2022-12-18T14:41:13Z) - Improving Multilingual Translation by Representation and Gradient
Regularization [82.42760103045083]
表現レベルと勾配レベルの両方でNMTモデルを正規化するための共同手法を提案する。
提案手法は,オフターゲット翻訳の発生率の低減とゼロショット翻訳性能の向上に有効であることを示す。
論文 参考訳（メタデータ） (2021-09-10T10:52:21Z) - Language Modeling, Lexical Translation, Reordering: The Training Process
of NMT through the Lens of Classical SMT [64.1841519527504]
ニューラルマシン翻訳は、翻訳プロセス全体をモデル化するために、単一のニューラルネットワークを使用する。
ニューラルネットワーク翻訳はデファクトスタンダードであるにもかかわらず、NMTモデルがトレーニングの過程でどのように異なる能力を獲得するのかは、まだ明らかになっていない。
論文 参考訳（メタデータ） (2021-09-03T09:38:50Z) - Self-supervised and Supervised Joint Training for Resource-rich Machine
Translation [30.502625878505732]
テキスト表現の自己教師付き事前学習が低リソースニューラルネットワーク翻訳(NMT)に成功している
我々は,NMTモデルを最適化するために,自己教師付き学習と教師付き学習を組み合わせた共同学習手法である$F$-XEnDecを提案する。
論文 参考訳（メタデータ） (2021-06-08T02:35:40Z) - Self-Paced Learning for Neural Machine Translation [55.41314278859938]
ニューラルネットワーク翻訳(NMT)訓練のためのセルフペースト学習を提案する。
提案モデルでは,強いベースラインよりも優れた性能が得られることを示す。
論文 参考訳（メタデータ） (2020-10-09T11:33:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。