論文の概要: Self-Paced Learning for Neural Machine Translation

• arxiv url: http://arxiv.org/abs/2010.04505v2
• Date: Tue, 13 Oct 2020 09:02:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-09 04:20:06.620508
• Title: Self-Paced Learning for Neural Machine Translation
• Title（参考訳）: ニューラルネットワーク翻訳のための自己ペース学習
• Authors: Yu Wan, Baosong Yang, Derek F. Wong, Yikai Zhou, Lidia S. Chao, Haibo Zhang, Boxing Chen
• Abstract要約: ニューラルネットワーク翻訳(NMT)訓練のためのセルフペースト学習を提案する。 提案モデルでは,強いベースラインよりも優れた性能が得られることを示す。
• 参考スコア（独自算出の注目度）: 55.41314278859938
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent studies have proven that the training of neural machine translation (NMT) can be facilitated by mimicking the learning process of humans. Nevertheless, achievements of such kind of curriculum learning rely on the quality of artificial schedule drawn up with the handcrafted features, e.g. sentence length or word rarity. We ameliorate this procedure with a more flexible manner by proposing self-paced learning, where NMT model is allowed to 1) automatically quantify the learning confidence over training examples; and 2) flexibly govern its learning via regulating the loss in each iteration step. Experimental results over multiple translation tasks demonstrate that the proposed model yields better performance than strong baselines and those models trained with human-designed curricula on both translation quality and convergence speed.
• Abstract（参考訳）: 近年の研究では、人間の学習過程を模倣することにより、ニューラルマシン翻訳(NMT)の訓練が促進できることが証明されている。 しかし、このようなカリキュラム学習の成果は、例えば文の長さや単語の希薄さといった手作りの特徴を生かした人工スケジュールの品質に依存している。 我々は、NMTモデルが許されるセルフペース学習を提案することにより、この手順をより柔軟な方法で改善する。 1)訓練例よりも学習信頼度を自動的に定量化する。 2)各イテレーションステップの損失を規制することにより,その学習を柔軟に制御する。 複数の翻訳タスクにおける実験結果から,提案モデルが強いベースラインよりも優れた性能を得られ,翻訳品質と収束速度の両立を人間設計のカリキュラムで訓練したモデルが得られた。

関連論文リスト

• TasTe: Teaching Large Language Models to Translate through Self-Reflection [82.83958470745381]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて顕著な性能を示した。 本稿では,自己回帰を通した翻訳を行うTasTeフレームワークを提案する。 WMT22ベンチマークにおける4つの言語方向の評価結果から,既存の手法と比較して,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-06-12T17:21:21Z)
• Active Learning for Neural Machine Translation [0.0]
  NMTツールキットのJoey NMTにActive Learningと呼ばれるテクニックを組み込んで、低リソース言語翻訳の十分な精度と堅牢な予測を行った。 この研究は、トランスフォーマーベースのNMTシステム、ベースラインモデル(BM)、フルトレーニングモデル(FTM)、アクティブラーニング最小信頼ベースモデル(ALLCM)、アクティブラーニングマージンサンプリングベースモデル(ALMSM)を用いて、英語をヒンディー語に翻訳する。
  論文  参考訳（メタデータ） (2022-12-30T17:04:01Z)
• Non-Parametric Online Learning from Human Feedback for Neural Machine Translation [54.96594148572804]
  本稿では,人間のフィードバックによるオンライン学習の課題について検討する。 従来手法では、高品質な性能を達成するために、オンラインモデル更新や翻訳メモリネットワークの追加が必要であった。 モデル構造を変更することなく、新しい非パラメトリックオンライン学習手法を提案する。
  論文  参考訳（メタデータ） (2021-09-23T04:26:15Z)
• Language Modeling, Lexical Translation, Reordering: The Training Process of NMT through the Lens of Classical SMT [64.1841519527504]
  ニューラルマシン翻訳は、翻訳プロセス全体をモデル化するために、単一のニューラルネットワークを使用する。 ニューラルネットワーク翻訳はデファクトスタンダードであるにもかかわらず、NMTモデルがトレーニングの過程でどのように異なる能力を獲得するのかは、まだ明らかになっていない。
  論文  参考訳（メタデータ） (2021-09-03T09:38:50Z)
• Self-supervised and Supervised Joint Training for Resource-rich Machine Translation [30.502625878505732]
  テキスト表現の自己教師付き事前学習が低リソースニューラルネットワーク翻訳(NMT)に成功している 我々は,NMTモデルを最適化するために,自己教師付き学習と教師付き学習を組み合わせた共同学習手法である$F$-XEnDecを提案する。
  論文  参考訳（メタデータ） (2021-06-08T02:35:40Z)
• Self-Guided Curriculum Learning for Neural Machine Translation [25.870500301724128]
  ニューラルマシン翻訳(NMT)モデルの学習を促進するための自己指導型カリキュラム戦略を提案する。 我々のアプローチは、強力なベースライン変換器に対する変換性能を一貫して改善することができる。
  論文  参考訳（メタデータ） (2021-05-10T16:12:14Z)
• Exploring Fine-tuning Techniques for Pre-trained Cross-lingual Models via Continual Learning [74.25168207651376]
  訓練済みの言語モデルから下流の言語間タスクへの微調整は、有望な結果を示している。 ダウンストリームタスクに微調整する場合、継続学習を活用して、事前学習したモデルの言語間能力を維持する。 提案手法は、ゼロショット言語間タグ付けや名前付きエンティティ認識タスクにおいて、他の微調整ベースラインよりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2020-04-29T14:07:18Z)
• Self-Induced Curriculum Learning in Self-Supervised Neural Machine Translation [20.718093208111547]
  SSNMTは、同等の(並列ではなく)コーパスから適切なトレーニングデータを特定し、選択することを学ぶ。 本研究では,SSNMTモデルがトレーニング中に行うサンプリング選択について,詳細な分析を行う。 我々は,SSNMTが高校生に適したウィキペディアデータから抽出および学習を始めたことを,Gunning-Fog Readability indexの観点から示す。
  論文  参考訳（メタデータ） (2020-04-07T06:45:45Z)
• Learning to Multi-Task Learn for Better Neural Machine Translation [53.06405021125476]
  マルチタスク学習は、言語関連バイアスをニューラルネットワーク翻訳モデルに注入するエレガントなアプローチである。 本稿では,学習スケジュールの学習,マルチタスク学習のための新しいフレームワークを提案する。 実験の結果、自動学習したトレーニングスケジューラがベストと競い合っており、最大1.1BLEUスコアが向上している。
  論文  参考訳（メタデータ） (2020-01-10T03:12:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。