論文の概要: Enhancing Supervised Learning with Contrastive Markings in Neural Machine Translation Training

• arxiv url: http://arxiv.org/abs/2307.08416v1
• Date: Mon, 17 Jul 2023 11:56:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-18 13:34:34.679227
• Title: Enhancing Supervised Learning with Contrastive Markings in Neural Machine Translation Training
• Title（参考訳）: 神経機械翻訳訓練における対比マーキングによる教師付き学習の強化
• Authors: Nathaniel Berger, Miriam Exel, Matthias Huck and Stefan Riezler
• Abstract要約: ニューラルネットワーク翻訳(NMT)における指導的学習は、典型的には教師の強制パラダイムに従う。 コントラッシブマーキング目的による標準最大推定の簡易拡張を提案する。 コントラストマーキングによるトレーニングは教師付き学習の上に改善をもたらすことを示す。
• 参考スコア（独自算出の注目度）: 10.498938255717066
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Supervised learning in Neural Machine Translation (NMT) typically follows a teacher forcing paradigm where reference tokens constitute the conditioning context in the model's prediction, instead of its own previous predictions. In order to alleviate this lack of exploration in the space of translations, we present a simple extension of standard maximum likelihood estimation by a contrastive marking objective. The additional training signals are extracted automatically from reference translations by comparing the system hypothesis against the reference, and used for up/down-weighting correct/incorrect tokens. The proposed new training procedure requires one additional translation pass over the training set per epoch, and does not alter the standard inference setup. We show that training with contrastive markings yields improvements on top of supervised learning, and is especially useful when learning from postedits where contrastive markings indicate human error corrections to the original hypotheses. Code is publicly released.
• Abstract（参考訳）: ニューラルマシン翻訳(nmt:supervised learning in neural machine translation)は、通常、モデルの予測において、参照トークンが条件付きコンテキストを構成する教師強制パラダイムに従っている。 この翻訳空間における探索の欠如を緩和するために、対照マーキングの目的による標準最大度推定の簡単な拡張を提案する。 追加のトレーニング信号は、システム仮説と基準とを比較して参照翻訳から自動的に抽出され、アップ/ダウン重み付けの正誤トークンに使用される。 提案された新しいトレーニング手順では、1エポックあたりのトレーニングセットに1回追加の翻訳パスが必要となり、標準の推論設定は変更されない。 コントラストマーキングによるトレーニングは教師付き学習の上に改善をもたらすことを示し、コントラストマーキングが人間の誤り訂正を示すポストットから学習する際には特に有用である。 コードは公開されている。

関連論文リスト

• Context-Parametric Inversion: Why Instruction Finetuning May Not Actually Improve Context Reliance [68.56701216210617]
  In-principleでは、モデルが命令の微調整後にユーザコンテキストに適応することを期待する。 インストラクションチューニング中、知識の衝突によるコンテキスト依存は、当初期待通りに増大するが、徐々に減少する。
  論文  参考訳（メタデータ） (2024-10-14T17:57:09Z)
• Dynamic Scheduled Sampling with Imitation Loss for Neural Text Generation [10.306522595622651]
  トレーニング時間精度のみに基づいてスケジュールを維持するDySI(Dynamic Scheduled Sampling with Imitation Loss)を導入する。 DySIは標準的な機械翻訳ベンチマークの顕著な改善を実現し、他のテキスト生成モデルの堅牢性を大幅に改善した。
  論文  参考訳（メタデータ） (2023-01-31T16:41:06Z)
• Debiased Fine-Tuning for Vision-language Models by Prompt Regularization [50.41984119504716]
  本稿では,Prompt Regularization(ProReg)と呼ばれる下流タスクにおける大規模視覚事前訓練モデルの微調整のための新しいパラダイムを提案する。 ProRegは、事前訓練されたモデルに微調整を正規化するよう促すことで予測を使用する。 本稿では,従来の微調整,ゼロショットプロンプト,プロンプトチューニング,その他の最先端手法と比較して,ProRegの性能が一貫して高いことを示す。
  論文  参考訳（メタデータ） (2023-01-29T11:53:55Z)
• Understanding and Improving Sequence-to-Sequence Pretraining for Neural Machine Translation [48.50842995206353]
  本研究は,Seq2Seqプレトレーニングと従来のエンコーダによるNMTの事前トレーニングとの主な違いである,共同事前学習デコーダの影響について検討する。 我々は、ドメインと目的の相違を緩和するために、ドメイン内の事前訓練と入力適応という、シンプルで効果的な戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-16T07:36:28Z)
• Mitigating Catastrophic Forgetting in Scheduled Sampling with Elastic Weight Consolidation in Neural Machine Translation [15.581515781839656]
  最大推定値で訓練された自己回帰モデルは、露出バイアスに悩まされる。 露光バイアスの軽減と出力品質の維持のトレードオフとして, 弾性重み強化(Elastic Weight Consolidation)を提案する。 2つのIWSLT'14翻訳タスクの実験は、我々のアプローチが破滅的な忘れを軽減し、BLEUを大幅に改善することを示した。
  論文  参考訳（メタデータ） (2021-09-13T20:37:58Z)
• Exploring Unsupervised Pretraining Objectives for Machine Translation [99.5441395624651]
  教師なし言語間事前訓練は、ニューラルマシン翻訳(NMT)の強力な結果を得た ほとんどのアプローチは、入力の一部をマスキングしてデコーダで再構成することで、シーケンス・ツー・シーケンスアーキテクチャにマスク付き言語モデリング(MLM)を適用する。 マスキングと、実際の(完全な)文に似た入力を生成する代替目的を、文脈に基づいて単語を並べ替えて置き換えることにより比較する。
  論文  参考訳（メタデータ） (2021-06-10T10:18:23Z)
• Improving Text Generation with Student-Forcing Optimal Transport [122.11881937642401]
  トレーニングモードとテストモードで生成されたシーケンスに最適なトランスポート(OT)を提案する。 テキストシーケンスの構造的および文脈的情報に基づいて、OT学習を改善するための拡張も提案されている。 提案手法の有効性は,機械翻訳,テキスト要約,テキスト生成タスクにおいて検証される。
  論文  参考訳（メタデータ） (2020-10-12T19:42:25Z)
• Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning [61.32992639292889]
  事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。 そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。 提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
  論文  参考訳（メタデータ） (2020-04-29T10:54:40Z)
• Correct Me If You Can: Learning from Error Corrections and Markings [20.808561880051148]
  本稿では、アノテーションのコストと機械学習性に関する最初のユーザスタディを、あまり一般的でないアノテーション方式のエラーマーキングに対して提示する。 我々は、TEDの英語からドイツ語への翻訳における誤りマーキングによって、正確なクレジットの割り当てが可能であり、修正や編集よりも人的労力が大幅に少ないことを示す。
  論文  参考訳（メタデータ） (2020-04-23T15:17:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。