論文の概要: BERTTune: Fine-Tuning Neural Machine Translation with BERTScore

• arxiv url: http://arxiv.org/abs/2106.02208v1
• Date: Fri, 4 Jun 2021 02:13:59 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-07 15:10:36.476374
• Title: BERTTune: Fine-Tuning Neural Machine Translation with BERTScore
• Title（参考訳）: BERTTune:BERTScoreによる微細チューニングニューラルマシン翻訳
• Authors: Inigo Jauregi Unanue, Jacob Parnell, Massimo Piccardi
• Abstract要約: 本稿では,最近提案したBERTScore評価基準に基づいて,新しい学習目標を用いた微調整ニューラルマシン翻訳モデルを提案する。 BERTScoreは、n-gramベースのメトリクスの典型的な制限を克服するコンテキスト埋め込みに基づくスコアリング関数である。 4つ以上の多様な言語ペアの実験は、BLEUスコアの最大0.58pp (3.28%)、強いベースラインを微調整する際のBERTScoreの最大0.76pp (0.98%)の改善を達成した。
• 参考スコア（独自算出の注目度）: 7.0471949371778795
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural machine translation models are often biased toward the limited translation references seen during training. To amend this form of overfitting, in this paper we propose fine-tuning the models with a novel training objective based on the recently-proposed BERTScore evaluation metric. BERTScore is a scoring function based on contextual embeddings that overcomes the typical limitations of n-gram-based metrics (e.g. synonyms, paraphrases), allowing translations that are different from the references, yet close in the contextual embedding space, to be treated as substantially correct. To be able to use BERTScore as a training objective, we propose three approaches for generating soft predictions, allowing the network to remain completely differentiable end-to-end. Experiments carried out over four, diverse language pairs have achieved improvements of up to 0.58 pp (3.28%) in BLEU score and up to 0.76 pp (0.98%) in BERTScore (F_BERT) when fine-tuning a strong baseline.
• Abstract（参考訳）: ニューラルマシン翻訳モデルは、トレーニング中に見られる限られた翻訳基準に偏っていることが多い。 本稿では,最近提案されたBERTScore評価基準に基づいて,モデルに新たな学習目標を付与した微調整を提案する。 BERTScoreは、n-gramベースのメトリクス(例えば、)の典型的な制限を克服するコンテキスト埋め込みに基づくスコアリング関数である。 同義語、パラフレーズ) 参照とは異なる翻訳が可能で、文脈的な埋め込み空間では近いが、実質的に正しいものとして扱われる。 そこで本研究では,BERTScoreをトレーニング目的として使用するために,ソフトな予測を生成するための3つのアプローチを提案する。 4つの多様な言語ペアの実験は、BLEUスコアで最大0.58 pp (3.28%)、強いベースラインを微調整すると最大0.76 pp (0.98%)の改善を達成した。

関連論文リスト

• Machine Translation for Ge'ez Language [0.0]
  Ge'ezのような低リソース言語の機械翻訳は、語彙外単語、ドメインミスマッチ、ラベル付きトレーニングデータの欠如といった課題に直面している。 言語関連性に基づく多言語ニューラルマシン翻訳(MNMT)モデルを開発した。 また,最新のLCMであるGPT-3.5を用いて,ファジィマッチングを用いた数ショット翻訳実験を行った。
  論文  参考訳（メタデータ） (2023-11-24T14:55:23Z)
• Towards Multiple References Era -- Addressing Data Leakage and Limited Reference Diversity in NLG Evaluation [55.92852268168816]
  BLEUやchrFのようなN-gramマッチングに基づく評価指標は、自然言語生成(NLG)タスクで広く利用されている。 近年の研究では、これらのマッチングベースの指標と人間の評価との間には弱い相関関係が示されている。 本稿では,これらの指標と人的評価の整合性を高めるために,テキストマルチプル参照を利用することを提案する。
  論文  参考訳（メタデータ） (2023-08-06T14:49:26Z)
• Toward Human-Like Evaluation for Natural Language Generation with Error Analysis [93.34894810865364]
  最近の研究では、大きなエラー(例えば、誤訳されたトークン)と小さなエラーの両方を考慮すると、高品質な人間の判断が得られることが示されている。 これにより、自動エラー解析によって評価指標(人間のような評価)の最終目標にアプローチするインスピレーションがもたらされる。 BARTScoreは人為的なエラー解析戦略、すなわちBARTScore++を取り入れることでBARTScoreを強化します。
  論文  参考訳（メタデータ） (2022-12-20T11:36:22Z)
• Non-Parametric Domain Adaptation for End-to-End Speech Translation [72.37869362559212]
  E2E-ST(End-to-End Speech Translation)は、エラー伝播の低減、レイテンシの低減、パラメータの削減などにより注目されている。 本稿では,E2E-STシステムのドメイン適応を実現するために,ドメイン固有のテキスト翻訳コーパスを活用する新しい非パラメトリック手法を提案する。
  論文  参考訳（メタデータ） (2022-05-23T11:41:02Z)
• Non-Autoregressive Neural Machine Translation: A Call for Clarity [3.1447111126465]
  我々は、非自己回帰的翻訳モデルを改善するために提案されたいくつかの手法を再検討する。 我々は,長文予測やCTCに基づくアーキテクチャ変種を用いて,強力なベースラインを確立するための新たな洞察を提供する。 4つの翻訳タスクに対してsareBLEUを用いて,標準化されたBLEU,chrF++,TERスコアをコントリビュートする。
  論文  参考訳（メタデータ） (2022-05-21T12:15:22Z)
• A new approach to calculating BERTScore for automatic assessment of translation quality [0.0]
  本研究は,BERTScore測定値の文レベルにおける翻訳品質評価への適用性に焦点をあてる。 実験は、事前訓練された多言語BERTと、一対のモノリンガルBERTモデルを用いて行われた。 このような変換がミスマッチの防止に有効であることを実証し,マルチ言語モデルの埋め込みを用いた場合よりも,このアプローチの方が優れた結果が得られることを示した。
  論文  参考訳（メタデータ） (2022-03-10T19:25:16Z)
• DEEP: DEnoising Entity Pre-training for Neural Machine Translation [123.6686940355937]
  機械翻訳モデルは通常、トレーニングコーパスで稀な名前付きエンティティの翻訳を貧弱に生成することが示されている。 文中の名前付きエンティティ翻訳精度を向上させるために,大量のモノリンガルデータと知識ベースを利用するDenoising Entity Pre-training法であるDEEPを提案する。
  論文  参考訳（メタデータ） (2021-11-14T17:28:09Z)
• Rejuvenating Low-Frequency Words: Making the Most of Parallel Data in Non-Autoregressive Translation [98.11249019844281]
  知識蒸留(KD)は、非自己回帰翻訳(NAT)モデルを訓練するための合成データを構築するために一般的に用いられる。 低周波対象語に対するアライメントを向上するために,逆KDを提案する。 その結果,提案手法は翻訳品質を大幅に向上させることができることがわかった。
  論文  参考訳（メタデータ） (2021-06-02T02:41:40Z)
• Few-shot learning through contextual data augmentation [74.20290390065475]
  機械翻訳モデルは、時間とともに性能を維持するために新しいデータに適応する必要がある。 一つの例から5つの例への適応が可能であることを示す。 本モデルでは,平均313個の並列例でトレーニングした基準システムよりも精度がよいことを示す。
  論文  参考訳（メタデータ） (2021-03-31T09:05:43Z)
• Pronoun-Targeted Fine-tuning for NMT with Hybrid Losses [6.596002578395152]
  我々は,訓練された機械翻訳モデルの微調整に使用する条件付き生成-識別ハイブリッド損失のクラスを導入する。 我々は、追加データを用いることなく、文レベルと文脈モデルの両方のモデル性能を改善する。 文レベルモデルではWMT14とIWSLT13の両テストセットで0.5BLEUの改善が見られた。 我々の文脈モデルは WMT14 De-En テストセットにおいて 31.81 から 32 BLEU に改善され、IWSLT13 De-En では 32.10 から 33.13 に改善された。
  論文  参考訳（メタデータ） (2020-10-15T10:11:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。