論文の概要: On the Inference Calibration of Neural Machine Translation
- arxiv url: http://arxiv.org/abs/2005.00963v1
- Date: Sun, 3 May 2020 02:03:56 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-07 06:33:23.780475
- Title: On the Inference Calibration of Neural Machine Translation
- Title(参考訳): ニューラルマシン翻訳の推論校正について
- Authors: Shuo Wang, Zhaopeng Tu, Shuming Shi, Yang Liu
- Abstract要約: 校正と翻訳性能と誤校正の言語特性の相関について検討した。
そこで本研究では,推論キャリブレーションと翻訳性能を両立できる新しいラベル平滑化手法を提案する。
- 参考スコア(独自算出の注目度): 54.48932804996506
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Confidence calibration, which aims to make model predictions equal to the
true correctness measures, is important for neural machine translation (NMT)
because it is able to offer useful indicators of translation errors in the
generated output. While prior studies have shown that NMT models trained with
label smoothing are well-calibrated on the ground-truth training data, we find
that miscalibration still remains a severe challenge for NMT during inference
due to the discrepancy between training and inference. By carefully designing
experiments on three language pairs, our work provides in-depth analyses of the
correlation between calibration and translation performance as well as
linguistic properties of miscalibration and reports a number of interesting
findings that might help humans better analyze, understand and improve NMT
models. Based on these observations, we further propose a new graduated label
smoothing method that can improve both inference calibration and translation
performance.
- Abstract(参考訳): モデル予測を真の正確性尺度に等しくすることを目的とした信頼度校正は、生成された出力における翻訳エラーの有用な指標を提供するため、ニューラルマシン翻訳(nmt)にとって重要である。
過去の研究では、ラベルスムースメントで訓練されたNMTモデルは、地上の訓練データから十分に校正されていることが示されているが、トレーニングと推論の相違により、推論中のNMTの誤校正は依然として深刻な課題であることがわかった。
3つの言語ペアに関する実験を慎重に設計することにより,キャリブレーションと翻訳性能の相関関係を深く分析し,ミスキャリブレーションの言語特性を報告するとともに,nmtモデルの解析,理解,改善に役立つ興味深い知見を多数報告した。
これらの観測に基づいて、推論キャリブレーションと翻訳性能の両方を改善することができる新しい累積ラベル平滑化法を提案する。
関連論文リスト
- An Empirical study of Unsupervised Neural Machine Translation: analyzing
NMT output, model's behavior and sentences' contribution [5.691028372215281]
Unsupervised Neural Machine Translation (UNMT) は、人間の翻訳された並列データがないと仮定して、NMTの結果を改善することに焦点を当てている。
私たちは、フランス語、グジャラーティ、カザフ語という3つの非常に多様な言語に焦点を合わせ、バイリンガルなNMTモデルを英語から英語に訓練し、様々なレベルの監督を行っている。
論文 参考訳(メタデータ) (2023-12-19T20:35:08Z) - Preserving Pre-trained Features Helps Calibrate Fine-tuned Language
Models [23.881825575095945]
大規模事前学習型言語モデル(PLM)は、微調整により自然言語理解(NLU)タスクに強い性能を示す。
しかし、微調整されたモデルは、特にドメイン外設定において、過度に自信過剰な予測に悩まされている。
本研究では,PLMがマスキング言語モデリングタスクにおいて,ドメインシフトの下で頑健な予測信頼度を有することを実証する。
事前学習した特徴の保存は、微調整言語モデルの校正を改善することができることを示す。
論文 参考訳(メタデータ) (2023-05-30T17:35:31Z) - SALTED: A Framework for SAlient Long-Tail Translation Error Detection [17.914521288548844]
本稿では,機械翻訳モデルの動作テストのための仕様ベースのフレームワークであるSALTEDを紹介する。
私たちのアプローチの核となるのは、ソース文とシステム出力の間のエラーをフラグする高精度検出器の開発です。
これらの検出器は,MTシステムにおける有意な長テール誤差の同定だけでなく,トレーニングデータの高精細フィルタリングにも有効であることを示す。
論文 参考訳(メタデータ) (2022-05-20T06:45:07Z) - On the Calibration of Pre-trained Language Models using Mixup Guided by
Area Under the Margin and Saliency [47.90235939359225]
モデルキャリブレーションをさらに改善する事前学習型言語モデルのための新しい混合戦略を提案する。
本手法は,ドメイン内およびドメイン外テストサンプルの強いベースラインと比較して,最小のキャリブレーション誤差を実現する。
論文 参考訳(メタデータ) (2022-03-14T23:45:08Z) - Non-Parametric Online Learning from Human Feedback for Neural Machine
Translation [54.96594148572804]
本稿では,人間のフィードバックによるオンライン学習の課題について検討する。
従来手法では、高品質な性能を達成するために、オンラインモデル更新や翻訳メモリネットワークの追加が必要であった。
モデル構造を変更することなく、新しい非パラメトリックオンライン学習手法を提案する。
論文 参考訳(メタデータ) (2021-09-23T04:26:15Z) - Improving Multilingual Translation by Representation and Gradient
Regularization [82.42760103045083]
表現レベルと勾配レベルの両方でNMTモデルを正規化するための共同手法を提案する。
提案手法は,オフターゲット翻訳の発生率の低減とゼロショット翻訳性能の向上に有効であることを示す。
論文 参考訳(メタデータ) (2021-09-10T10:52:21Z) - Alternated Training with Synthetic and Authentic Data for Neural Machine
Translation [49.35605028467887]
ニューラルマシン翻訳(NMT)のための合成および認証データを用いた交互トレーニングを提案する。
従来の研究と比較して,ノイズの多い合成データによってNMTモデルのトレーニングが妨げられるのを防止するためのガイダンスとして,認証データを導入している。
中国語・ドイツ語・英語の翻訳タスクの実験は、我々のアプローチがいくつかの強いベースラインにまたがって性能を向上させることを示している。
論文 参考訳(メタデータ) (2021-06-16T07:13:16Z) - Beyond Noise: Mitigating the Impact of Fine-grained Semantic Divergences
on Neural Machine Translation [14.645468999921961]
本研究は,トランスフォーマーモデルにおける様々な種類の細粒度セマンティックな違いの影響を解析する。
自然に発生する発散による劣化からNMTが回復するのに役立つ因子を用いた発散型NMTフレームワークを提案する。
論文 参考訳(メタデータ) (2021-05-31T16:15:35Z) - Understanding Learning Dynamics for Neural Machine Translation [53.23463279153577]
ロス・チェンジ・アロケーション (LCA)citeplan 2019-loss-change-allocation を用いてNMTの学習力学を理解することを提案する。
LCAは更新毎にデータセット全体の勾配を計算する必要があるため、NMTシナリオで実際に実施するための近似を提示する。
シミュレーション実験により, 近似計算は効率的であり, 実験により一貫した結果が得られることを示した。
論文 参考訳(メタデータ) (2020-04-05T13:32:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。