論文の概要: Learning Confidence for Transformer-based Neural Machine Translation
- arxiv url: http://arxiv.org/abs/2203.11413v1
- Date: Tue, 22 Mar 2022 01:51:58 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-24 07:15:31.383596
- Title: Learning Confidence for Transformer-based Neural Machine Translation
- Title(参考訳): トランスフォーマリン機械翻訳における学習信頼度
- Authors: Yu Lu, Jiali Zeng, Jiajun Zhang, Shuangzhi Wu and Mu Li
- Abstract要約: 本稿では,ニューラルネットワーク翻訳(NMT)モデルのトレーニングと協調して,教師なしの信頼度推定学習を提案する。
我々は、NMTモデルが正しい予測を行うために必要なヒントの数として、信頼性を説明し、より多くのヒントは信頼性の低いことを示す。
学習された信頼度推定は文・単語レベルの品質評価タスクにおいて高い精度が得られることを示す。
- 参考スコア(独自算出の注目度): 38.679505127679846
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Confidence estimation aims to quantify the confidence of the model
prediction, providing an expectation of success. A well-calibrated confidence
estimate enables accurate failure prediction and proper risk measurement when
given noisy samples and out-of-distribution data in real-world settings.
However, this task remains a severe challenge for neural machine translation
(NMT), where probabilities from softmax distribution fail to describe when the
model is probably mistaken. To address this problem, we propose an unsupervised
confidence estimate learning jointly with the training of the NMT model. We
explain confidence as how many hints the NMT model needs to make a correct
prediction, and more hints indicate low confidence. Specifically, the NMT model
is given the option to ask for hints to improve translation accuracy at the
cost of some slight penalty. Then, we approximate their level of confidence by
counting the number of hints the model uses. We demonstrate that our learned
confidence estimate achieves high accuracy on extensive sentence/word-level
quality estimation tasks. Analytical results verify that our confidence
estimate can correctly assess underlying risk in two real-world scenarios: (1)
discovering noisy samples and (2) detecting out-of-domain data. We further
propose a novel confidence-based instance-specific label smoothing approach
based on our learned confidence estimate, which outperforms standard label
smoothing.
- Abstract(参考訳): 信頼度推定は、モデル予測の信頼性を定量化し、成功の期待を提供する。
適切に調整された信頼度推定は、実環境においてノイズのあるサンプルと分散データの与えられた場合に、正確な故障予測と適切なリスク測定を可能にする。
しかし、このタスクは神経機械翻訳(NMT)にとって深刻な課題であり、ソフトマックス分布の確率がモデルが誤っていることを説明できない。
この問題を解決するために,NMTモデルのトレーニングと協調して教師なし信頼度推定学習を提案する。
我々は、NMTモデルが正しい予測を行うために必要なヒントの数として、信頼性を説明し、より多くのヒントは信頼性の低いことを示す。
具体的には、NMTモデルには、わずかなペナルティを犠牲にして翻訳精度を向上させるヒントを求めるオプションが与えられる。
次に,モデルが使用するヒントの数を数えることで,信頼度レベルを近似する。
学習信頼度推定は,文/単語レベルの品質推定タスクにおいて高い精度が得られることを示す。
分析結果は,(1)ノイズのあるサンプルの発見,(2)ドメイン外データの検出の2つのシナリオにおいて,信頼度推定が基礎となるリスクを正しく評価できることを確認した。
さらに,学習された信頼度推定に基づいて,新しい信頼度に基づくインスタンス固有ラベル平滑化手法を提案する。
関連論文リスト
- Revisiting Confidence Estimation: Towards Reliable Failure Prediction [53.79160907725975]
多くの信頼度推定法は誤分類誤りを検出するのに有害である。
本稿では, 最先端の故障予測性能を示す平坦な最小値を求めることにより, 信頼性ギャップを拡大することを提案する。
論文 参考訳(メタデータ) (2024-03-05T11:44:14Z) - A Trustworthiness Score to Evaluate DNN Predictions [1.5484595752241122]
ディープニューラルネットワークの予測が信頼できるか疑わしいかを知るためには、運用中の安全性が不可欠である。
信頼性スコア(TS: Trustworthiness score)は、予測に対する信頼性を提供するための、より透明で効果的な方法を提供する指標である。
人検出にYOLOv5を用いたケーススタディを行い,TSとSSの手法と使用法を実証した。
論文 参考訳(メタデータ) (2023-01-21T00:48:18Z) - Confidence-Calibrated Face and Kinship Verification [8.570969129199467]
検証モデルにより、類似度スコアを任意の顔対に対する信頼スコアに変換することができる効果的な信頼度尺度を導入する。
また,実装が容易で,既存の検証モデルにも容易に適用可能な,信頼性校正アプローチであるAngular Scaling(ASC)を提案する。
我々の知識を最大限に活用するために、我々の研究は、現代の顔と親族関係の検証タスクに対する、初めての包括的信頼度校正ソリューションを提示した。
論文 参考訳(メタデータ) (2022-10-25T10:43:46Z) - Reliability-Aware Prediction via Uncertainty Learning for Person Image
Retrieval [51.83967175585896]
UALは、データ不確実性とモデル不確実性を同時に考慮し、信頼性に配慮した予測を提供することを目的としている。
データ不確実性はサンプル固有のノイズを捕捉する」一方、モデル不確実性はサンプルの予測に対するモデルの信頼を表現している。
論文 参考訳(メタデータ) (2022-10-24T17:53:20Z) - MACEst: The reliable and trustworthy Model Agnostic Confidence Estimator [0.17188280334580192]
我々は、標準的な機械学習ポイント予測アルゴリズムに基づく信頼度推定は、基本的に欠陥があると主張している。
MACEstは信頼性と信頼性の高い信頼度推定を提供するモデル非依存信頼度推定器である。
論文 参考訳(メタデータ) (2021-09-02T14:34:06Z) - Harnessing Adversarial Distances to Discover High-Confidence Errors [0.0]
モデル信頼度から予測されるよりも高いレートで誤りを発見する問題について検討する。
本稿では, 対向的摂動によって導かれる, クエリ効率が高く, 新規な探索手法を提案する。
論文 参考訳(メタデータ) (2020-06-29T13:44:16Z) - Discriminative Jackknife: Quantifying Uncertainty in Deep Learning via
Higher-Order Influence Functions [121.10450359856242]
我々は、モデル損失関数の影響関数を利用して、予測信頼区間のジャックニフェ(または、アウト・ワン・アウト)推定器を構築する頻繁な手順を開発する。
1)および(2)を満たすDJは、幅広いディープラーニングモデルに適用可能であり、実装が容易であり、モデルトレーニングに干渉したり、精度を妥協したりすることなく、ポストホックな方法で適用することができる。
論文 参考訳(メタデータ) (2020-06-29T13:36:52Z) - Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。
本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。
4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文 参考訳(メタデータ) (2020-02-27T10:22:17Z) - Binary Classification from Positive Data with Skewed Confidence [85.18941440826309]
肯定的信頼度(Pconf)分類は、有望な弱教師付き学習法である。
実際には、信頼はアノテーションプロセスで生じるバイアスによって歪められることがある。
本稿では、スキュード信頼度のパラメータ化モデルを導入し、ハイパーパラメータを選択する方法を提案する。
論文 参考訳(メタデータ) (2020-01-29T00:04:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。