論文の概要: Learning Confidence for Transformer-based Neural Machine Translation

• arxiv url: http://arxiv.org/abs/2203.11413v1
• Date: Tue, 22 Mar 2022 01:51:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-24 07:15:31.383596
• Title: Learning Confidence for Transformer-based Neural Machine Translation
• Title（参考訳）: トランスフォーマリン機械翻訳における学習信頼度
• Authors: Yu Lu, Jiali Zeng, Jiajun Zhang, Shuangzhi Wu and Mu Li
• Abstract要約: 本稿では,ニューラルネットワーク翻訳(NMT)モデルのトレーニングと協調して,教師なしの信頼度推定学習を提案する。 我々は、NMTモデルが正しい予測を行うために必要なヒントの数として、信頼性を説明し、より多くのヒントは信頼性の低いことを示す。 学習された信頼度推定は文・単語レベルの品質評価タスクにおいて高い精度が得られることを示す。
• 参考スコア（独自算出の注目度）: 38.679505127679846
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Confidence estimation aims to quantify the confidence of the model prediction, providing an expectation of success. A well-calibrated confidence estimate enables accurate failure prediction and proper risk measurement when given noisy samples and out-of-distribution data in real-world settings. However, this task remains a severe challenge for neural machine translation (NMT), where probabilities from softmax distribution fail to describe when the model is probably mistaken. To address this problem, we propose an unsupervised confidence estimate learning jointly with the training of the NMT model. We explain confidence as how many hints the NMT model needs to make a correct prediction, and more hints indicate low confidence. Specifically, the NMT model is given the option to ask for hints to improve translation accuracy at the cost of some slight penalty. Then, we approximate their level of confidence by counting the number of hints the model uses. We demonstrate that our learned confidence estimate achieves high accuracy on extensive sentence/word-level quality estimation tasks. Analytical results verify that our confidence estimate can correctly assess underlying risk in two real-world scenarios: (1) discovering noisy samples and (2) detecting out-of-domain data. We further propose a novel confidence-based instance-specific label smoothing approach based on our learned confidence estimate, which outperforms standard label smoothing.
• Abstract（参考訳）: 信頼度推定は、モデル予測の信頼性を定量化し、成功の期待を提供する。 適切に調整された信頼度推定は、実環境においてノイズのあるサンプルと分散データの与えられた場合に、正確な故障予測と適切なリスク測定を可能にする。 しかし、このタスクは神経機械翻訳(NMT)にとって深刻な課題であり、ソフトマックス分布の確率がモデルが誤っていることを説明できない。 この問題を解決するために,NMTモデルのトレーニングと協調して教師なし信頼度推定学習を提案する。 我々は、NMTモデルが正しい予測を行うために必要なヒントの数として、信頼性を説明し、より多くのヒントは信頼性の低いことを示す。 具体的には、NMTモデルには、わずかなペナルティを犠牲にして翻訳精度を向上させるヒントを求めるオプションが与えられる。 次に,モデルが使用するヒントの数を数えることで,信頼度レベルを近似する。 学習信頼度推定は,文/単語レベルの品質推定タスクにおいて高い精度が得られることを示す。 分析結果は,(1)ノイズのあるサンプルの発見,(2)ドメイン外データの検出の2つのシナリオにおいて,信頼度推定が基礎となるリスクを正しく評価できることを確認した。 さらに,学習された信頼度推定に基づいて,新しい信頼度に基づくインスタンス固有ラベル平滑化手法を提案する。

関連論文リスト

• Confidence Aware Learning for Reliable Face Anti-spoofing [52.23271636362843]
  本稿では,その能力境界を意識した信頼認識顔アンチスプーフィングモデルを提案する。 各サンプルの予測中にその信頼性を推定する。 実験の結果,提案したCA-FASは予測精度の低いサンプルを効果的に認識できることがわかった。
  論文  参考訳（メタデータ） (2024-11-02T14:29:02Z)
• Error-Driven Uncertainty Aware Training [7.702016079410588]
  Error-Driven Uncertainty Aware Trainingは、ニューラル分類器が不確実性を正確に推定する能力を高めることを目的としている。 EUATアプローチは、モデルのトレーニングフェーズ中に、トレーニング例が正しく予測されているか、あるいは正しく予測されているかによって、2つの損失関数を選択的に使用することによって機能する。 画像認識領域における多様なニューラルモデルとデータセットを用いてEUATを評価する。
  論文  参考訳（メタデータ） (2024-05-02T11:48:14Z)
• Revisiting Confidence Estimation: Towards Reliable Failure Prediction [53.79160907725975]
  多くの信頼度推定法は誤分類誤りを検出するのに有害である。 本稿では, 最先端の故障予測性能を示す平坦な最小値を求めることにより, 信頼性ギャップを拡大することを提案する。
  論文  参考訳（メタデータ） (2024-03-05T11:44:14Z)
• Confidence-Calibrated Face and Kinship Verification [8.570969129199467]
  検証モデルにより、類似度スコアを任意の顔対に対する信頼スコアに変換することができる効果的な信頼度尺度を導入する。 また,実装が容易で,既存の検証モデルにも容易に適用可能な,信頼性校正アプローチであるAngular Scaling(ASC)を提案する。 我々の知識を最大限に活用するために、我々の研究は、現代の顔と親族関係の検証タスクに対する、初めての包括的信頼度校正ソリューションを提示した。
  論文  参考訳（メタデータ） (2022-10-25T10:43:46Z)
• Reliability-Aware Prediction via Uncertainty Learning for Person Image Retrieval [51.83967175585896]
  UALは、データ不確実性とモデル不確実性を同時に考慮し、信頼性に配慮した予測を提供することを目的としている。 データ不確実性はサンプル固有のノイズを捕捉する」一方、モデル不確実性はサンプルの予測に対するモデルの信頼を表現している。
  論文  参考訳（メタデータ） (2022-10-24T17:53:20Z)
• MACEst: The reliable and trustworthy Model Agnostic Confidence Estimator [0.17188280334580192]
  我々は、標準的な機械学習ポイント予測アルゴリズムに基づく信頼度推定は、基本的に欠陥があると主張している。 MACEstは信頼性と信頼性の高い信頼度推定を提供するモデル非依存信頼度推定器である。
  論文  参考訳（メタデータ） (2021-09-02T14:34:06Z)
• Harnessing Adversarial Distances to Discover High-Confidence Errors [0.0]
  モデル信頼度から予測されるよりも高いレートで誤りを発見する問題について検討する。 本稿では, 対向的摂動によって導かれる, クエリ効率が高く, 新規な探索手法を提案する。
  論文  参考訳（メタデータ） (2020-06-29T13:44:16Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)
• Binary Classification from Positive Data with Skewed Confidence [85.18941440826309]
  肯定的信頼度(Pconf)分類は、有望な弱教師付き学習法である。 実際には、信頼はアノテーションプロセスで生じるバイアスによって歪められることがある。 本稿では、スキュード信頼度のパラメータ化モデルを導入し、ハイパーパラメータを選択する方法を提案する。
  論文  参考訳（メタデータ） (2020-01-29T00:04:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。