論文の概要: Better Uncertainty Quantification for Machine Translation Evaluation

• arxiv url: http://arxiv.org/abs/2204.06546v1
• Date: Wed, 13 Apr 2022 17:49:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-14 13:04:54.233102
• Title: Better Uncertainty Quantification for Machine Translation Evaluation
• Title（参考訳）: 機械翻訳評価における不確かさの定量化
• Authors: Chrysoula Zerva, Taisiya Glushkova, Ricardo Rei, Andr\'e F. T. Martins
• Abstract要約: 我々は、新しい異種回帰、発散最小化、および直接不確実性予測目標を用いてCOMETメトリックを訓練する。 実験の結果、WMT20とWMT21のメトリクスタスクデータセットが改善され、計算コストが大幅に削減された。
• 参考スコア（独自算出の注目度）: 17.36759906285316
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural-based machine translation (MT) evaluation metrics are progressing fast. However, these systems are often hard to interpret and might produce unreliable scores when human references or assessments are noisy or when data is out-of-domain. Recent work leveraged uncertainty quantification techniques such as Monte Carlo dropout and deep ensembles to provide confidence intervals, but these techniques (as we show) are limited in several ways. In this paper we investigate more powerful and efficient uncertainty predictors for MT evaluation metrics and their potential to capture aleatoric and epistemic uncertainty. To this end we train the COMET metric with new heteroscedastic regression, divergence minimization, and direct uncertainty prediction objectives. Our experiments show improved results on WMT20 and WMT21 metrics task datasets and a substantial reduction in computational costs. Moreover, they demonstrate the ability of our predictors to identify low quality references and to reveal model uncertainty due to out-of-domain data.
• Abstract（参考訳）: ニューラルベース機械翻訳(MT)評価指標は急速に進歩している。 しかしながら、これらのシステムはしばしば解釈が困難であり、人間の参照や評価がうるさい場合や、データがドメイン外である場合、信頼できないスコアを生み出す可能性がある。 最近の研究はモンテカルロのドロップアウトやディープアンサンブルのような不確実な定量化技術を活用して信頼区間を提供したが、これらの手法はいくつかの点で制限されている。 本稿では,MT評価指標のより強力で効率的な不確実性予測器と,その有効性について検討する。 この目的のために、新しい異種回帰、発散最小化、直接不確実性予測目標を用いてCOMETメトリックを訓練する。 実験の結果,WMT20 と WMT21 のメトリクスタスクデータセットが改良され,計算コストが大幅に削減された。 さらに,低品質参照を識別し,ドメイン外データによるモデル不確実性を明らかにする能力を示す。

関連論文リスト

• The Probabilistic Tsetlin Machine: A Novel Approach to Uncertainty Quantification [1.0499611180329802]
  本稿では,不確実性定量化のための堅牢で信頼性の高い,解釈可能なアプローチを実現することを目的とした,確率的テセリンマシン(PTM)フレームワークを提案する。 オリジナルのTMとは異なり、PTMは全ての節にわたって各Tsetlin Automaton(TA)の各状態に留まる確率を学習する。 推論中、TAは学習された確率分布に基づいて状態のサンプリングによって行動を決定する。
  論文  参考訳（メタデータ） (2024-10-23T13:20:42Z)
• Error-Driven Uncertainty Aware Training [7.702016079410588]
  Error-Driven Uncertainty Aware Trainingは、ニューラル分類器が不確実性を正確に推定する能力を高めることを目的としている。 EUATアプローチは、モデルのトレーニングフェーズ中に、トレーニング例が正しく予測されているか、あるいは正しく予測されているかによって、2つの損失関数を選択的に使用することによって機能する。 画像認識領域における多様なニューラルモデルとデータセットを用いてEUATを評価する。
  論文  参考訳（メタデータ） (2024-05-02T11:48:14Z)
• BLEURT Has Universal Translations: An Analysis of Automatic Metrics by Minimum Risk Training [64.37683359609308]
  本研究では,機械翻訳システムの学習指導の観点から,各種の主流および最先端の自動測定値について分析する。 BLEURT や BARTScore における普遍的逆変換の存在など,ある種の指標は堅牢性欠陥を示す。 詳細な分析では、これらのロバスト性障害の主な原因は、トレーニングデータセットにおける分布バイアスと、メートル法パラダイムの傾向である。
  論文  参考訳（メタデータ） (2023-07-06T16:59:30Z)
• Lightweight, Uncertainty-Aware Conformalized Visual Odometry [2.429910016019183]
  データ駆動型ビジュアルオドメトリー(VO)は、自律エッジロボティクスにとって重要なサブルーチンである。 昆虫スケールドローンや外科ロボットのような最先端ロボットデバイスは、VOの予測の不確実性を推定する計算的に効率的な枠組みを欠いている。 本稿では,共形推論(CI)を利用してVOの不確実な帯域を抽出する,新しい,軽量で統計的に堅牢なフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-03T20:37:55Z)
• ZigZag: Universal Sampling-free Uncertainty Estimation Through Two-Step Inference [54.17205151960878]
  汎用的でデプロイが容易なサンプリング不要のアプローチを導入します。 我々は,最先端手法と同等の信頼性のある不確実性推定を,計算コストを著しく低減した形で生成する。
  論文  参考訳（メタデータ） (2022-11-21T13:23:09Z)
• Monotonicity and Double Descent in Uncertainty Estimation with Gaussian Processes [52.92110730286403]
  限界確率はクロスバリデーションの指標を思い起こさせるべきであり、どちらもより大きな入力次元で劣化すべきである、と一般的に信じられている。 我々は,ハイパーパラメータをチューニングすることにより,入力次元と単調に改善できることを証明した。 また、クロスバリデーションの指標は、二重降下の特徴である質的に異なる挙動を示すことも証明した。
  論文  参考訳（メタデータ） (2022-10-14T08:09:33Z)
• Identifying Weaknesses in Machine Translation Metrics Through Minimum Bayes Risk Decoding: A Case Study for COMET [42.77140426679383]
  サンプルに基づく最小ベイズリスク復号法を用いて,そのような弱点を探索,定量化できることを示す。 さらに、これらのバイアスは、単に追加の合成データでトレーニングすることで完全に除去できないことを示す。
  論文  参考訳（メタデータ） (2022-02-10T17:07:32Z)
• Uncertainty-Aware Machine Translation Evaluation [0.716879432974126]
  我々は,不確実性を考慮したMT評価を導入し,予測品質の信頼性を分析した。 QT21データセットとWMT20メトリクスタスクから,複数の言語ペア間での不確実性を考慮したMT評価手法の性能を比較した。
  論文  参考訳（メタデータ） (2021-09-13T22:46:03Z)
• On the Practicality of Deterministic Epistemic Uncertainty [106.06571981780591]
  決定論的不確実性法(DUM)は,分布外データの検出において高い性能を達成する。 DUMが十分に校正されており、現実のアプリケーションにシームレスにスケールできるかどうかは不明だ。
  論文  参考訳（メタデータ） (2021-07-01T17:59:07Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• Learning to Predict Error for MRI Reconstruction [67.76632988696943]
  提案手法による予測の不確実性は予測誤差と強く相関しないことを示す。 本稿では,2段階の予測誤差の目標ラベルと大小を推定する新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-02-13T15:55:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。