論文の概要: Evaluating Machine Translation Quality with Conformal Predictive
Distributions
- arxiv url: http://arxiv.org/abs/2306.01549v1
- Date: Fri, 2 Jun 2023 13:56:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-05 14:52:13.122769
- Title: Evaluating Machine Translation Quality with Conformal Predictive
Distributions
- Title(参考訳): 共形予測分布を用いた機械翻訳品質の評価
- Authors: Patrizio Giovannotti
- Abstract要約: 本稿では,機械翻訳における不確実性を評価するための新しい手法を提案する。
本手法は,6つの異なる言語対に対して,カバレッジとシャープネスの点で,単純だが効果的なベースラインよりも優れている。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper presents a new approach for assessing uncertainty in machine
translation by simultaneously evaluating translation quality and providing a
reliable confidence score. Our approach utilizes conformal predictive
distributions to produce prediction intervals with guaranteed coverage, meaning
that for any given significance level $\epsilon$, we can expect the true
quality score of a translation to fall out of the interval at a rate of
$1-\epsilon$. In this paper, we demonstrate how our method outperforms a
simple, but effective baseline on six different language pairs in terms of
coverage and sharpness. Furthermore, we validate that our approach requires the
data exchangeability assumption to hold for optimal performance.
- Abstract(参考訳): 本稿では,機械翻訳における不確実性を評価するための新しい手法を提案する。
提案手法では, コンフォメーション予測分布を用いて, カバー範囲が保証された予測区間を生成する。つまり, 任意の意味レベル$\epsilon$に対して, 翻訳の真の品質スコアが1-\epsilon$のレートで区間から外れることが期待できる。
本稿では,この手法が6つの異なる言語ペアにおいて,カバレッジとシャープネスの点で,単純かつ効果的なベースラインに勝ることを示す。
さらに,本手法では最適な性能を得るためにデータ交換可能性の仮定が必要であることを検証する。
関連論文リスト
- Non-Exchangeable Conformal Language Generation with Nearest Neighbors [12.790082627386482]
非交換性共形核サンプリングは、近接する隣人に基づく生成への共形予測フレームワークの新たな拡張である。
本手法は,任意のモデルに対して,余分なトレーニングを伴わずにポストホックで使用することができ,統計的保証を備えたトークンレベルの校正予測セットを提供する。
論文 参考訳(メタデータ) (2024-02-01T16:04:04Z) - Equal Opportunity of Coverage in Fair Regression [50.76908018786335]
我々は、予測の不確実性の下で公正な機械学習(ML)を研究し、信頼性と信頼性のある意思決定を可能にする。
本研究は,(1)類似した結果の異なる集団に対するカバー率が近いこと,(2)人口全体のカバー率が一定水準にあること,の2つの特性を達成することを目的としたカバーの平等機会(EOC)を提案する。
論文 参考訳(メタデータ) (2023-11-03T21:19:59Z) - Binary Classification with Confidence Difference [100.08818204756093]
本稿では,信頼性差分法 (ConfDiff) という,弱教師付き二項分類問題について考察する。
本稿では,この問題に対処するためのリスク一貫性のあるアプローチを提案し,推定誤差が最適収束率と一致することを示す。
また,整合性や収束率も証明されたオーバーフィッティング問題を緩和するためのリスク補正手法も導入する。
論文 参考訳(メタデータ) (2023-10-09T11:44:50Z) - Conformalizing Machine Translation Evaluation [9.89901717499058]
近年,機械翻訳評価のための不確実性推定手法が提案されている。
モデルの不確実性を過小評価する傾向があり、結果として、基礎的な真実をカバーしない誤った信頼区間をしばしば生み出す。
本稿では,共形予測(conformal prediction)の代替として,理論的に確立されたカバレッジ保証付き信頼区間を求める分布自由化手法を提案する。
論文 参考訳(メタデータ) (2023-06-09T19:36:18Z) - Conformal Prediction for Federated Uncertainty Quantification Under
Label Shift [57.54977668978613]
Federated Learning(FL)は、多くのクライアントが協力してモデルをトレーニングする機械学習フレームワークである。
我々は、量子回帰に基づく新しいコンフォメーション予測法を開発し、プライバシー制約を考慮した。
論文 参考訳(メタデータ) (2023-06-08T11:54:58Z) - Understanding and Mitigating the Uncertainty in Zero-Shot Translation [66.49354195238789]
ゼロショット翻訳の不確実性の観点から、オフターゲット問題を理解し、緩和することを目的としている。
翻訳出力とモデル信頼度を慎重に調べることで、ターゲット外問題の原因となる2つの不確実性を特定する。
そこで本研究では,モデルトレーニングのためのトレーニングデータを認知するための2つの軽量かつ補完的なアプローチを提案し,推論におけるオフターゲット言語の語彙を隠蔽する。
論文 参考訳(メタデータ) (2022-05-20T10:29:46Z) - Predictive Inference with Weak Supervision [3.1925030748447747]
コンフォメーション予測フレームワークを開発することにより,部分監督と検証のギャップを埋める。
我々は、新しいカバレッジと予測妥当性の概念を導入し、いくつかのアプリケーションシナリオを開発します。
我々は、新しいカバレッジ定義がより厳密で情報的な(しかし有効な)信頼セットを可能にするという仮説を裏付ける。
論文 参考訳(メタデータ) (2022-01-20T17:26:52Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳(メタデータ) (2022-01-11T23:01:12Z) - Measuring Uncertainty in Translation Quality Evaluation (TQE) [62.997667081978825]
本研究は,翻訳テキストのサンプルサイズに応じて,信頼区間を精度良く推定する動機づけた研究を行う。
我々はベルヌーイ統計分布モデリング (BSDM) とモンテカルロサンプリング分析 (MCSA) の手法を適用した。
論文 参考訳(メタデータ) (2021-11-15T12:09:08Z) - Robust Validation: Confident Predictions Even When Distributions Shift [24.211408049646153]
本稿では,モデルが点予測ではなく,その予測に対して不確実な推定を行うような,頑健な予測推論の手順について述べる。
本稿では, トレーニング集団の周囲に$f$-divergence のボールを用いて, 任意のテスト分布に対して適切なカバレッジレベルを与える予測セットを生成する手法を提案する。
私たちの方法論の重要な構成要素は、将来のデータシフトの量を見積り、それに対する堅牢性を構築することです。
論文 参考訳(メタデータ) (2020-08-10T17:09:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。