Fugu-MT 論文翻訳(概要): Evaluating Machine Translation Quality with Conformal Predictive Distributions

論文の概要: Evaluating Machine Translation Quality with Conformal Predictive Distributions

arxiv url: http://arxiv.org/abs/2306.01549v1
Date: Fri, 2 Jun 2023 13:56:30 GMT
ステータス: 処理完了
システム内更新日: 2023-06-05 14:52:13.122769
Title: Evaluating Machine Translation Quality with Conformal Predictive Distributions
Title（参考訳）: 共形予測分布を用いた機械翻訳品質の評価
Authors: Patrizio Giovannotti
Abstract要約: 本稿では,機械翻訳における不確実性を評価するための新しい手法を提案する。本手法は,6つの異なる言語対に対して,カバレッジとシャープネスの点で,単純だが効果的なベースラインよりも優れている。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This paper presents a new approach for assessing uncertainty in machine translation by simultaneously evaluating translation quality and providing a reliable confidence score. Our approach utilizes conformal predictive distributions to produce prediction intervals with guaranteed coverage, meaning that for any given significance level $\epsilon$, we can expect the true quality score of a translation to fall out of the interval at a rate of $1-\epsilon$. In this paper, we demonstrate how our method outperforms a simple, but effective baseline on six different language pairs in terms of coverage and sharpness. Furthermore, we validate that our approach requires the data exchangeability assumption to hold for optimal performance.
Abstract（参考訳）: 本稿では,機械翻訳における不確実性を評価するための新しい手法を提案する。提案手法では, コンフォメーション予測分布を用いて, カバー範囲が保証された予測区間を生成する。つまり, 任意の意味レベル$\epsilon$に対して, 翻訳の真の品質スコアが1-\epsilon$のレートで区間から外れることが期待できる。本稿では,この手法が6つの異なる言語ペアにおいて,カバレッジとシャープネスの点で,単純かつ効果的なベースラインに勝ることを示す。さらに,本手法では最適な性能を得るためにデータ交換可能性の仮定が必要であることを検証する。

関連論文リスト

Probabilistic Conformal Prediction with Approximate Conditional Validity [81.30551968980143]
本研究では,共形手法の柔軟性と条件分布の推定を組み合わせ,予測セットを生成する手法を開発した。我々の手法は、条件付きカバレッジの観点から既存の手法よりも一貫して優れています。
論文参考訳（メタデータ） (2024-07-01T20:44:48Z)
The Penalized Inverse Probability Measure for Conformal Classification [0.5172964916120902]
この研究は、Pinalized Inverse Probability(PIP)の非整合性スコアと、その正規化バージョンRePIPを導入し、効率性と情報性の両方を共同で最適化する。この研究は、PIPに基づく共形分類器が、他の非整合性対策と比較して正確に望ましい振る舞いを示し、情報性と効率のバランスを保っていることを示す。
論文参考訳（メタデータ） (2024-06-13T07:37:16Z)
Robust Conformal Prediction Using Privileged Information [17.886554223172517]
本研究では,トレーニングデータの破損に対して堅牢な,保証されたカバレッジ率で予測セットを生成する手法を開発した。我々のアプローチは、i.d仮定の下で有効となる予測セットを構築するための強力なフレームワークである共形予測に基づいている。
論文参考訳（メタデータ） (2024-06-08T08:56:47Z)
Stratified Prediction-Powered Inference for Hybrid Language Model Evaluation [62.2436697657307]
予測駆動推論(英: Prediction-powered Inference, PPI)は、人間ラベル付き限られたデータに基づいて統計的推定を改善する手法である。我々はStratPPI(Stratified Prediction-Powered Inference)という手法を提案する。単純なデータ階層化戦略を用いることで,基礎的なPPI推定精度を大幅に向上できることを示す。
論文参考訳（メタデータ） (2024-06-06T17:37:39Z)
Equal Opportunity of Coverage in Fair Regression [50.76908018786335]
我々は、予測の不確実性の下で公正な機械学習(ML)を研究し、信頼性と信頼性のある意思決定を可能にする。本研究は,(1)類似した結果の異なる集団に対するカバー率が近いこと,(2)人口全体のカバー率が一定水準にあること,の2つの特性を達成することを目的としたカバーの平等機会(EOC)を提案する。
論文参考訳（メタデータ） (2023-11-03T21:19:59Z)
Binary Classification with Confidence Difference [100.08818204756093]
本稿では,信頼性差分法 (ConfDiff) という,弱教師付き二項分類問題について考察する。本稿では,この問題に対処するためのリスク一貫性のあるアプローチを提案し,推定誤差が最適収束率と一致することを示す。また,整合性や収束率も証明されたオーバーフィッティング問題を緩和するためのリスク補正手法も導入する。
論文参考訳（メタデータ） (2023-10-09T11:44:50Z)
Conformalizing Machine Translation Evaluation [9.89901717499058]
近年,機械翻訳評価のための不確実性推定手法が提案されている。モデルの不確実性を過小評価する傾向があり、結果として、基礎的な真実をカバーしない誤った信頼区間をしばしば生み出す。本稿では,共形予測(conformal prediction)の代替として,理論的に確立されたカバレッジ保証付き信頼区間を求める分布自由化手法を提案する。
論文参考訳（メタデータ） (2023-06-09T19:36:18Z)
Conformal Prediction for Federated Uncertainty Quantification Under Label Shift [57.54977668978613]
Federated Learning(FL)は、多くのクライアントが協力してモデルをトレーニングする機械学習フレームワークである。我々は、量子回帰に基づく新しいコンフォメーション予測法を開発し、プライバシー制約を考慮した。
論文参考訳（メタデータ） (2023-06-08T11:54:58Z)
Predictive Inference with Weak Supervision [3.1925030748447747]
コンフォメーション予測フレームワークを開発することにより,部分監督と検証のギャップを埋める。我々は、新しいカバレッジと予測妥当性の概念を導入し、いくつかのアプリケーションシナリオを開発します。我々は、新しいカバレッジ定義がより厳密で情報的な(しかし有効な)信頼セットを可能にするという仮説を裏付ける。
論文参考訳（メタデータ） (2022-01-20T17:26:52Z)
Measuring Uncertainty in Translation Quality Evaluation (TQE) [62.997667081978825]
本研究は,翻訳テキストのサンプルサイズに応じて,信頼区間を精度良く推定する動機づけた研究を行う。我々はベルヌーイ統計分布モデリング (BSDM) とモンテカルロサンプリング分析 (MCSA) の手法を適用した。
論文参考訳（メタデータ） (2021-11-15T12:09:08Z)
Robust Validation: Confident Predictions Even When Distributions Shift [19.327409270934474]
本稿では,モデルが点予測ではなく,その予測に対して不確実な推定を行うような,頑健な予測推論の手順について述べる。本稿では, トレーニング集団の周囲に$f$-divergence のボールを用いて, 任意のテスト分布に対して適切なカバレッジレベルを与える予測セットを生成する手法を提案する。私たちの方法論の重要な構成要素は、将来のデータシフトの量を見積り、それに対する堅牢性を構築することです。
論文参考訳（メタデータ） (2020-08-10T17:09:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。