論文の概要: Conformalizing Machine Translation Evaluation

• arxiv url: http://arxiv.org/abs/2306.06221v1
• Date: Fri, 9 Jun 2023 19:36:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-13 20:20:10.852584
• Title: Conformalizing Machine Translation Evaluation
• Title（参考訳）: コンフォーマル化機械翻訳評価
• Authors: Chrysoula Zerva, Andr\'e F. T. Martins
• Abstract要約: 近年,機械翻訳評価のための不確実性推定手法が提案されている。 モデルの不確実性を過小評価する傾向があり、結果として、基礎的な真実をカバーしない誤った信頼区間をしばしば生み出す。 本稿では,共形予測(conformal prediction)の代替として,理論的に確立されたカバレッジ保証付き信頼区間を求める分布自由化手法を提案する。
• 参考スコア（独自算出の注目度）: 9.89901717499058
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Several uncertainty estimation methods have been recently proposed for machine translation evaluation. While these methods can provide a useful indication of when not to trust model predictions, we show in this paper that the majority of them tend to underestimate model uncertainty, and as a result they often produce misleading confidence intervals that do not cover the ground truth. We propose as an alternative the use of conformal prediction, a distribution-free method to obtain confidence intervals with a theoretically established guarantee on coverage. First, we demonstrate that split conformal prediction can ``correct'' the confidence intervals of previous methods to yield a desired coverage level. Then, we highlight biases in estimated confidence intervals, both in terms of the translation language pairs and the quality of translations. We apply conditional conformal prediction techniques to obtain calibration subsets for each data subgroup, leading to equalized coverage.
• Abstract（参考訳）: 近年,機械翻訳評価のための不確実性推定手法が提案されている。 これらの手法は,モデル予測を信頼しない場合に有効な指標となるが,本論文では,モデル不確実性を過小評価する傾向にあり,その結果,基礎的事実をカバーしない不確実性区間がしばしば生じることを示す。 そこで本研究では,信頼区間を得るための分布自由法である共形予測(conformal prediction)の代替案を提案する。 まず,分割共形予測が従来の手法の信頼区間を‘正確に’して,所望のカバレッジレベルが得られることを示す。 次に,推定信頼区間のバイアスを,翻訳言語対と翻訳品質の両方の観点から強調する。 条件付き等角予測手法を適用し,各データサブグループの校正部分集合を得る。

関連論文リスト

• Provably Reliable Conformal Prediction Sets in the Presence of Data Poisoning [53.42244686183879]
  コンフォーマル予測は、モデルに依存しない、分布のない不確実性定量化を提供する。 しかし、敵が訓練データと校正データを操作した場合の毒殺攻撃では、共形予測は信頼性が低い。 信頼性予測セット (RPS): 汚染下での信頼性保証を証明可能な共形予測セットを構築するための最初の効率的な方法を提案する。
  論文  参考訳（メタデータ） (2024-10-13T15:37:11Z)
• Conformalized Interval Arithmetic with Symmetric Calibration [9.559062601251464]
  我々は,複数の目標の和に対する予測区間に対して,単一目標に対する共形予測区間を開発する。 提案手法は, 既存のコンフォメーション手法や非コンフォメーション手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-08-20T15:27:18Z)
• Probabilistic Conformal Prediction with Approximate Conditional Validity [81.30551968980143]
  本研究では,共形手法の柔軟性と条件分布の推定を組み合わせ,予測セットを生成する手法を開発した。 我々の手法は、条件付きカバレッジの観点から既存の手法よりも一貫して優れています。
  論文  参考訳（メタデータ） (2024-07-01T20:44:48Z)
• Robust Conformal Prediction Using Privileged Information [17.886554223172517]
  本研究では,トレーニングデータの破損に対して堅牢な,保証されたカバレッジ率で予測セットを生成する手法を開発した。 我々のアプローチは、i.d仮定の下で有効となる予測セットを構築するための強力なフレームワークである共形予測に基づいている。
  論文  参考訳（メタデータ） (2024-06-08T08:56:47Z)
• Non-Exchangeable Conformal Language Generation with Nearest Neighbors [12.790082627386482]
  非交換性共形核サンプリングは、近接する隣人に基づく生成への共形予測フレームワークの新たな拡張である。 本手法は,任意のモデルに対して,余分なトレーニングを伴わずにポストホックで使用することができ,統計的保証を備えたトークンレベルの校正予測セットを提供する。
  論文  参考訳（メタデータ） (2024-02-01T16:04:04Z)
• Equal Opportunity of Coverage in Fair Regression [50.76908018786335]
  我々は、予測の不確実性の下で公正な機械学習(ML)を研究し、信頼性と信頼性のある意思決定を可能にする。 本研究は,(1)類似した結果の異なる集団に対するカバー率が近いこと,(2)人口全体のカバー率が一定水準にあること,の2つの特性を達成することを目的としたカバーの平等機会(EOC)を提案する。
  論文  参考訳（メタデータ） (2023-11-03T21:19:59Z)
• Quantification of Predictive Uncertainty via Inference-Time Sampling [57.749601811982096]
  本稿では,データあいまいさの予測不確実性を推定するためのポストホックサンプリング手法を提案する。 この方法は与えられた入力に対して異なる可算出力を生成することができ、予測分布のパラメトリック形式を仮定しない。
  論文  参考訳（メタデータ） (2023-08-03T12:43:21Z)
• Evaluating Machine Translation Quality with Conformal Predictive Distributions [0.0]
  本稿では,機械翻訳における不確実性を評価するための新しい手法を提案する。 本手法は,6つの異なる言語対に対して,カバレッジとシャープネスの点で,単純だが効果的なベースラインよりも優れている。
  論文  参考訳（メタデータ） (2023-06-02T13:56:30Z)
• Post-selection Inference for Conformal Prediction: Trading off Coverage for Precision [0.0]
  伝統的に、共形予測推論はデータに依存しない発見レベルの仕様を必要とする。 我々は,データ依存的誤発見レベルを考慮した同時共形推論を開発する。
  論文  参考訳（メタデータ） (2023-04-12T20:56:43Z)
• Reliability-Aware Prediction via Uncertainty Learning for Person Image Retrieval [51.83967175585896]
  UALは、データ不確実性とモデル不確実性を同時に考慮し、信頼性に配慮した予測を提供することを目的としている。 データ不確実性はサンプル固有のノイズを捕捉する」一方、モデル不確実性はサンプルの予測に対するモデルの信頼を表現している。
  論文  参考訳（メタデータ） (2022-10-24T17:53:20Z)
• Private Prediction Sets [72.75711776601973]
  機械学習システムは、個人のプライバシーの確実な定量化と保護を必要とする。 これら2つのデシラタを共同で扱う枠組みを提案する。 本手法を大規模コンピュータビジョンデータセット上で評価する。
  論文  参考訳（メタデータ） (2021-02-11T18:59:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。