論文の概要: Confidence Intervals for Error Rates in Matching Tasks: Critical Review and Recommendations

• arxiv url: http://arxiv.org/abs/2306.01198v1
• Date: Thu, 1 Jun 2023 23:23:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-05 17:22:45.564684
• Title: Confidence Intervals for Error Rates in Matching Tasks: Critical Review and Recommendations
• Title（参考訳）: マッチング作業におけるエラー率の信頼区間:批判的レビューと勧告
• Authors: Riccardo Fogliato, Pratik Patil, Pietro Perona
• Abstract要約: 本稿では,1対1の顔認証などのタスクにおいて,誤り率に対する信頼区間を構築する手法について検討する。 本研究は,一致したタスクにおける誤り率に対する信頼区間を構築するためのベストプラクティスを提案する。
• 参考スコア（独自算出の注目度）: 26.732072990355846
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Matching algorithms are commonly used to predict matches between items in a collection. For example, in 1:1 face verification, a matching algorithm predicts whether two face images depict the same person. Accurately assessing the uncertainty of the error rates of such algorithms can be challenging when data are dependent and error rates are low, two aspects that have been often overlooked in the literature. In this work, we review methods for constructing confidence intervals for error rates in matching tasks such as 1:1 face verification. We derive and examine the statistical properties of these methods and demonstrate how coverage and interval width vary with sample size, error rates, and degree of data dependence using both synthetic and real-world datasets. Based on our findings, we provide recommendations for best practices for constructing confidence intervals for error rates in matching tasks.
• Abstract（参考訳）: マッチングアルゴリズムは、コレクション内のアイテム間のマッチングを予測するために一般的に使用される。 例えば、1:1の顔認証では、マッチングアルゴリズムが2つの顔画像が同一人物を表すかどうかを予測する。 このようなアルゴリズムの誤り率の不確実性を正確に評価することは、データが依存していてエラー率が低い場合には困難であり、文献でしばしば見過ごされている2つの側面がある。 本研究では,1:1の顔認証などのタスクにおける誤り率に対する信頼区間を構築する手法について検討する。 提案手法の統計的特性を導出し, サンプルサイズ, 誤差率, およびデータ依存度に応じて, 実世界と実世界の両方のデータセットを用いて, 範囲と間隔幅がいかに異なるかを示す。 そこで本研究では,マッチングタスクにおける誤り率の信頼区間を構築するためのベストプラクティスを提案する。

関連論文リスト

• Binary Classification with Confidence Difference [100.08818204756093]
  本稿では,信頼性差分法 (ConfDiff) という,弱教師付き二項分類問題について考察する。 本稿では,この問題に対処するためのリスク一貫性のあるアプローチを提案し,推定誤差が最適収束率と一致することを示す。 また,整合性や収束率も証明されたオーバーフィッティング問題を緩和するためのリスク補正手法も導入する。
  論文  参考訳（メタデータ） (2023-10-09T11:44:50Z)
• Assaying Out-Of-Distribution Generalization in Transfer Learning [103.57862972967273]
  私たちは、経験的に対処するメッセージの相違を強調して、以前の作業の統一的なビューを取ります。 私たちは9つの異なるアーキテクチャから、多数の、あるいは少数の設定で31K以上のネットワークを微調整しました。
  論文  参考訳（メタデータ） (2022-07-19T12:52:33Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Non-parametric Differentially Private Confidence Intervals for the Median [3.205141100055992]
  本稿では,中央値に対する有意な個人的信頼区間を計算するためのいくつかの戦略を提案し,評価する。 また、サンプリングからのエラーと出力の保護からのエラーという2つの不確実性源に対処することが、この不確実性を逐次的に組み込んだ単純なアプローチよりも望ましいことを示す。
  論文  参考訳（メタデータ） (2021-06-18T19:45:37Z)
• Cross-validation: what does it estimate and how well does it do it? [2.049702429898688]
  クロスバリデーションは予測誤差を推定するために広く使われている手法であるが、その振る舞いは複雑であり、完全には理解されていない。 これは、通常の最小二乗に適合する線形モデルの場合ではなく、同じ集団から引き出された他の目に見えない訓練セットに適合するモデルの平均予測誤差を推定するものである。
  論文  参考訳（メタデータ） (2021-04-01T17:58:54Z)
• A Statistical Analysis of Summarization Evaluation Metrics using Resampling Methods [60.04142561088524]
  信頼区間は比較的広く,信頼性の高い自動測定値の信頼性に高い不確実性を示す。 多くのメトリクスはROUGEよりも統計的改善を示していないが、QAEvalとBERTScoreという2つの最近の研究は、いくつかの評価設定で行われている。
  論文  参考訳（メタデータ） (2021-03-31T18:28:14Z)
• Learning from Similarity-Confidence Data [94.94650350944377]
  類似度信頼性(Sconf)データから学習する新しい弱監督学習問題について検討する。 本研究では,Sconfデータのみから計算可能な分類リスクの非バイアス推定器を提案し,推定誤差境界が最適収束率を達成することを示す。
  論文  参考訳（メタデータ） (2021-02-13T07:31:16Z)
• DEMI: Discriminative Estimator of Mutual Information [5.248805627195347]
  連続確率変数間の相互情報を推定することは、高次元データにとってしばしば難解で困難である。 近年の進歩は、相互情報の変動的下界を最適化するためにニューラルネットワークを活用している。 提案手法は,データサンプルペアが結合分布から引き出される確率を提供する分類器の訓練に基づく。
  論文  参考訳（メタデータ） (2020-10-05T04:19:27Z)
• Evaluating representations by the complexity of learning low-loss predictors [55.94170724668857]
  下流タスクの解決に使用されるデータの表現を評価することの問題点を考察する。 本稿では,関心のあるタスクにおける低損失を実現する表現の上に,予測器を学習する複雑性によって表現の質を測定することを提案する。
  論文  参考訳（メタデータ） (2020-09-15T22:06:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。