論文の概要: Out of a hundred trials, how many errors does your speaker verifier make?

• arxiv url: http://arxiv.org/abs/2104.00732v1
• Date: Thu, 1 Apr 2021 19:10:48 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-05 13:59:00.659884
• Title: Out of a hundred trials, how many errors does your speaker verifier make?
• Title（参考訳）: 100の試行錯誤のうち、話者検証器はいくつの誤りを犯すのか?
• Authors: Niko Br\"ummer and Luciana Ferrer and Albert Swart
• Abstract要約: キャリブレーションされた確率比でベイズ決定を行う際に生じるエラーレートを計算する方法を紹介します。 非完全校正にもベイズ誤差率を計算し,誤差率から予測コストへの一般化方法を示す。
• 参考スコア（独自算出の注目度）: 15.789584022353734
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Out of a hundred trials, how many errors does your speaker verifier make? For the user this is an important, practical question, but researchers and vendors typically sidestep it and supply instead the conditional error-rates that are given by the ROC/DET curve. We posit that the user's question is answered by the Bayes error-rate. We present a tutorial to show how to compute the error-rate that results when making Bayes decisions with calibrated likelihood ratios, supplied by the verifier, and an hypothesis prior, supplied by the user. For perfect calibration, the Bayes error-rate is upper bounded by min(EER,P,1-P), where EER is the equal-error-rate and P, 1-P are the prior probabilities of the competing hypotheses. The EER represents the accuracy of the verifier, while min(P,1-P) represents the hardness of the classification problem. We further show how the Bayes error-rate can be computed also for non-perfect calibration and how to generalize from error-rate to expected cost. We offer some criticism of decisions made by direct score thresholding. Finally, we demonstrate by analyzing error-rates of the recently published DCA-PLDA speaker verifier.
• Abstract（参考訳）: 100の試行錯誤のうち、話者検証器はいくつの誤りを犯すのか? ユーザにとってこれは重要で実践的な質問だが、研究者やベンダーは通常、roc/det曲線によって与えられる条件付きエラーレートを回避して供給する。 ユーザの質問はベイズエラー率によって答えられると仮定する。 本稿では,検証者によって提供された推定率と,ユーザから提供された仮説を用いてベイズ決定を行う際の誤差率の計算方法を示すチュートリアルを示す。 完全校正には、ベイズ誤差率を min(EER,P,1-P) で上界し、EER を等エラー率、P, 1-P を競合仮説の先行確率とする。 EERは検証器の精度を表し、min(P,1-P)は分類問題の硬さを表す。 さらに,非完全校正のためのベイズ誤差率の計算方法や,誤差率から予測コストへの一般化方法についても述べる。 我々は、直接スコアの閾値付けによる決定を批判する。 最後に、最近発表されたDCA-PLDA話者検証器の誤り率を解析して示す。

関連論文リスト

• Error Correction by Paying Attention to Both Acoustic and Confidence References for Automatic Speech Recognition [52.624909026294105]
  本稿では,非自己回帰型音声誤り訂正法を提案する。 信頼モジュールは、N-best ASR仮説の各単語の不確実性を測定する。 提案方式は,ASRモデルと比較して誤差率を21%削減する。
  論文  参考訳（メタデータ） (2024-06-29T17:56:28Z)
• LACIE: Listener-Aware Finetuning for Confidence Calibration in Large Language Models [69.68379406317682]
  暗黙的および明示的な信頼マーカーを校正するリスナー対応微調整法 (LACIE) を提案する。 我々は,LACIEがリスナーをモデル化し,回答が正しいかどうかだけでなく,リスナーに受け入れられるかどうかを考察する。 LACIEによるトレーニングの結果、正しい回答の受け入れレベルを維持しながら、誤った回答が受け入れられる割合が47%減少することがわかった。
  論文  参考訳（メタデータ） (2024-05-31T17:16:38Z)
• FPR Estimation for Fraud Detection in the Presence of Class-Conditional Label Noise [0.0]
  検証セットに誤りラベル(ラベルノイズ)が存在する場合、二項分類モデルに対して偽/真陽性レート(FPR/TPR)を推定する問題を考察する。 当社のモチベーション応用は不正防止であり,FPRの正確な推定値が顧客エクスペリエンスの維持に不可欠である。
  論文  参考訳（メタデータ） (2023-08-04T20:14:34Z)
• Calibration Error Estimation Using Fuzzy Binning [0.0]
  ファジィビンニング手法を用いてキャリブレーション誤差を算出するファジィ誤差計量(FCE)を提案する。 以上の結果から,FCEは特にマルチクラス設定において,キャリブレーション誤差の予測に優れることがわかった。
  論文  参考訳（メタデータ） (2023-04-30T18:06:14Z)
• SoftCorrect: Error Correction with Soft Detection for Automatic Speech Recognition [116.31926128970585]
  我々は,明示的かつ暗黙的な誤り検出の限界を回避するため,ソフトエラー検出機構を備えたSoftCorrectを提案する。 暗黙的な誤り検出とCTC損失と比較すると、SoftCorrectはどの単語が誤りであるかを明示的な信号を提供する。 AISHELL-1とAidatatangデータセットの実験では、SoftCorrectはそれぞれ26.1%と9.4%のCER削減を達成した。
  論文  参考訳（メタデータ） (2022-12-02T09:11:32Z)
• BER: Balanced Error Rate For Speaker Diarization [22.06525303590671]
  本稿では,話者のダイアリゼーションを評価するための平衡誤差率(BER)を提案する。 まず,接続されたサブグラフと適応IoU閾値を用いたセグメントレベルの誤差率(SER)を提案し,精度の高いセグメントマッチングを実現する。 第2に、ダイアリゼーションを統一的に評価するために、持続時間とセグメント間の話者固有の調和平均、次いで話者重み付き平均を採用する。
  論文  参考訳（メタデータ） (2022-11-08T15:17:39Z)
• T-Cal: An optimal test for the calibration of predictive models [49.11538724574202]
  有限検証データセットを用いた予測モデルの誤校正を仮説検証問題として検討する。 誤校正の検出は、クラスの条件付き確率が予測の十分滑らかな関数である場合にのみ可能である。 我々は、$ell$-Expected Error(ECE)のデバイアスドプラグイン推定器に基づくキャリブレーションのためのミニマックステストであるT-Calを提案する。
  論文  参考訳（メタデータ） (2022-03-03T16:58:54Z)
• Is the Performance of My Deep Network Too Good to Be True? A Direct Approach to Estimating the Bayes Error in Binary Classification [86.32752788233913]
  分類問題において、ベイズ誤差は、最先端の性能を持つ分類器を評価するための基準として用いられる。 我々はベイズ誤差推定器を提案する。そこでは,クラスの不確かさを示すラベルの平均値のみを評価できる。 我々の柔軟なアプローチは、弱い教師付きデータであってもベイズ誤差を推定できる。
  論文  参考訳（メタデータ） (2022-02-01T13:22:26Z)
• Confidence intervals for the Cox model test error from cross-validation [91.3755431537592]
  クロスバリデーション(CV)は、モデルの試験誤差を推定する統計学習において最も広く使われている手法の1つである。 CVからの推定値を用いたテストエラーの標準信頼区間は、名目レベル以下である可能性がある。 この問題の1つの方法は、ネストされたCVを使って予測誤差の平均2乗誤差を推定することである。
  論文  参考訳（メタデータ） (2022-01-26T06:40:43Z)
• Optimal noise estimation from syndrome statistics of quantum codes [0.7264378254137809]
  量子誤差補正は、ノイズが十分に弱いときに量子計算で発生する誤りを積極的に補正することができる。 伝統的に、この情報は、操作前にデバイスをベンチマークすることで得られる。 復号時に行われた測定のみから何が学べるかという問題に対処する。
  論文  参考訳（メタデータ） (2020-10-05T18:00:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。