論文の概要: Considerations on the Evaluation of Biometric Quality Assessment
Algorithms
- arxiv url: http://arxiv.org/abs/2303.13294v3
- Date: Mon, 5 Jun 2023 12:24:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-07 02:18:27.825031
- Title: Considerations on the Evaluation of Biometric Quality Assessment
Algorithms
- Title（参考訳）: バイオメトリック品質評価アルゴリズムの評価に関する一考察
- Authors: Torsten Schlett, Christian Rathgeb, Juan Tapia, Christoph Busch
- Abstract要約: 品質評価アルゴリズムを用いて生体認証のための生体試料の有用性を推定することができる。
曲線の「誤差対特性」プロットと「部分曲線」(pAUC)値は、一般にそのような品質評価アルゴリズムを評価するために研究者によって用いられている。
- 参考スコア（独自算出の注目度）: 13.715060479044167
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Quality assessment algorithms can be used to estimate the utility of a
biometric sample for the purpose of biometric recognition. "Error versus
Discard Characteristic" (EDC) plots, and "partial Area Under Curve" (pAUC)
values of curves therein, are generally used by researchers to evaluate the
predictive performance of such quality assessment algorithms. An EDC curve
depends on an error type such as the "False Non Match Rate" (FNMR), a quality
assessment algorithm, a biometric recognition system, a set of comparisons each
corresponding to a biometric sample pair, and a comparison score threshold
corresponding to a starting error. To compute an EDC curve, comparisons are
progressively discarded based on the associated samples' lowest quality scores,
and the error is computed for the remaining comparisons. Additionally, a
discard fraction limit or range must be selected to compute pAUC values, which
can then be used to quantitatively rank quality assessment algorithms.
This paper discusses and analyses various details for this kind of quality
assessment algorithm evaluation, including general EDC properties,
interpretability improvements for pAUC values based on a hard lower error limit
and a soft upper error limit, the use of relative instead of discrete rankings,
stepwise vs. linear curve interpolation, and normalisation of quality scores to
a [0, 100] integer range. We also analyse the stability of quantitative quality
assessment algorithm rankings based on pAUC values across varying pAUC discard
fraction limits and starting errors, concluding that higher pAUC discard
fraction limits should be preferred. The analyses are conducted both with
synthetic data and with real data for a face image quality assessment scenario,
with a focus on general modality-independent conclusions for EDC evaluations.
- Abstract（参考訳）: 品質評価アルゴリズムを用いて生体認証のための生体試料の有用性を推定することができる。
曲線の「誤差対ディスク特性」(EDC)プロットと「部分曲線」(pAUC)値は、一般に研究者によってそのような品質評価アルゴリズムの予測性能を評価するために用いられる。
EDC曲線は、"False Non Match Rate"(FNMR)、品質評価アルゴリズム、生体認証システム、生体サンプルペアに対応する比較セット、開始誤差に対応するスコア閾値などのエラータイプに依存する。
EDC曲線を計算するために、関連するサンプルの最低品質スコアに基づいて段階的に比較を破棄し、残りの比較に対して誤差を算出する。
さらに、pAUC値を計算するために、廃棄分数制限または範囲を選択する必要があり、それによって品質評価アルゴリズムを定量的にランク付けすることができる。
本稿では,この品質評価アルゴリズムの評価について,一般edc特性,難解な誤差限度とソフトアッパー誤差限度に基づくpauc値の解釈性の向上,離散ランキングではなく相対値の使用,ステップワイズ対線形曲線補間,[0,100]整数領域における品質スコアの正規化など,様々な詳細を考察し,解析する。
また, pAUC の分数制限と開始誤差にまたがる pAUC の値に基づいて, pAUC の量的品質評価アルゴリズムのランク付けの安定性を解析し, より高い分数制限が望ましいと結論付けた。
顔画像品質評価シナリオにおける合成データと実データの両方を用いて分析を行い,edc評価における一般モダリティ非依存的な結論に注目した。
関連論文リスト
- Quality assurance of organs-at-risk delineation in radiotherapy [7.698565355235687]
放射線治療計画において,腫瘍標的と臓器の脱線は重要である。
自動セグメンテーションの品質保証は、まだ臨床実践において必要ではない。
提案手法は,一級分類フレームワークにおける残差ネットワークとアテンション機構を導入し,様々な種類のOAR輪郭誤差を高精度に検出することができた。
論文 参考訳（メタデータ） (2024-05-20T02:32:46Z) - Improving Interpretability of Scores in Anomaly Detection Based on Gaussian-Bernoulli Restricted Boltzmann Machine [0.0]
GBRBMによる異常検出では、GBRBMのエネルギー関数と同一のスコアに基づいて正規値と異常値のデータを分類する。
本稿では,その累積分布に基づいて,スコアの解釈可能性を向上させる尺度を提案する。
また、解釈可能な尺度を用いてしきい値を設定するためのガイドラインを確立する。
論文 参考訳（メタデータ） (2024-03-19T12:13:52Z) - Discordance Minimization-based Imputation Algorithms for Missing Values
in Rating Data [4.100928307172084]
複数の評価リストが組み合わされたり、考慮されたりすると、被験者はしばしば評価を欠く。
そこで本研究では,6つの実世界のデータセットを用いて,欠落した値パターンの解析を行う。
評価提供者間での総合評価不一致を最小限に抑える最適化モデルとアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-11-07T14:42:06Z) - C-PMI: Conditional Pointwise Mutual Information for Turn-level Dialogue
Evaluation [68.59356746305255]
本稿では,システムとユーザ間のターンレベルインタラクションを測定するための,モデルに依存しない新しいアプローチを提案する。
提案手法は,既存の評価システムと比較して,人間の判断との相関性を大幅に改善する。
論文 参考訳（メタデータ） (2023-06-27T06:58:03Z) - Evaluating Probabilistic Classifiers: The Triptych [62.997667081978825]
本稿では,予測性能の異なる相補的な側面に焦点をあてた診断グラフィックのトリチチを提案し,研究する。
信頼性図は校正に対処し、受信動作特性(ROC)曲線は識別能力を診断し、マーフィー図は全体的な予測性能と価値を視覚化する。
論文 参考訳（メタデータ） (2023-01-25T19:35:23Z) - Deep Bayesian ICP Covariance Estimation [3.5136071950790737]
イテレーティブクローズトポイント(ICP)ポイントクラウド登録アルゴリズムは、状態推定とセンサ融合のために不可欠である。
我々は、ICPの主なエラー源は、センサノイズからシーン形状に至るまで、入力データそのものにあると主張している。
近年の深層学習によるポイントクラウドの活用により,ICPのエラーモデルを学ぶためのデータ駆動型アプローチを提案する。
論文 参考訳（メタデータ） (2022-02-23T16:42:04Z) - Reinforcement Learning with Heterogeneous Data: Estimation and Inference [84.72174994749305]
人口の不均一性に関する逐次的決定問題に対処するために,K-ヘテロ・マルコフ決定過程(K-ヘテロ・MDP)を導入する。
本稿では、ある政策の価値を推定するための自己クラスタ化政策評価(ACPE)と、ある政策クラスにおける最適な政策を推定するための自己クラスタ化政策イテレーション(ACPI)を提案する。
理論的な知見を裏付けるシミュレーションを行い,MIMIC-III標準データセットの実証的研究を行った。
論文 参考訳（メタデータ） (2022-01-31T20:58:47Z) - Doing Great at Estimating CATE? On the Neglected Assumptions in
Benchmark Comparisons of Treatment Effect Estimators [91.3755431537592]
もっとも単純な設定であっても、無知性仮定に基づく推定は誤解を招く可能性があることを示す。
異種処理効果評価のための機械学習ベンチマークデータセットを2つ検討した。
ベンチマークデータセットの固有の特性が、他のものよりもいくつかのアルゴリズムを好んでいる点を強調します。
論文 参考訳（メタデータ） (2021-07-28T13:21:27Z) - Performance Evaluation of Adversarial Attacks: Discrepancies and
Solutions [51.8695223602729]
機械学習モデルの堅牢性に挑戦するために、敵対攻撃方法が開発されました。
本稿では,Piece-wise Sampling Curving(PSC)ツールキットを提案する。
psc toolkitは計算コストと評価効率のバランスをとるオプションを提供する。
論文 参考訳（メタデータ） (2021-04-22T14:36:51Z) - A Statistical Analysis of Summarization Evaluation Metrics using
Resampling Methods [60.04142561088524]
信頼区間は比較的広く,信頼性の高い自動測定値の信頼性に高い不確実性を示す。
多くのメトリクスはROUGEよりも統計的改善を示していないが、QAEvalとBERTScoreという2つの最近の研究は、いくつかの評価設定で行われている。
論文 参考訳（メタデータ） (2021-03-31T18:28:14Z) - Strategy for Boosting Pair Comparison and Improving Quality Assessment
Accuracy [29.849156371902943]
ペア比較(PC)は、差別性の観点からは絶対カテゴリー評価(ACR)に対して大きな利点がある。
本研究では,ペア比較データとACRデータをブリッジする汎用モデルを用いて,分散項を復元し,得られた情報がより完全であることを示す。
このようにして、提案手法はペア比較の精度を同等に向上するが、ACRほど高い包括性を達成できる。
論文 参考訳（メタデータ） (2020-10-01T13:05:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。