論文の概要: Assessing Performance and Fairness Metrics in Face Recognition -
Bootstrap Methods
- arxiv url: http://arxiv.org/abs/2211.07245v1
- Date: Mon, 14 Nov 2022 10:02:16 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-15 15:43:25.796213
- Title: Assessing Performance and Fairness Metrics in Face Recognition -
Bootstrap Methods
- Title(参考訳): 顔認識Bootstrap法の性能と公正度の評価
- Authors: Jean-R\'emy Conti, St\'ephan Cl\'emen\c{c}on
- Abstract要約: ROC曲線は、顔認識における類似度スコアリング機能の性能を評価するための主要なツールである。
興味のあるROC曲線の統計バージョンに関する不確実性を正確に評価する方法を示す。
これは、一般的な公正度測定値など、複数のROCベースのメトリクスに適用した場合に、顔画像の実データに示される。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: The ROC curve is the major tool for assessing not only the performance but
also the fairness properties of a similarity scoring function in Face
Recognition. In order to draw reliable conclusions based on empirical ROC
analysis, evaluating accurately the uncertainty related to statistical versions
of the ROC curves of interest is necessary. For this purpose, we explain in
this paper that, because the True/False Acceptance Rates are of the form of
U-statistics in the case of similarity scoring, the naive bootstrap approach is
not valid here and that a dedicated recentering technique must be used instead.
This is illustrated on real data of face images, when applied to several
ROC-based metrics such as popular fairness metrics.
- Abstract(参考訳): roc曲線は、顔認識における類似度スコアリング関数の性能だけでなく、フェアネス特性を評価するための主要なツールである。
経験的ROC分析に基づいて信頼性の高い結論を導き出すためには,ROC曲線の統計バージョンに関する不確かさを正確に評価する必要がある。
この目的のために,本論文では,True/False Acceptance Rates は類似性スコアの場合に U-statistics の形式であるため,単純ブートストラップアプローチはここでは有効ではなく,代わりに専用更新手法を使わなければならない,と説明する。
これは、一般的な公正度測定値など、複数のROCベースのメトリクスに適用した場合に、顔画像の実データに示される。
関連論文リスト
- The curious case of the test set AUROC [0.5242869847419834]
テストROC曲線のみから得られるスコアを考えると、モデルがどのように機能するか、その一般化する能力について、より狭い洞察しか得られない、と我々は論じる。
論文 参考訳(メタデータ) (2023-12-19T17:40:58Z) - TopP&R: Robust Support Estimation Approach for Evaluating Fidelity and
Diversity in Generative Models [9.048102020202817]
Topological Precision and Recall (TopP&R)は、サポートを推定するための体系的なアプローチを提供する。
以上の結果から,TopP&Rは非独立性および非非独立性(Non-IID)摂動に対して頑健であることがわかった。
これは、支持体のロバストな推定に焦点を当てた最初の評価指標であり、雑音下での統計的一貫性を提供する。
論文 参考訳(メタデータ) (2023-06-13T11:46:00Z) - Reconciling Predictive and Statistical Parity: A Causal Approach [68.59381759875734]
本稿では,予測パリティに付随する公平度対策のための因果分解式を提案する。
統計的および予測パリティの概念は、実際には互いに排他的ではなく、相補的であり、公正の概念のスペクトルにまたがっていることを示す。
論文 参考訳(メタデータ) (2023-06-08T09:23:22Z) - Uncertainty-Aware Instance Reweighting for Off-Policy Learning [63.31923483172859]
本研究では,不確実性を考慮した逆確率スコア推定器 (UIPS) を提案する。
実世界の3つのレコメンデーションデータセットを用いた実験結果から,提案したUIPS推定器の有効サンプル効率が示された。
論文 参考訳(メタデータ) (2023-03-11T11:42:26Z) - Evaluating Probabilistic Classifiers: The Triptych [62.997667081978825]
本稿では,予測性能の異なる相補的な側面に焦点をあてた診断グラフィックのトリチチを提案し,研究する。
信頼性図は校正に対処し、受信動作特性(ROC)曲線は識別能力を診断し、マーフィー図は全体的な予測性能と価値を視覚化する。
論文 参考訳(メタデータ) (2023-01-25T19:35:23Z) - A Call to Reflect on Evaluation Practices for Failure Detection in Image
Classification [0.491574468325115]
本稿では,信頼度評価関数のベンチマーク化を初めて実現した大規模実証的研究について述べる。
簡便なソフトマックス応答ベースラインを全体の最高の実行方法として明らかにすることは、現在の評価の劇的な欠点を浮き彫りにする。
論文 参考訳(メタデータ) (2022-11-28T12:25:27Z) - Systematic Evaluation of Predictive Fairness [60.0947291284978]
バイアス付きデータセットのトレーニングにおけるバイアスの緩和は、重要なオープンな問題である。
複数のタスクにまたがる様々なデバイアス化手法の性能について検討する。
データ条件が相対モデルの性能に強い影響を与えることがわかった。
論文 参考訳(メタデータ) (2022-10-17T05:40:13Z) - Deep Feature Statistics Mapping for Generalized Screen Content Image
Quality Assessment [66.03873502126577]
我々は,SCIの質を効果的に決定できる指標に基づいて,SCIの統計を学習するための最初の試みを行う。
統計的偏差が品質評価に有効に活用できることを実証的に示す。
論文 参考訳(メタデータ) (2022-09-12T15:26:13Z) - Never mind the metrics -- what about the uncertainty? Visualising
confusion matrix metric distributions [6.566615606042994]
本稿では,不確実性の異なるモデル下での分布を明らかにすることにより,分類器の性能指標について,よりバランスのとれた視点を求める。
我々は、このROC空間内の(そしてそれ以上の)パフォーマンスメトリクスの輪郭の方程式、アニメーション、インタラクティブな可視化を開発します。
私たちの期待は、これらの洞察と視覚化によって、パフォーマンス指標の推定における実質的な不確実性に対する認識がより高くなることです。
論文 参考訳(メタデータ) (2022-06-05T11:54:59Z) - Causal Feature Selection for Algorithmic Fairness [61.767399505764736]
データ管理の統合コンポーネントにおける公平性について検討する。
本稿では,データセットの公平性を保証する特徴のサブコレクションを同定する手法を提案する。
論文 参考訳(メタデータ) (2020-06-10T20:20:10Z) - Learning Fair Scoring Functions: Bipartite Ranking under ROC-based
Fairness Constraints [2.0263791972068628]
2値ラベル付きデータからスコアリング関数を学習する際の公平性について検討する。
AUC と ROC 曲線に基づくフェアネス定義の一般族を紹介する。
このような制約の下で学習したスコアリング関数の有界一般化を確立する。
論文 参考訳(メタデータ) (2020-02-19T13:17:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。