論文の概要: Assessing Uncertainty in Similarity Scoring: Performance & Fairness in Face Recognition

• arxiv url: http://arxiv.org/abs/2211.07245v2
• Date: Tue, 20 Feb 2024 19:23:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-22 21:43:29.589847
• Title: Assessing Uncertainty in Similarity Scoring: Performance & Fairness in Face Recognition
• Title（参考訳）: 類似性検査における不確かさの評価:顔認識における性能と公正性
• Authors: Jean-R\'emy Conti, St\'ephan Cl\'emen\c{c}on
• Abstract要約: ROC曲線は類似度スコアリング関数の公平性を評価する主要なツールである。 本稿では、類似度関数の実証的ROC曲線と、公正性を評価するのに有用な副産物メトリクスの保証を証明する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The ROC curve is the major tool for assessing not only the performance but also the fairness properties of a similarity scoring function. In order to draw reliable conclusions based on empirical ROC analysis, accurately evaluating the uncertainty level related to statistical versions of the ROC curves of interest is absolutely necessary, especially for applications with considerable societal impact such as Face Recognition. In this article, we prove asymptotic guarantees for empirical ROC curves of similarity functions as well as for by-product metrics useful to assess fairness. We also explain that, because the false acceptance/rejection rates are of the form of U-statistics in the case of similarity scoring, the naive bootstrap approach may jeopardize the assessment procedure. A dedicated recentering technique must be used instead. Beyond the theoretical analysis carried out, various experiments using real face image datasets provide strong empirical evidence of the practical relevance of the methods promoted here, when applied to several ROC-based measures such as popular fairness metrics.
• Abstract（参考訳）: ROC曲線は、性能だけでなく類似度スコアリング関数の公平性も評価するための主要なツールである。 経験的ROC分析に基づいて信頼性の高い結論を導き出すためには、特に顔認識などの社会的影響の大きいアプリケーションにおいて、ROC曲線の統計バージョンに関する不確実性レベルを正確に評価する必要がある。 本稿では、類似関数の実証的ROC曲線に対する漸近的保証と、公正性を評価するのに有用な副産物メトリクスを証明する。 また, 類似度得点の場合, 誤受取消し率はu-統計の形式であるため, ナイーブブートストラップアプローチは評価手順を損なう可能性がある。 代わりに専用の最新技術を使う必要がある。 理論的解析の他に、実顔画像データセットを用いた様々な実験は、一般的な公正度測定などのROCに基づくいくつかの指標に適用した場合、ここでの手法の実践的妥当性の強い実証的証拠を提供する。

関連論文リスト

• Targeted Learning for Data Fairness [52.59573714151884]
  データ生成プロセス自体の公平性を評価することにより、公平性推論を拡張する。 我々は、人口統計学的平等、平等機会、条件付き相互情報から推定する。 提案手法を検証するため,いくつかのシミュレーションを行い,実データに適用する。
  論文  参考訳（メタデータ） (2025-02-06T18:51:28Z)
• Fairness Evaluation with Item Response Theory [10.871079276188649]
  本稿では機械学習(ML)モデルにおける公平性を評価するための新しいFair-IRTフレームワークを提案する。 項目特性曲線(ICC)の詳細な説明は、特定の個人に対して提供される。 公平性評価ツールとしてのこのフレームワークの有効性を実証する実験を行った。
  論文  参考訳（メタデータ） (2024-10-20T22:25:20Z)
• A Novel Characterization of the Population Area Under the Risk Coverage Curve (AURC) and Rates of Finite Sample Estimators [15.294324192338484]
  AURC(Area Under the Risk-Coverage Curve)は、SCシステムの性能を評価するための最前線評価指標として登場した。 有限サンプルシナリオに対する実験的なAURCプラグイン推定器を導出する。 複数のデータセットにまたがる実験により,推定器の有効性を実証的に検証した。
  論文  参考訳（メタデータ） (2024-10-20T11:14:51Z)
• Backdoor-based Explainable AI Benchmark for High Fidelity Evaluation of Attribution Methods [49.62131719441252]
  属性法は入力特徴の重要度を計算し、深層モデルの出力予測を説明する。 本研究はまず,属性手法の信頼性ベンチマークが満たすであろう信頼度基準の集合を同定する。 次に、望ましい忠実度基準に準拠したBackdoorベースのeXplainable AIベンチマーク(BackX)を紹介します。
  論文  参考訳（メタデータ） (2024-05-02T13:48:37Z)
• TopP&R: Robust Support Estimation Approach for Evaluating Fidelity and Diversity in Generative Models [9.048102020202817]
  Topological Precision and Recall (TopP&R)は、サポートを推定するための体系的なアプローチを提供する。 以上の結果から,TopP&Rは非独立性および非非独立性(Non-IID)摂動に対して頑健であることがわかった。 これは、支持体のロバストな推定に焦点を当てた最初の評価指標であり、雑音下での統計的一貫性を提供する。
  論文  参考訳（メタデータ） (2023-06-13T11:46:00Z)
• Reconciling Predictive and Statistical Parity: A Causal Approach [68.59381759875734]
  本稿では,予測パリティに付随する公平度対策のための因果分解式を提案する。 統計的および予測パリティの概念は、実際には互いに排他的ではなく、相補的であり、公正の概念のスペクトルにまたがっていることを示す。
  論文  参考訳（メタデータ） (2023-06-08T09:23:22Z)
• A Call to Reflect on Evaluation Practices for Failure Detection in Image Classification [0.491574468325115]
  本稿では,信頼度評価関数のベンチマーク化を初めて実現した大規模実証的研究について述べる。 簡便なソフトマックス応答ベースラインを全体の最高の実行方法として明らかにすることは、現在の評価の劇的な欠点を浮き彫りにする。
  論文  参考訳（メタデータ） (2022-11-28T12:25:27Z)
• Systematic Evaluation of Predictive Fairness [60.0947291284978]
  バイアス付きデータセットのトレーニングにおけるバイアスの緩和は、重要なオープンな問題である。 複数のタスクにまたがる様々なデバイアス化手法の性能について検討する。 データ条件が相対モデルの性能に強い影響を与えることがわかった。
  論文  参考訳（メタデータ） (2022-10-17T05:40:13Z)
• Deep Feature Statistics Mapping for Generalized Screen Content Image Quality Assessment [60.88265569998563]
  我々は,SCIの質を効果的に決定できる指標に基づいて,SCIの統計を学習するための最初の試みを行う。 統計的偏差が品質評価に有効に活用できることを実証的に示す。
  論文  参考訳（メタデータ） (2022-09-12T15:26:13Z)
• Causal Feature Selection for Algorithmic Fairness [61.767399505764736]
  データ管理の統合コンポーネントにおける公平性について検討する。 本稿では,データセットの公平性を保証する特徴のサブコレクションを同定する手法を提案する。
  論文  参考訳（メタデータ） (2020-06-10T20:20:10Z)
• Learning Fair Scoring Functions: Bipartite Ranking under ROC-based Fairness Constraints [2.0263791972068628]
  2値ラベル付きデータからスコアリング関数を学習する際の公平性について検討する。 AUC と ROC 曲線に基づくフェアネス定義の一般族を紹介する。 このような制約の下で学習したスコアリング関数の有界一般化を確立する。
  論文  参考訳（メタデータ） (2020-02-19T13:17:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。