Fugu-MT 論文翻訳(概要): Identity Overlap Between Face Recognition Train/Test Data: Causing Optimistic Bias in Accuracy Measurement

論文の概要: Identity Overlap Between Face Recognition Train/Test Data: Causing Optimistic Bias in Accuracy Measurement

arxiv url: http://arxiv.org/abs/2405.09403v1
Date: Wed, 15 May 2024 14:59:26 GMT
ステータス: 処理完了
システム内更新日: 2024-05-16 13:06:44.718401
Title: Identity Overlap Between Face Recognition Train/Test Data: Causing Optimistic Bias in Accuracy Measurement
Title（参考訳）: 顔認識/テストデータ間のアイデンティティオーバーラップ:精度測定における最適バイアスの活用
Authors: Haiyu Wu, Sicong Tian, Jacob Gutierrez, Aman Bhatta, Kağan Öztürk, Kevin W. Bowyer,
Abstract要約: トレーニングセットとテストセットの重複は楽観的な精度の見積もりを引き起こす。テストセットからの画像対の平均10倍の分類精度と推定されるのが一般的である。実験の結果, LFW系テストセットとMS1MV2トレーニングセットの相違点と画像の重複点が明らかとなった。
参考スコア（独自算出の注目度）: 5.3490692492497836
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: A fundamental tenet of pattern recognition is that overlap between training and testing sets causes an optimistic accuracy estimate. Deep CNNs for face recognition are trained for N-way classification of the identities in the training set. Accuracy is commonly estimated as average 10-fold classification accuracy on image pairs from test sets such as LFW, CALFW, CPLFW, CFP-FP and AgeDB-30. Because train and test sets have been independently assembled, images and identities in any given test set may also be present in any given training set. In particular, our experiments reveal a surprising degree of identity and image overlap between the LFW family of test sets and the MS1MV2 training set. Our experiments also reveal identity label noise in MS1MV2. We compare accuracy achieved with same-size MS1MV2 subsets that are identity-disjoint and not identity-disjoint with LFW, to reveal the size of the optimistic bias. Using more challenging test sets from the LFW family, we find that the size of the optimistic bias is larger for more challenging test sets. Our results highlight the lack of and the need for identity-disjoint train and test methodology in face recognition research.
Abstract（参考訳）: パターン認識の基本的な特徴は、トレーニングとテストセットの重複が楽観的な精度の見積もりを引き起こすことである。顔認識のためのディープCNNは、トレーニングセット内のアイデンティティのNウェイ分類のために訓練される。 LFW, CALFW, CPLFW, CFP-FP, AgeDB-30などのテストセットから, 画像対の平均10倍の分類精度が推定される。列車とテストセットは独立して組み立てられたため、任意のテストセットのイメージとアイデンティティは、任意のトレーニングセットにも存在することができる。特に,実験結果から,LFW系テストセットとMS1MV2トレーニングセットの相違点と画像の重複点が明らかとなった。また,MS1MV2における識別ラベルノイズも明らかにした。 LFWと同一の大きさのMS1MV2サブセットで達成した精度を比較し,楽観バイアスの大きさを明らかにする。 LFWファミリーのより挑戦的なテストセットを使用することで、より挑戦的なテストセットに対して楽観的なバイアスのサイズが大きくなることが分かる。本研究は, 顔認証研究において, 同一性に欠けるトレインとテスト方法論の欠如と, 必要性を浮き彫りにしたものである。

関連論文リスト

What is a Goldilocks Face Verification Test Set? [5.518961562474026]
顔認識モデルは一般的に、数百万の画像を含むWebスクラッドデータセットで訓練される。ウェブスクラッド画像から収集された列車とテストセットの両方により、列車とテストセット間の不整合性の集合を保証することが重要である。現在の列車とテストセットは、一般的にアイデンティティやイメージの不一致ではなく、その結果、推定精度に楽観的なバイアスが生じることを示す。
論文参考訳（メタデータ） (2024-05-24T22:27:10Z)
Modeling the Uncertainty with Maximum Discrepant Students for Semi-supervised 2D Pose Estimation [57.17120203327993]
半教師付きポーズ推定タスクにおける擬似ラベルの品質を推定する枠組みを提案する。提案手法は,3つのデータセットに対する半教師付きポーズ推定の性能を向上させる。
論文参考訳（メタデータ） (2023-11-03T08:11:06Z)
Open-set Face Recognition using Ensembles trained on Clustered Data [2.132096006921048]
この研究は、数百から数千の主題からなるギャラリーに対して、スケーラブルなオープンセットの顔識別アプローチを詳述している。クラスタリングとバイナリ学習アルゴリズムのアンサンブルで構成されており、クエリフェイスサンプルがフェイスギャラリーに属していることを推定し、その正体を検索する。
論文参考訳（メタデータ） (2023-08-14T20:34:54Z)
Robustness Stress Testing in Medical Image Classification [26.094688963784254]
我々はストレステストを用いて、疾患検出モデルにおけるモデルロバスト性およびサブグループパフォーマンスの相違を評価する。胸部X線画像と皮膚病変画像に対する疾患検出モデルのロバスト性の測定にストレステストを適用した。我々の実験は、いくつかのモデルが他のモデルよりもより堅牢で公平な性能が得られることを示唆している。
論文参考訳（メタデータ） (2023-08-14T02:02:56Z)
Zero-shot Model Diagnosis [80.36063332820568]
ディープラーニングモデルを評価するための一般的なアプローチは、興味のある属性を持つラベル付きテストセットを構築し、そのパフォーマンスを評価することである。本稿では,ゼロショットモデル診断(ZOOM)がテストセットやラベル付けを必要とせずに可能であることを論じる。
論文参考訳（メタデータ） (2023-03-27T17:59:33Z)
Estimating Confidence of Predictions of Individual Classifiers and Their Ensembles for the Genre Classification Task [0.0]
Genre IDは、非トピックテキスト分類のサブクラスである。 BERTやXLM-RoBERTaのような事前訓練されたトランスフォーマーに基づく神経モデルは、多くのNLPタスクにおいてSOTA結果を示す。
論文参考訳（メタデータ） (2022-06-15T09:59:05Z)
mc-BEiT: Multi-choice Discretization for Image BERT Pre-training [52.04866462439979]
Image BERT pre-training with masked image modeling (MIM)は、自己教師付き表現学習に対処する一般的な実践である。改良されたBERTスタイルの画像事前学習手法であるmc-BEiTを導入する。
論文参考訳（メタデータ） (2022-03-29T09:08:18Z)
Towards Semi-Supervised Deep Facial Expression Recognition with An Adaptive Confidence Margin [92.76372026435858]
Ada-CM(Adaptive Confidence Margin)を学習し、ラベルのないすべてのデータを半教師付き深層表情認識に活用する。すべてのラベルなしサンプルは、信頼スコアと適応的に学習された信頼マージンを比較して、2つのサブセットに分割される。提案手法は最先端の性能,特に半教師付きベースラインを超越した性能を実現する。
論文参考訳（メタデータ） (2022-03-23T11:43:29Z)
Face Identification Proficiency Test Designed Using Item Response Theory [5.284353550094401]
Triad Identity Matching (TIM) test is based onstimul difficulty measures based on Item Response Theory (IRT) based on Item Response Theory (IRT) 実験1では, 大学生がTIM検査で広範囲の精度を示した。 IRTベースの項目難易度尺度は、TIMテストを3つの「簡単」サブセットと3つの「難易度」サブセットに分割するために使用された。
論文参考訳（メタデータ） (2021-06-22T22:37:32Z)
Towards Universal Representation Learning for Deep Face Recognition [106.21744671876704]
対象のドメイン知識を活用せずに、与えられたトレーニングデータに見つからない大きな変化に対処できる普遍的な表現学習フレームワークを提案する。実験により,LFW や MegaFace などの一般的な顔認識データセットにおいて,本手法が最高性能を実現することを示す。
論文参考訳（メタデータ） (2020-02-26T23:29:57Z)
Suppressing Uncertainties for Large-Scale Facial Expression Recognition [81.51495681011404]
本稿では,不確実性を効果的に抑制し,深層ネットワークが不確実な顔画像に過度に収まらないような,シンプルで効率的なセルフキュアネットワーク(SCN)を提案する。公開ベンチマークの結果、我々のSCNは現在の最先端メソッドよりも、RAF-DBで textbf88.14%、AffectNetで textbf60.23%、FERPlusで textbf89.35% を上回りました。
論文参考訳（メタデータ） (2020-02-24T17:24:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。