論文の概要: What is a Goldilocks Face Verification Test Set?
- arxiv url: http://arxiv.org/abs/2405.15965v1
- Date: Fri, 24 May 2024 22:27:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-29 01:49:07.218554
- Title: What is a Goldilocks Face Verification Test Set?
- Title(参考訳): ゴールドロックの顔認証テストセットって何?
- Authors: Haiyu Wu, Sicong Tian, Aman Bhatta, Jacob Gutierrez, Grace Bezold, Genesis Argueta, Karl Ricanek Jr., Michael C. King, Kevin W. Bowyer,
- Abstract要約: 顔認識モデルは一般的に、数百万の画像を含むWebスクラッドデータセットで訓練される。
ウェブスクラッド画像から収集された列車とテストセットの両方により、列車とテストセット間の不整合性の集合を保証することが重要である。
現在の列車とテストセットは、一般的にアイデンティティやイメージの不一致ではなく、その結果、推定精度に楽観的なバイアスが生じることを示す。
- 参考スコア(独自算出の注目度): 5.518961562474026
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Face Recognition models are commonly trained with web-scraped datasets containing millions of images and evaluated on test sets emphasizing pose, age and mixed attributes. With train and test sets both assembled from web-scraped images, it is critical to ensure disjoint sets of identities between train and test sets. However, existing train and test sets have not considered this. Moreover, as accuracy levels become saturated, such as LFW $>99.8\%$, more challenging test sets are needed. We show that current train and test sets are generally not identity- or even image-disjoint, and that this results in an optimistic bias in the estimated accuracy. In addition, we show that identity-disjoint folds are important in the 10-fold cross-validation estimate of test accuracy. To better support continued advances in face recognition, we introduce two "Goldilocks" test sets, Hadrian and Eclipse. The former emphasizes challenging facial hairstyles and latter emphasizes challenging over- and under-exposure conditions. Images in both datasets are from a large, controlled-acquisition (not web-scraped) dataset, so they are identity- and image-disjoint with all popular training sets. Accuracy for these new test sets generally falls below that observed on LFW, CPLFW, CALFW, CFP-FP and AgeDB-30, showing that these datasets represent important dimensions for improvement of face recognition. The datasets are available at: \url{https://github.com/HaiyuWu/SOTA-Face-Recognition-Train-and-Test}
- Abstract(参考訳): 顔認識モデルは、何百万もの画像を含むWebスクラッドデータセットでトレーニングされ、ポーズ、年齢、混合属性を強調するテストセットで評価される。
ウェブスクラッド画像から収集された列車とテストセットの両方により、列車とテストセット間の不整合性の集合を保証することが重要である。
しかし、既存の列車や試験機はこれを考慮していない。
さらに、LFW $>99.8\%$のような精度レベルが飽和するにつれて、より困難なテストセットが必要になる。
現在の列車とテストセットは、一般的にアイデンティティやイメージの不一致ではなく、その結果、推定精度に楽観的なバイアスが生じることを示す。
さらに, 検証精度の10倍のクロスバリデーション推定において, 個人差分が重要であることを示す。
顔認識の継続的な進歩をサポートするため、私たちは2つの"Goldilocks"テストセット、HadrianとEclipseを紹介します。
前者は挑戦的な顔の髪型を強調し、後者は過度な露光条件と過度な露光条件を強調している。
両方のデータセットのイメージは、大きくて制御された(Webスクラッドではない)データセットから取得される。
これらの新しいテストセットの正確性は、LFW、CPLFW、CALFW、CFP-FP、 AgeDB-30で観測されたものよりも低く、これらのデータセットが顔認識を改善するための重要な次元を表していることを示している。
データセットは以下の通りである。 \url{https://github.com/HaiyuWu/SOTA-Face-Recognition-Train-and-Test}
関連論文リスト
- Identity Overlap Between Face Recognition Train/Test Data: Causing Optimistic Bias in Accuracy Measurement [5.3490692492497836]
トレーニングセットとテストセットの重複は 楽観的な精度の見積もりを引き起こす。
テストセットからの画像対の平均10倍の分類精度と推定されるのが一般的である。
実験の結果, LFW系テストセットとMS1MV2トレーニングセットの相違点と画像の重複点が明らかとなった。
論文 参考訳(メタデータ) (2024-05-15T14:59:26Z) - Semantic Contextualization of Face Forgery: A New Definition, Dataset, and Detection Method [77.65459419417533]
我々は,顔フォージェリを意味的文脈に配置し,意味的顔属性を変更する計算手法が顔フォージェリの源であることを定義した。
階層的なグラフで整理されたラベルの集合に各画像が関連付けられている大規模な顔偽画像データセットを構築した。
本稿では,ラベル関係を捕捉し,その優先課題を優先するセマンティクス指向の顔偽造検出手法を提案する。
論文 参考訳(メタデータ) (2024-05-14T10:24:19Z) - Diverse, Difficult, and Odd Instances (D2O): A New Test Set for Object
Classification [47.64219291655723]
既存のテストセットと十分に異なるD2Oと呼ばれる新しいテストセットを導入します。
私たちのデータセットには、36のカテゴリにまたがる8,060のイメージが含まれており、そのうち29がImageNetに表示されています。
私たちのデータセットで最高のTop-1精度は約60%で、ImageNetで91%のTop-1精度よりもはるかに低いです。
論文 参考訳(メタデータ) (2023-01-29T19:58:32Z) - When Handcrafted Features and Deep Features Meet Mismatched Training and
Test Sets for Deepfake Detection [13.405191042154367]
本稿では,2種類の手作り特徴(SIFTとHoG)と2種類の深度特徴(XceptionとCNN+RNN)を深度検出タスクに利用して比較する。
トレーニングセットとテストセットの間にミスマッチがある場合、これらの機能のパフォーマンスもチェックします。
論文 参考訳(メタデータ) (2022-09-27T10:15:46Z) - To Find Waldo You Need Contextual Cues: Debiasing Who's Waldo [53.370023611101175]
本稿では,Cuiらによって提案されたPerson-centric Visual Groundingタスクに対して,偏りのあるデータセットを提案する。
画像とキャプションが与えられた場合、PCVGはキャプションに記載されている人物の名前と、画像内の人物を指し示すバウンディングボックスをペアリングする必要がある。
オリジナルのWho's Waldoデータセットには、メソッドによって簡単に解ける多数のバイアスのあるサンプルが含まれていることが分かりました。
論文 参考訳(メタデータ) (2022-03-30T21:35:53Z) - Unpaired Referring Expression Grounding via Bidirectional Cross-Modal
Matching [53.27673119360868]
表現基盤の参照はコンピュータビジョンにおいて重要かつ困難な課題である。
本稿では,これらの課題に対処する新しい双方向クロスモーダルマッチング(BiCM)フレームワークを提案する。
私たちのフレームワークは、2つの一般的なグラウンドデータセットで、以前の作業の6.55%と9.94%を上回っています。
論文 参考訳(メタデータ) (2022-01-18T01:13:19Z) - Free Lunch for Co-Saliency Detection: Context Adjustment [14.688461235328306]
市販のサリエンシ検出データセットからの画像を利用して新しいサンプルを合成する「コストフリー」グループカットペースト(GCP)手順を提案する。
我々は、Context Adjustment Trainingと呼ばれる新しいデータセットを収集します。データセットの2つのバリエーション、すなわち、CATとCAT+は、それぞれ16,750と33,500の画像で構成されています。
論文 参考訳(メタデータ) (2021-08-04T14:51:37Z) - A Method for Curation of Web-Scraped Face Image Datasets [13.893682217746816]
データセットを集める際には、さまざまな問題が発生する。
何百万もの画像が存在しているため、手作業によるクリーニングは不可能である。
本稿では,顔認識手法をテストするためのクリーンなデータセットを提供することを目標とする半自動手法を提案する。
論文 参考訳(メタデータ) (2020-04-07T01:57:32Z) - Evaluating Models' Local Decision Boundaries via Contrast Sets [119.38387782979474]
テストデータの体系的なギャップを埋めるのに役立つNLPのための新しいアノテーションパラダイムを提案する。
10種類のNLPデータセットに対してコントラストセットを作成することで,コントラストセットの有効性を示す。
我々のコントラストセットは明示的には逆ではないが、モデルの性能は元のテストセットよりも大幅に低い。
論文 参考訳(メタデータ) (2020-04-06T14:47:18Z) - Suppressing Uncertainties for Large-Scale Facial Expression Recognition [81.51495681011404]
本稿では,不確実性を効果的に抑制し,深層ネットワークが不確実な顔画像に過度に収まらないような,シンプルで効率的なセルフキュアネットワーク(SCN)を提案する。
公開ベンチマークの結果、我々のSCNは現在の最先端メソッドよりも、RAF-DBで textbf88.14%、AffectNetで textbf60.23%、FERPlusで textbf89.35% を上回りました。
論文 参考訳(メタデータ) (2020-02-24T17:24:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。