論文の概要: Consistency and Accuracy of CelebA Attribute Values

• arxiv url: http://arxiv.org/abs/2210.07356v1
• Date: Thu, 13 Oct 2022 21:02:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-17 16:44:10.055944
• Title: Consistency and Accuracy of CelebA Attribute Values
• Title（参考訳）: CelebA属性値の一貫性と精度
• Authors: Haiyu Wu, Grace Bezold, Manuel G\"unther, Terrance Boult, Michael C. King, Kevin W. Bowyer
• Abstract要約: この研究領域で最も広く使われているデータセットであるCelebAでは、5,068個の顔が重複している。 個々の属性は5,068個の重複のうち10から860個の値に矛盾していることがわかった。 MSO属性値の修正版を作成し、元の値と修正された値を用いて生成された分類モデルを比較する。
• 参考スコア（独自算出の注目度）: 5.915355286515552
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We report the first analysis of the experimental foundations of facial attribute classification. An experiment with two annotators independently assigning values shows that only 12 of 40 commonly-used attributes are assigned values with >= 95% consistency, and that three (high cheekbones, pointed nose, oval face) have random consistency (50%). These results show that the binary face attributes currently used in this research area could re-focused to be more objective. We identify 5,068 duplicate face appearances in CelebA, the most widely used dataset in this research area, and find that individual attributes have contradicting values on from 10 to 860 of 5,068 duplicates. Manual audit of a subset of CelebA estimates error rates as high as 40% for (no beard=false), even though the labeling consistency experiment indicates that no beard could be assigned with >= 95% consistency. Selecting the mouth slightly open (MSO) attribute for deeper analysis, we estimate the error rate for (MSO=true) at about 20% and for (MSO=false) at about 2%. We create a corrected version of the MSO attribute values, and compare classification models created using the original versus corrected values. The corrected values enable a model that achieves higher accuracy than has been previously reported for MSO. Also, ScoreCAM visualizations show that the model created using the corrected attribute values is in fact more focused on the mouth region of the face. These results show that the error rate in the current CelebA attribute values should be reduced in order to enable learning of better models. The corrected attribute values for CelebA's MSO and the CelebA facial hair attributes will be made available upon publication.
• Abstract（参考訳）: 顔属性分類の実験的基礎について,第1報を報告する。 2つのアノテータが独立に値を割り当てる実験では、40の一般的な属性のうち12のみが >=95% の値で割り当てられており、3つの(高い頬骨、尖った鼻、楕円形の顔)がランダムに整合している(50%)。 これらの結果から,現在研究領域で使用されている二面顔属性は,より客観的に再焦点が当てられる可能性が示唆された。 この領域で最も広く使われているデータセットであるCelebAでは、5,068個の顔の重複が識別され、個々の属性が5,068個の重複のうち10から860個の値に矛盾していることが判明した。 CelebAのサブセットを手動で検査したところ、(あご=falseを含まない)最大40%の誤差率が推定された。 口開度(MSO=true)と口開度(MSO=false)の誤差率(MSO=true)を約20%,口開度(MSO=false)を約2%と推定した。 MSO属性値の修正版を作成し、元の値と修正された値を用いて生成された分類モデルを比較する。 修正された値は、MSOで以前報告されたよりも精度の高いモデルを可能にする。 また、ScoreCAMの視覚化では、修正された属性値を用いて生成されたモデルは、実際には顔の口領域により集中している。 これらの結果から,現在のCelebA属性値の誤差率を低減して,より良いモデル学習を可能にすることが示唆された。 celebaのmsoとceleba face hair attributeの修正された属性値は、公開時に利用可能になる。

関連論文リスト

• Distributionally Generative Augmentation for Fair Facial Attribute Classification [69.97710556164698]
  Facial Attribute Classification (FAC) は広く応用されている。 従来の手法で訓練されたFACモデルは、様々なデータサブポピュレーションにまたがる精度の不整合を示すことによって不公平である可能性がある。 本研究は,付加アノテーションなしでバイアスデータ上で公正なFACモデルをトレーニングするための,新しい世代ベースの2段階フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-11T10:50:53Z)
• Assessing the Efficacy of Grammar Error Correction: A Human Evaluation Approach in the Japanese Context [10.047123247001714]
  我々は,最先端のシーケンスタギング文法誤り検出・修正モデル(SeqTagger)の性能評価を行った。 自動アノテーションツールキット ERRANT を用いて,SeqTagger の性能評価を行った。 その結果、精度は63.66%、リコールは20.19%であった。
  論文  参考訳（メタデータ） (2024-02-28T06:43:43Z)
• BUMP: A Benchmark of Unfaithful Minimal Pairs for Meta-Evaluation of Faithfulness Metrics [70.52570641514146]
  不誠実な最小対 (BUMP) のベンチマークを示す。 BUMPは、889人の人間が書いた最小限のサマリーペアのデータセットである。 非ペアベースのデータセットとは異なり、BUMPはメトリクスの一貫性を測定するために使用することができる。
  論文  参考訳（メタデータ） (2022-12-20T02:17:30Z)
• Predicting Gender via Eye Movements [2.0625936401496237]
  眼球運動による性別予測の最初の安定した結果を報告する。 顔の画像を用いたデータセットを刺激として使用し、370人の参加者を多数参加させた。 以上の結果から,女性の方が刺激の左目に対して偏見が強いことが示唆された。
  論文  参考訳（メタデータ） (2022-06-15T10:36:13Z)
• Spread Spurious Attribute: Improving Worst-group Accuracy with Spurious Attribute Estimation [72.92329724600631]
  本稿では,最悪のグループ精度を向上させるために,疑似属性に基づくアルゴリズムSpread Spurious Attributeを提案する。 各種ベンチマークデータセットに対する実験により,アルゴリズムはベースライン法より一貫して優れていることが示された。 また,提案したSSAは,フル (100%) のスプリアス特性監視を用いた手法に匹敵する性能を達成できることを実証した。
  論文  参考訳（メタデータ） (2022-04-05T09:08:30Z)
• RankingMatch: Delving into Semi-Supervised Learning with Consistency Regularization and Ranking Loss [3.5893231087319655]
  ラベル付きデータに制限がある場合、ラベル付きデータを活用する上で、半教師付き学習(SSL)が重要な役割を果たす。 そこで我々は,摂動入力だけでなく,同じラベルを持つ入力間の類似性も考慮する新しい手法である RankingMatch を提案する。 当社の RankingMatch は,さまざまなラベル付きデータ量を持つ標準SSLベンチマークにおいて,最先端のパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2021-10-09T01:54:29Z)
• Selective Question Answering under Domain Shift [90.021577320085]
  モデルがドメイン外の入力に対して過度に信頼されているため、モデルのソフトマックス確率のみに基づくアテンションポリシーは不適切である。 キャリブレータをトレーニングして、QAモデルがアースする入力を識別し、エラーを予測した場合に停止する。 提案手法は,80%の精度を維持しながら56%の質問に回答するが,それに対してモデルの確率を直接使用する場合,80%の精度で48%しか回答しない。
  論文  参考訳（メタデータ） (2020-06-16T19:13:21Z)
• TACRED Revisited: A Thorough Evaluation of the TACRED Relation Extraction Task [80.38130122127882]
  TACREDはリレーショナル抽出(RE)において最も大きく、最も広く使われているクラウドソースデータセットの1つである パフォーマンスの天井に到達したのか、改善の余地はあるのか? ラベルエラーは絶対F1テストエラーの8%を占めており、例の50%以上を可逆化する必要がある。
  論文  参考訳（メタデータ） (2020-04-30T15:07:37Z)
• FixMatch: Simplifying Semi-Supervised Learning with Consistency and Confidence [93.91751021370638]
  半教師付き学習(SSL)は、ラベルのないデータを活用してモデルの性能を向上させる効果的な手段を提供する。 本稿では、整合正則化と擬似ラベル付けという2つの共通SSL手法の単純な組み合わせのパワーを実証する。 筆者らのアルゴリズムであるFixMatchは、まず、弱拡張未ラベル画像上のモデルの予測を用いて擬似ラベルを生成する。
  論文  参考訳（メタデータ） (2020-01-21T18:32:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。