論文の概要: Consistency and Accuracy of CelebA Attribute Values
- arxiv url: http://arxiv.org/abs/2210.07356v2
- Date: Sun, 16 Apr 2023 17:17:22 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-18 23:56:03.544622
- Title: Consistency and Accuracy of CelebA Attribute Values
- Title（参考訳）: CelebA属性値の一貫性と精度
- Authors: Haiyu Wu, Grace Bezold, Manuel G\"unther, Terrance Boult, Michael C.
King, Kevin W. Bowyer
- Abstract要約: 40の共通属性のうち12のみが >=95% の整合性を持つ割り当てられた値である。
CelebAの5,068個の顔の出現のうち、特性は5,068個の顔の10から860の値に矛盾する。
- 参考スコア（独自算出の注目度）: 5.915355286515552
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We report the first systematic analysis of the experimental foundations of
facial attribute classification. Two annotators independently assigning
attribute values shows that only 12 of 40 common attributes are assigned values
with >= 95% consistency, and three (high cheekbones, pointed nose, oval face)
have essentially random consistency. Of 5,068 duplicate face appearances in
CelebA, attributes have contradicting values on from 10 to 860 of the 5,068
duplicates. Manual audit of a subset of CelebA estimates error rates as high as
40% for (no beard=false), even though the labeling consistency experiment
indicates that no beard could be assigned with >= 95% consistency. Selecting
the mouth slightly open (MSO) for deeper analysis, we estimate the error rate
for (MSO=true) at about 20% and (MSO=false) at about 2%. A corrected version of
the MSO attribute values enables learning a model that achieves higher accuracy
than previously reported for MSO. Corrected values for CelebA MSO are available
at https://github.com/HaiyuWu/CelebAMSO.
- Abstract（参考訳）: 顔面属性分類の実験的基礎に関する最初の体系的分析を報告する。
属性値を独立に割り当てる2つのアノテータは、40の共通属性のうち12のみが >=95% の一貫性で割り当てられた値であり、3つの(高い頬骨、尖った鼻、楕円形の顔)が本質的にランダムな一貫性を持つことを示している。
セレバでは5,068の重複顔のうち、属性は5,068の重複のうち10から860の値と矛盾している。
CelebAのサブセットを手動で検査したところ、(あご=falseを含まない)最大40%の誤差率が推定された。
より深い分析のために口開き(MSO)を選択すると, (MSO=true) の誤差率を約20%, (MSO=false) を約2%と推定する。
mso属性値の修正版では、以前報告されたmsoよりも精度の高いモデルを学ぶことができる。
CelebA MSOの修正値はhttps://github.com/HaiyuWu/CelebAMSOで入手できる。
関連論文リスト
- Distributionally Generative Augmentation for Fair Facial Attribute Classification [69.97710556164698]
Facial Attribute Classification (FAC) は広く応用されている。
従来の手法で訓練されたFACモデルは、様々なデータサブポピュレーションにまたがる精度の不整合を示すことによって不公平である可能性がある。
本研究は,付加アノテーションなしでバイアスデータ上で公正なFACモデルをトレーニングするための,新しい世代ベースの2段階フレームワークを提案する。
論文 参考訳（メタデータ） (2024-03-11T10:50:53Z) - Assessing the Efficacy of Grammar Error Correction: A Human Evaluation
Approach in the Japanese Context [10.047123247001714]
我々は,最先端のシーケンスタギング文法誤り検出・修正モデル(SeqTagger)の性能評価を行った。
自動アノテーションツールキット ERRANT を用いて,SeqTagger の性能評価を行った。
その結果、精度は63.66%、リコールは20.19%であった。
論文 参考訳（メタデータ） (2024-02-28T06:43:43Z) - BUMP: A Benchmark of Unfaithful Minimal Pairs for Meta-Evaluation of
Faithfulness Metrics [70.52570641514146]
不誠実な最小対 (BUMP) のベンチマークを示す。
BUMPは、889人の人間が書いた最小限のサマリーペアのデータセットである。
非ペアベースのデータセットとは異なり、BUMPはメトリクスの一貫性を測定するために使用することができる。
論文 参考訳（メタデータ） (2022-12-20T02:17:30Z) - Predicting Gender via Eye Movements [2.0625936401496237]
眼球運動による性別予測の最初の安定した結果を報告する。
顔の画像を用いたデータセットを刺激として使用し、370人の参加者を多数参加させた。
以上の結果から,女性の方が刺激の左目に対して偏見が強いことが示唆された。
論文 参考訳（メタデータ） (2022-06-15T10:36:13Z) - Spread Spurious Attribute: Improving Worst-group Accuracy with Spurious
Attribute Estimation [72.92329724600631]
本稿では,最悪のグループ精度を向上させるために,疑似属性に基づくアルゴリズムSpread Spurious Attributeを提案する。
各種ベンチマークデータセットに対する実験により,アルゴリズムはベースライン法より一貫して優れていることが示された。
また,提案したSSAは,フル (100%) のスプリアス特性監視を用いた手法に匹敵する性能を達成できることを実証した。
論文 参考訳（メタデータ） (2022-04-05T09:08:30Z) - RankingMatch: Delving into Semi-Supervised Learning with Consistency
Regularization and Ranking Loss [3.5893231087319655]
ラベル付きデータに制限がある場合、ラベル付きデータを活用する上で、半教師付き学習(SSL)が重要な役割を果たす。
そこで我々は,摂動入力だけでなく,同じラベルを持つ入力間の類似性も考慮する新しい手法である RankingMatch を提案する。
当社の RankingMatch は,さまざまなラベル付きデータ量を持つ標準SSLベンチマークにおいて,最先端のパフォーマンスを実現しています。
論文 参考訳（メタデータ） (2021-10-09T01:54:29Z) - Selective Question Answering under Domain Shift [90.021577320085]
モデルがドメイン外の入力に対して過度に信頼されているため、モデルのソフトマックス確率のみに基づくアテンションポリシーは不適切である。
キャリブレータをトレーニングして、QAモデルがアースする入力を識別し、エラーを予測した場合に停止する。
提案手法は,80%の精度を維持しながら56%の質問に回答するが,それに対してモデルの確率を直接使用する場合,80%の精度で48%しか回答しない。
論文 参考訳（メタデータ） (2020-06-16T19:13:21Z) - TACRED Revisited: A Thorough Evaluation of the TACRED Relation
Extraction Task [80.38130122127882]
TACREDはリレーショナル抽出(RE)において最も大きく、最も広く使われているクラウドソースデータセットの1つである
パフォーマンスの天井に到達したのか、改善の余地はあるのか?
ラベルエラーは絶対F1テストエラーの8%を占めており、例の50%以上を可逆化する必要がある。
論文 参考訳（メタデータ） (2020-04-30T15:07:37Z) - FixMatch: Simplifying Semi-Supervised Learning with Consistency and
Confidence [93.91751021370638]
半教師付き学習(SSL)は、ラベルのないデータを活用してモデルの性能を向上させる効果的な手段を提供する。
本稿では、整合正則化と擬似ラベル付けという2つの共通SSL手法の単純な組み合わせのパワーを実証する。
筆者らのアルゴリズムであるFixMatchは、まず、弱拡張未ラベル画像上のモデルの予測を用いて擬似ラベルを生成する。
論文 参考訳（メタデータ） (2020-01-21T18:32:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。