論文の概要: Label quality in AffectNet: results of crowd-based re-annotation

• arxiv url: http://arxiv.org/abs/2110.04476v1
• Date: Sat, 9 Oct 2021 06:48:08 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-17 02:59:36.710486
• Title: Label quality in AffectNet: results of crowd-based re-annotation
• Title（参考訳）: AffectNetのラベル品質:クラウドベースの再注釈の結果
• Authors: Doo Yon Kim, Christian Wallraven
• Abstract要約: クラウドベースのアノテーションでAffectNetのリラベルと再アノテーションを行う。 人間のラベルは中から良質な一貫性を持つが、人間の評価は優れた一致である。 クラウドベースのレーベルは、中立と幸福のカテゴリーに大きくシフトしている。
• 参考スコア（独自算出の注目度）: 5.025654873456756
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: AffectNet is one of the most popular resources for facial expression recognition (FER) on relatively unconstrained in-the-wild images. Given that images were annotated by only one annotator with limited consistency checks on the data, however, label quality and consistency may be limited. Here, we take a similar approach to a study that re-labeled another, smaller dataset (FER2013) with crowd-based annotations, and report results from a re-labeling and re-annotation of a subset of difficult AffectNet faces with 13 people on both expression label, and valence and arousal ratings. Our results show that human labels overall have medium to good consistency, whereas human ratings especially for valence are in excellent agreement. Importantly, however, crowd-based labels are significantly shifting towards neutral and happy categories and crowd-based affective ratings form a consistent pattern different from the original ratings. ResNets fully trained on the original AffectNet dataset do not predict human voting patterns, but when weakly-trained do so much better, particularly for valence. Our results have important ramifications for label quality in affective computing.
• Abstract（参考訳）: AffectNetは、比較的制約のない画像の表情認識(FER)において最も人気のあるリソースの1つである。 データの一貫性チェックに制限があるアノテータが1つだけアノテートされていることを考えると、ラベルの品質と一貫性は制限される可能性がある。 ここでは、クラウドベースのアノテーションで別の小さなデータセット(fer2013)を再ラベル付けし、式ラベルとヴァレンスと覚醒評価の両方に13人いる難解なインフルエントネットのサブセットの再ラベルと再注釈の結果を報告した研究にも同様のアプローチを取ります。 以上の結果から,ヒトのラベルは概ね中～良質な整合性を示し,特に有能な評価は良好である。 しかし、重要なことに、クラウドベースのラベルは中立性や幸福なカテゴリーに大きくシフトしており、クラウドベースの感情評価はオリジナルの評価とは異なる一貫したパターンを形成している。 オリジナルのAffectNetデータセットで完全にトレーニングされたResNetは、人間の投票パターンを予測しないが、弱いトレーニングを受けた場合には、特に原子価がはるかに向上する。 この結果は,感情コンピューティングにおけるラベル品質に重要な影響を与える。

関連論文リスト

• Label Filling via Mixed Supervision for Medical Image Segmentation from Noisy Annotations [22.910649758574852]
  本稿では,LF-Net と呼ばれるシンプルで効果的なラベルフィリングフレームワークを提案する。 トレーニング中にノイズの多いアノテーションのみを付与した、基礎的なセグメンテーションラベルを予測する。 5つのデータセットの結果から、LF-Netは最先端の手法と比較して、すべてのデータセットのセグメンテーション精度を向上することが示された。
  論文  参考訳（メタデータ） (2024-10-21T14:36:36Z)
• Capturing Perspectives of Crowdsourced Annotators in Subjective Learning Tasks [9.110872603799839]
  監督された分類は、人間によって注釈付けされたデータセットに大きく依存する。 毒性分類などの主観的なタスクでは、これらのアノテーションはラッカー間での合意が低くなることが多い。 本研究では、主観的分類タスクのためのtextbfAnnotator Awares for Texts (AART) を提案する。
  論文  参考訳（メタデータ） (2023-11-16T10:18:32Z)
• Fine-grained Recognition with Learnable Semantic Data Augmentation [68.48892326854494]
  きめ細かい画像認識は、長年続くコンピュータビジョンの課題である。 本稿では,識別領域損失問題を軽減するため,特徴レベルのトレーニングデータを多様化することを提案する。 本手法は,いくつかの人気分類ネットワーク上での一般化性能を著しく向上させる。
  論文  参考訳（メタデータ） (2023-09-01T11:15:50Z)
• Pseudo Contrastive Learning for Graph-based Semi-supervised Learning [67.37572762925836]
  Pseudo Labelingは、グラフニューラルネットワーク(GNN)の性能向上に使用されるテクニックである。 我々はPseudo Contrastive Learning(PCL)と呼ばれるGNNのための一般的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-02-19T10:34:08Z)
• SoftMatch: Addressing the Quantity-Quality Trade-off in Semi-supervised Learning [101.86916775218403]
  本稿では, サンプル重み付けを統一した定式化により, 一般的な擬似ラベル法を再検討する。 トレーニング中の擬似ラベルの量と質を両立させることでトレードオフを克服するSoftMatchを提案する。 実験では、画像、テキスト、不均衡な分類など、さまざまなベンチマークで大幅に改善されている。
  論文  参考訳（メタデータ） (2023-01-26T03:53:25Z)
• SeedBERT: Recovering Annotator Rating Distributions from an Aggregated Label [43.23903984174963]
  単一ラベルからアノテータ評価分布を復元するSeedBERTを提案する。 人間の評価は,SeedBERTの注意機構がアノテータの不一致の原因と一致していることを示している。
  論文  参考訳（メタデータ） (2022-11-23T18:35:15Z)
• An Empirical Investigation of Learning from Biased Toxicity Labels [15.822714574671412]
  我々は,人間の注釈付きラベルの小さなデータセットと,合成されたラベルの大きいがノイズの多いデータセットを,異なるトレーニング戦略が活用できるかを検討する。 これらの手法の精度と公平性、および両者のトレードオフを評価する。
  論文  参考訳（メタデータ） (2021-10-04T17:19:57Z)
• Disentangling Sampling and Labeling Bias for Learning in Large-Output Spaces [64.23172847182109]
  異なる負のサンプリングスキームが支配的ラベルと稀なラベルで暗黙的にトレードオフパフォーマンスを示す。 すべてのラベルのサブセットで作業することで生じるサンプリングバイアスと、ラベルの不均衡に起因するデータ固有のラベルバイアスの両方に明示的に対処する統一された手段を提供する。
  論文  参考訳（メタデータ） (2021-05-12T15:40:13Z)
• Exploiting Sample Uncertainty for Domain Adaptive Person Re-Identification [137.9939571408506]
  各サンプルに割り当てられた擬似ラベルの信頼性を推定・活用し,ノイズラベルの影響を緩和する。 不確実性に基づく最適化は大幅な改善をもたらし、ベンチマークデータセットにおける最先端のパフォーマンスを達成します。
  論文  参考訳（メタデータ） (2020-12-16T04:09:04Z)
• Debiased Contrastive Learning [64.98602526764599]
  我々は,同ラベルデータポイントのサンプリングを補正する,偏りのあるコントラスト目的の開発を行う。 実証的に、提案する目的は、視覚、言語、強化学習ベンチマークにおける表現学習の最先端を一貫して上回る。
  論文  参考訳（メタデータ） (2020-07-01T04:25:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。