論文の概要: Consensus and Subjectivity of Skin Tone Annotation for ML Fairness
- arxiv url: http://arxiv.org/abs/2305.09073v2
- Date: Fri, 27 Oct 2023 17:49:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-31 22:25:16.214341
- Title: Consensus and Subjectivity of Skin Tone Annotation for ML Fairness
- Title（参考訳）: MLフェアネスに対するスキントーンアノテーションの同意と主観性
- Authors: Candice Schumann, Gbolahan O. Olanubi, Auriel Wright, Ellis Monk Jr.,
Courtney Heldreth, Susanna Ricco
- Abstract要約: Monk Skin Tone Examples (MST-E)データセットをリリースしました。
本研究は, 環境条件の厳しい条件下であっても, MSTスケールの専門家と整合して, 皮膚のトーンを確実にアノテートできることを示唆する。
フェアネス研究では,各画像に対して多彩なアノテータと高い複製数を使用することを推奨する。
- 参考スコア（独自算出の注目度）: 1.0728297108232812
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Understanding different human attributes and how they affect model behavior
may become a standard need for all model creation and usage, from traditional
computer vision tasks to the newest multimodal generative AI systems. In
computer vision specifically, we have relied on datasets augmented with
perceived attribute signals (e.g., gender presentation, skin tone, and age) and
benchmarks enabled by these datasets. Typically labels for these tasks come
from human annotators. However, annotating attribute signals, especially skin
tone, is a difficult and subjective task. Perceived skin tone is affected by
technical factors, like lighting conditions, and social factors that shape an
annotator's lived experience. This paper examines the subjectivity of skin tone
annotation through a series of annotation experiments using the Monk Skin Tone
(MST) scale, a small pool of professional photographers, and a much larger pool
of trained crowdsourced annotators. Along with this study we release the Monk
Skin Tone Examples (MST-E) dataset, containing 1515 images and 31 videos spread
across the full MST scale. MST-E is designed to help train human annotators to
annotate MST effectively. Our study shows that annotators can reliably annotate
skin tone in a way that aligns with an expert in the MST scale, even under
challenging environmental conditions. We also find evidence that annotators
from different geographic regions rely on different mental models of MST
categories resulting in annotations that systematically vary across regions.
Given this, we advise practitioners to use a diverse set of annotators and a
higher replication count for each image when annotating skin tone for fairness
research.
- Abstract（参考訳）: 異なる人間の属性とモデル行動がどのように影響するかを理解することは、従来のコンピュータビジョンタスクから最新のマルチモーダル生成AIシステムに至るまで、すべてのモデル作成と使用の標準的ニーズになる可能性がある。
特にコンピュータビジョンでは、認識された属性信号(性別表示、肌の色、年齢など)を付加したデータセットと、これらのデータセットで可能なベンチマークに依存しています。
通常、これらのタスクのラベルは人間のアノテーションに由来する。
しかし、属性信号の注釈付け、特に肌のトーンは困難で主観的な作業である。
皮膚のトーン知覚は、照明条件などの技術的な要因や、注釈者の生活体験を形作る社会的要因に影響される。
本稿では,mst(monk skin tone)スケール,プロのフォトグラファーのプール,より大規模に訓練されたクラウドソース・アノテータを用いたアノテーション実験を通じて,スキントーンアノテーションの主観性について検討する。
この研究とともに、全MSTスケールに広がる1515の画像と31のビデオを含む、Monk Skin Tone Examples (MST-E)データセットをリリースしました。
MST-Eは、ヒトのアノテータにMSTを効果的にアノテートさせる訓練を支援するように設計されている。
本研究は, 環境条件の厳しい条件下であっても, MSTスケールの専門家と一致して皮膚のトーンを確実にアノテートできることを示す。
また、異なる地理的領域のアノテータがMSTカテゴリーの異なるメンタルモデルに依存していることを示す。
これを踏まえて,肌色を公正な研究にアノテートする場合,多様なアノテータセットと画像毎に高いレプリケーションカウントを使用することを実践者に推奨する。
関連論文リスト
- Colorimetric skin tone scale for improved accuracy and reduced perceptual bias of human skin tone annotations [0.0]
そこで我々は,従来の色調測定に基づいて,新しい色調尺度(CST)を開発した。
画像中の被験者の肌のトーンと肌のトーンを人間に評価させる実験を用いて、新しいCST尺度はより感度が高く、一貫性があり、色調的に正確であることを示した。
論文 参考訳（メタデータ） (2024-10-28T13:29:24Z) - A Multimodal Automated Interpretability Agent [63.8551718480664]
MAIAは、ニューラルモデルを使用して、ニューラルモデル理解タスクを自動化するシステムである。
まず、画像の学習表現における(ニューロンレベルの)特徴を記述できるMAIAの能力を特徴付ける。
次に、MAIAは、刺激的な特徴に対する感度の低下と、誤分類される可能性のある入力を自動的に識別する2つの追加の解釈可能性タスクに役立てることができることを示す。
論文 参考訳（メタデータ） (2024-04-22T17:55:11Z) - DDI-CoCo: A Dataset For Understanding The Effect Of Color Contrast In
Machine-Assisted Skin Disease Detection [51.92255321684027]
皮膚のトーンと色差効果の相互作用について検討し,色差が皮膚のトーン間のモデル性能バイアスの新たな原因となる可能性が示唆された。
我々の研究は皮膚疾患の検出を改善するために皮膚科のAIに補完的な角度を提供する。
論文 参考訳（メタデータ） (2024-01-24T07:45:24Z) - Q-Instruct: Improving Low-level Visual Abilities for Multi-modality
Foundation Models [81.20804369985376]
我々は,低レベルの視覚に対する多数の人間のフィードバックを収集する大規模主観的実験を行う。
構築された**Q-Pathway**データセットには、18,973イメージに関する58万の詳細な人間のフィードバックが含まれている。
我々は、GPT参加型変換を設計し、これらのフィードバックを多種多様な200K命令応答対に処理する。
論文 参考訳（メタデータ） (2023-11-12T09:10:51Z) - FACET: Fairness in Computer Vision Evaluation Benchmark [21.862644380063756]
コンピュータビジョンモデルは、性別や肌のトーンなどの属性間でパフォーマンスの相違が知られている。
FACET (FAirness in Computer Vision EvaluaTion) という新しいベンチマークを提案する。
FACETは、最も一般的な視覚タスクのための32kイメージの大規模な、一般公開された評価セットである。
論文 参考訳（メタデータ） (2023-08-31T17:59:48Z) - Towards Transparency in Dermatology Image Datasets with Skin Tone
Annotations by Experts, Crowds, and an Algorithm [3.6888633946892044]
皮膚疾患のパブリックおよびプライベート画像データセットには、皮膚の色に関する情報がほとんど含まれない。
透明性を高めるための出発点として、AI研究者は、患者の光感受性の尺度から皮膚のトーンを推定する尺度まで、Fitzpatrick skin type (FST)の使用を適当に検討した。
ITA-FSTに基づくアルゴリズムは,大規模な画像データセットのアノテートには信頼性が低いことを示す。
論文 参考訳（メタデータ） (2022-07-06T19:50:39Z) - DALL-Eval: Probing the Reasoning Skills and Social Biases of
Text-to-Image Generation Models [73.12069620086311]
テキスト・ツー・イメージ・モデルの視覚的推論能力と社会的バイアスについて検討する。
まず,物体認識,物体カウント,空間的関係理解という3つの視覚的推論スキルを計測する。
第2に、生成した画像の性別/肌の色調分布を測定することにより、性別と肌のトーンバイアスを評価する。
論文 参考訳（メタデータ） (2022-02-08T18:36:52Z) - A Comprehensive Study of Image Classification Model Sensitivity to
Foregrounds, Backgrounds, and Visual Attributes [58.633364000258645]
このデータセットをRIVAL10と呼びます。
本研究では,前景,背景,属性の騒音劣化に対する幅広いモデルの感度を評価する。
本稿では,多種多様な最先端アーキテクチャ (ResNets, Transformers) とトレーニング手順 (CLIP, SimCLR, DeiT, Adversarial Training) について考察する。
論文 参考訳（メタデータ） (2022-01-26T06:31:28Z) - Multi-Task Self-Training for Learning General Representations [97.01728635294879]
マルチタスク・セルフトレーニング(MuST)は、独立した専門教師モデルにおける知識を活用して、一人の一般学生モデルを訓練する。
MuSTはラベルなしまたは部分的にラベル付けされたデータセットでスケーラブルで、大規模データセットのトレーニングにおいて、特別な教師付きモデルとセルフ教師付きモデルの両方を上回っている。
論文 参考訳（メタデータ） (2021-08-25T17:20:50Z) - Reliability and Validity of Image-Based and Self-Reported Skin Phenotype
Metrics [0.0]
生体評価のための肌色測定は, 客観的, 特徴, 制御源から行う必要がある。
その結果,生体評価のための肌色測定は,客観的,特徴的,制御された情報源から行う必要があることがわかった。
論文 参考訳（メタデータ） (2021-06-18T16:12:24Z) - Towards measuring fairness in AI: the Casual Conversations dataset [9.246092246471955]
私たちのデータセットは3,011人の被験者で構成されており、45,000以上のビデオがあり、1人あたり平均15本のビデオがある。
ビデオはアメリカの複数の州で撮影され、年齢、性別、肌の色など様々な種類の成人が撮影された。
論文 参考訳（メタデータ） (2021-04-06T22:48:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。