論文の概要: Discipline and Label: A WEIRD Genealogy and Social Theory of Data
Annotation
- arxiv url: http://arxiv.org/abs/2402.06811v1
- Date: Fri, 9 Feb 2024 22:21:55 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-13 19:07:14.289331
- Title: Discipline and Label: A WEIRD Genealogy and Social Theory of Data
Annotation
- Title（参考訳）: Discipline and Label: データアノテーションのWEIRD系譜と社会理論
- Authors: Andrew Smart, Ding Wang, Ellis Monk, Mark D\'iaz, Atoosa Kasirzadeh,
Erin Van Liemt, Sonja Schmer-Galunder
- Abstract要約: データアノテーションは、マシンラーニングやAIとは相変わらず無関係だ。
近年の実証研究は、公正性に対するレーダ多様性の重要性、モデル性能、ラベルに対するアノテータの主観性の役割を強調している。
本稿では,その心理的・知覚的側面から,データアノテーションの批判的系譜を概説する。
- 参考スコア（独自算出の注目度）: 11.48611587310938
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Data annotation remains the sine qua non of machine learning and AI. Recent
empirical work on data annotation has begun to highlight the importance of
rater diversity for fairness, model performance, and new lines of research have
begun to examine the working conditions for data annotation workers, the
impacts and role of annotator subjectivity on labels, and the potential
psychological harms from aspects of annotation work. This paper outlines a
critical genealogy of data annotation; starting with its psychological and
perceptual aspects. We draw on similarities with critiques of the rise of
computerized lab-based psychological experiments in the 1970's which question
whether these experiments permit the generalization of results beyond the
laboratory settings within which these results are typically obtained. Do data
annotations permit the generalization of results beyond the settings, or
locations, in which they were obtained? Psychology is overly reliant on
participants from Western, Educated, Industrialized, Rich, and Democratic
societies (WEIRD). Many of the people who work as data annotation platform
workers, however, are not from WEIRD countries; most data annotation workers
are based in Global South countries. Social categorizations and classifications
from WEIRD countries are imposed on non-WEIRD annotators through instructions
and tasks, and through them, on data, which is then used to train or evaluate
AI models in WEIRD countries. We synthesize evidence from several recent lines
of research and argue that data annotation is a form of automated social
categorization that risks entrenching outdated and static social categories
that are in reality dynamic and changing. We propose a framework for
understanding the interplay of the global social conditions of data annotation
with the subjective phenomenological experience of data annotation work.
- Abstract（参考訳）: データアノテーションは、マシンラーニングやAIとは相変わらず無関係だ。
データアノテーションに関する最近の実証研究は、データアノテーション作業者の作業状況、ラベルに対するアノテータの主観性の影響、そして、アノテーション作業の側面から潜在的心理的害について、レーダの多様性の重要性、モデルパフォーマンス、新しい研究ラインが注目され始めている。
本稿では,その心理的・知覚的側面から,データアノテーションの批判的系譜を概説する。
我々は,1970年代にコンピュータ実験による心理学実験が盛んになったことの批判と類似点について考察し,これらの実験が実験室の環境を超えて実験結果の一般化を可能にするかどうかを疑問視する。
データアノテーションは、取得した設定や場所を超えた結果の一般化を可能にしますか?
心理学は、西洋、教育、工業化、富裕化、民主社会(WEIRD)の参加者に過度に依存している。
しかし、データアノテーションプラットフォームワーカーとして働いている人々の多くは、奇妙な国出身ではない。
WEIRD諸国の社会的分類と分類は、非WEIRDアノテータに対して命令やタスクを通じて、そしてそれらを通じてデータに基づいて課され、WEIRD諸国のAIモデルを訓練または評価するために使用される。
我々は最近の研究のいくつかの行から証拠を合成し、データアノテーションは時代遅れで静的な社会カテゴリーが実際に動的かつ変化するリスクを負う、自動的な社会分類の一形態であると主張している。
本稿では,データアノテーション作業の主観的現象論的経験から,データアノテーションのグローバルな社会的条件の相互作用を理解するための枠組みを提案する。
関連論文リスト
- Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。
まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。
次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
論文 参考訳（メタデータ） (2023-09-02T00:32:55Z) - Fairness meets Cross-Domain Learning: a new perspective on Models and
Metrics [80.07271410743806]
クロスドメイン学習(CD)とモデルフェアネスの関係について検討する。
いくつかの人口集団にまたがる顔画像と医療画像のベンチマークと、分類とローカライゼーションタスクについて紹介する。
本研究は,3つの最先端フェアネスアルゴリズムとともに,14のCDアプローチをカバーし,前者が後者に勝ることを示す。
論文 参考訳（メタデータ） (2023-03-25T09:34:05Z) - Stable Bias: Analyzing Societal Representations in Diffusion Models [72.27121528451528]
本稿では,テキスト・ツー・イメージ(TTI)システムにおける社会的バイアスを探索する新しい手法を提案する。
我々のアプローチは、プロンプト内の性別や民族のマーカーを列挙して生成された画像の変動を特徴づけることに依存している。
我々はこの手法を利用して3つのTTIシステムによって生成された画像を分析し、そのアウトプットが米国の労働人口層と相関しているのに対して、彼らは常に異なる範囲において、限界化されたアイデンティティを低く表現している。
論文 参考訳（メタデータ） (2023-03-20T19:32:49Z) - D-BIAS: A Causality-Based Human-in-the-Loop System for Tackling
Algorithmic Bias [57.87117733071416]
D-BIASは、人間のループ内AIアプローチを具現化し、社会的バイアスを監査し軽減する視覚対話型ツールである。
ユーザは、因果ネットワークにおける不公平な因果関係を識別することにより、グループに対する偏見の存在を検出することができる。
それぞれのインタラクション、例えばバイアスのある因果縁の弱体化/削除は、新しい(偏りのある)データセットをシミュレートするために、新しい方法を用いている。
論文 参考訳（メタデータ） (2022-08-10T03:41:48Z) - Data Representativity for Machine Learning and AI Systems [2.588973722689844]
機械学習モデルを通じてデータから推論を描く場合、データの表現力は不可欠である。
本稿では,AIとサンプリングに関する科学文献におけるデータ表現性について分析する。
論文 参考訳（メタデータ） (2022-03-09T13:34:52Z) - Representative & Fair Synthetic Data [68.8204255655161]
公平性制約を自己監督学習プロセスに組み込むためのフレームワークを提示する。
私たちはuci成人国勢調査データセットの代表者および公正版を作成します。
我々は、代表的かつ公正な合成データを将来有望なビルディングブロックとみなし、歴史的世界ではなく、私たちが生きようとしている世界についてアルゴリズムを教える。
論文 参考訳（メタデータ） (2021-04-07T09:19:46Z) - Through the Data Management Lens: Experimental Analysis and Evaluation
of Fair Classification [75.49600684537117]
データ管理研究は、データとアルゴリズムの公平性に関連するトピックに対する存在感と関心が高まっている。
我々は,その正しさ,公平性,効率性,スケーラビリティ,安定性よりも,13の公正な分類アプローチと追加の変種を幅広く分析している。
我々の分析は、異なるメトリクスとハイレベルなアプローチ特性がパフォーマンスの異なる側面に与える影響に関する新しい洞察を強調します。
論文 参考訳（メタデータ） (2021-01-18T22:55:40Z) - Between Subjectivity and Imposition: Power Dynamics in Data Annotation
for Computer Vision [1.933681537640272]
本稿では,産業的文脈における画像データアノテーションの実践について検討する。
我々は、アノテータがラベルを使ってデータに意味を割り当てる、センスメイキングの実践としてデータアノテーションを定義します。
論文 参考訳（メタデータ） (2020-07-29T15:02:56Z) - Bringing the People Back In: Contesting Benchmark Machine Learning
Datasets [11.00769651520502]
機械学習データの系譜である研究プログラムを概説し、これらのデータセットの作成方法と理由について検討する。
機械学習におけるベンチマークデータセットを基盤として運用する方法を解説し、これらのデータセットについて4つの研究課題を提起する。
論文 参考訳（メタデータ） (2020-07-14T23:22:13Z) - Jointly Predicting Job Performance, Personality, Cognitive Ability,
Affect, and Well-Being [42.67003631848889]
本研究では,身体的および生理的行動,心理的状態と特徴,職能を統合した個人予測分析のためのベンチマークを作成する。
我々は、データマイニング技術をベンチマークとして設計し、ウェアラブルセンサから得られた真のノイズと不完全なデータを用いて、12の標準化された精確なテストに基づいて19の構造を予測する。
論文 参考訳（メタデータ） (2020-06-10T14:30:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。