論文の概要: Improving Task Instructions for Data Annotators: How Clear Rules and Higher Pay Increase Performance in Data Annotation in the AI Economy
- arxiv url: http://arxiv.org/abs/2312.14565v2
- Date: Fri, 16 Aug 2024 15:12:36 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-19 20:55:32.992939
- Title: Improving Task Instructions for Data Annotators: How Clear Rules and Higher Pay Increase Performance in Data Annotation in the AI Economy
- Title（参考訳）: データアノテータのタスク命令の改善: AI経済におけるデータアノテーションにおける明確なルールとより高い報酬向上
- Authors: Johann Laux, Fabian Stephany, Alice Liefgreen,
- Abstract要約: AIアプリケーションの世界的急増は、業界を変革させ、既存の雇用の移動と補完を招きつつ、新たな雇用機会を生み出している。
人間の作業員による画像のラベル付けやテキストの注釈付けを含むデータアノテーションは、データセットの品質に直接影響を与える。
本稿では,データアノテーションの経済性に着目し,タスク・インストラクションの設計と金銭的インセンティブがデータ品質とコストに与える影響に着目した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The global surge in AI applications is transforming industries, leading to displacement and complementation of existing jobs, while also giving rise to new employment opportunities. Data annotation, encompassing the labelling of images or annotating of texts by human workers, crucially influences the quality of a dataset directly influences the quality of AI models trained on it. This paper delves into the economics of data annotation, with a specific focus on the impact of task instruction design (that is, the choice between rules and standards as theorised in law and economics) and monetary incentives on data quality and costs. An experimental study involving 307 data annotators examines six groups with varying task instructions (norms) and monetary incentives. Results reveal that annotators provided with clear rules exhibit higher accuracy rates, outperforming those with vague standards by 14%. Similarly, annotators receiving an additional monetary incentive perform significantly better, with the highest accuracy rate recorded in the group working with both clear rules and incentives (87.5% accuracy). In addition, our results show that rules are perceived as being more helpful by annotators than standards and reduce annotators' difficulty in annotating images. These empirical findings underscore the double benefit of rule-based instructions on both data quality and worker wellbeing. Our research design allows us to reveal that, in our study, rules are more cost-efficient in increasing accuracy than monetary incentives. The paper contributes experimental insights to discussions on the economical, ethical, and legal considerations of AI technologies. Addressing policymakers and practitioners, we emphasise the need for a balanced approach in optimising data annotation processes for efficient and ethical AI development and usage.
- Abstract（参考訳）: AIアプリケーションの世界的急増は、業界を変革させ、既存の雇用の移動と補完を招き、同時に新たな雇用機会ももたらしている。
人間の作業員による画像のラベル付けやテキストの注釈付けを含むデータアノテーションは、データセットの品質に直接影響を与える。
本稿では,データアノテーションの経済性に着目し,タスク・インストラクション・デザイン(すなわち,法と経済学において理論化されたルールと標準の選択)と,データ品質とコストに対する金銭的インセンティブの影響に着目した。
307データアノテータを含む実験では、様々なタスク指示(ノーム)と金銭的インセンティブを持つ6つのグループを調べている。
その結果、明確な規則のアノテータは高い精度を示し、曖昧な基準のアノテータを14%上回る結果となった。
同様に、追加の金銭インセンティブを受けるアノテータは、明確な規則とインセンティブの両方で作業するグループで記録された最高精度(87.5%の精度)により、大幅に向上する。
また,アノテータは標準よりもアノテータの方が有効であり,アノテータによる画像のアノテータの難易度が低下することが示唆された。
これらの経験的発見は、データ品質と労働者の幸福の両方に関するルールベースの指示の二重の利点を裏付けている。
我々の研究デザインは、我々の研究において、ルールが金銭的なインセンティブよりも正確性を高めるためにコスト効率が高いことを明らかにします。
この論文は、AI技術の経済的、倫理的、法的考察に関する議論に実験的知見を貢献する。
政策立案者や実践者に対して、効率的で倫理的なAI開発と利用のためにデータアノテーションプロセスを最適化するためのバランスのとれたアプローチの必要性を強調します。
関連論文リスト
- Learning from "Silly" Questions Improves Large Language Models, But Only Slightly [46.41255699142185]
本稿では,その成功の潜在的解釈と大規模評価という,隠れた要因について検討することを目的とする。
我々は, GPT-4を用いて, 教育, 心理学, 認知科学の観点から, ルージバ問題の成功事例を分析した。
意外なことに、我々の結果は、ルールが特定のタスクにおけるモデル性能を著しく改善する一方で、他のタスクにおけるパフォーマンスを低下させる可能性があることを示唆している。
論文 参考訳（メタデータ） (2024-11-21T13:45:40Z) - FairDgcl: Fairness-aware Recommendation with Dynamic Graph Contrastive Learning [48.38344934125999]
提案手法は,高品質なデータ拡張を実現し,コメンデーションフェアネスを改善する方法である。
具体的には,動的グラフ対逆学習フレームワークであるFairDgclを提案する。
FairDgclは、公正さと精度の両方を持つ拡張表現を同時に生成できることを示す。
論文 参考訳（メタデータ） (2024-10-23T04:43:03Z) - Preliminary Insights on Industry Practices for Addressing Fairness Debt [4.546982900370235]
本研究は,ソフトウェア業界のAIシステムにおいて,ソフトウェアプロフェッショナルがバイアスを特定し,対処する方法について検討する。
本稿では,公正性負債に関する最初の証拠を提示し,AIシステムにおける公平性に関連する問題を管理するための構造化ガイドラインの開発基盤を提供する。
論文 参考訳（メタデータ） (2024-09-04T04:18:42Z) - Accuracy of training data and model outputs in Generative AI: CREATe Response to the Information Commissioner Office Consultation [6.699484354380871]
CREATeは、生成AIの正確性に関する証拠を求めるICOの呼びかけを歓迎している。
私たちは、データ保護法とAI規制の側面を強調して喜んでいます。
論文 参考訳（メタデータ） (2024-05-30T10:34:49Z) - Closing the Loop: Testing ChatGPT to Generate Model Explanations to
Improve Human Labelling of Sponsored Content on Social Media [4.322339935902437]
世界中の規制団体は、ソーシャルメディア上のインフルエンサーマーケティングの透明性を確保するための努力を強化している。
スポンサーコンテンツを自動的に検出するタスクは、このような規制を大規模に監視し、実施することを目的としている。
本稿では,tagGPTを用いてアノテーションプロセスを拡張し,関連する特徴や簡潔な説明文として認識するフレーズを提案する。
論文 参考訳（メタデータ） (2023-06-08T11:29:58Z) - Algorithmic Fairness and Vertical Equity: Income Fairness with IRS Tax
Audit Models [73.24381010980606]
本研究は、IRSによる税務監査選択を通知するシステムの文脈におけるアルゴリズムフェアネスの問題について検討する。
監査を選択するための柔軟な機械学習手法が、垂直エクイティにどのように影響するかを示す。
この結果は,公共セクター全体でのアルゴリズムツールの設計に影響を及ぼす。
論文 参考訳（メタデータ） (2022-06-20T16:27:06Z) - Whose AI Dream? In search of the aspiration in data annotation [12.454034525520497]
本稿では,インドにおける産業におけるデータアノテーションに関する業務実践について検討する。
以前の調査では、アノテータの主観性、偏見、効率性に主に焦点が当てられていた。
その結果,アノテータの作業は,ステーション上の他者の関心や優先順位,価値観によって決定されることがわかった。
論文 参考訳（メタデータ） (2022-03-21T06:28:54Z) - Debiased Pseudo Labeling in Self-Training [77.83549261035277]
ディープニューラルネットワークは、大規模ラベル付きデータセットの助けを借りて、幅広いタスクで顕著なパフォーマンスを達成する。
ラベル付きデータの要求を軽減するため、ラベル付けされていないデータに擬似ラベルを付けることにより、学術と産業の両方で自己学習が広く使われている。
疑似ラベルの生成と利用を2つの独立した頭文字で分離するデバイアスドを提案する。
論文 参考訳（メタデータ） (2022-02-15T02:14:33Z) - DAGA: Data Augmentation with a Generation Approach for Low-resource
Tagging Tasks [88.62288327934499]
線形化ラベル付き文に基づいて訓練された言語モデルを用いた新しい拡張手法を提案する。
本手法は, 教師付き設定と半教師付き設定の両方に適用可能である。
論文 参考訳（メタデータ） (2020-11-03T07:49:15Z) - Trustworthy AI [75.99046162669997]
入力データの小さな敵対的変化への脆さ、決定の説明能力、トレーニングデータのバイアスに対処する能力は、最も顕著な制限である。
我々は,AIシステムに対するユーザおよび公的な信頼を高める上での6つの重要な問題に対処するために,信頼に値するAIに関するチュートリアルを提案する。
論文 参考訳（メタデータ） (2020-11-02T20:04:18Z) - The AI Economist: Improving Equality and Productivity with AI-Driven Tax
Policies [119.07163415116686]
我々は、経済的平等と生産性を効果的にトレードオフできる税制政策を発見する社会プランナーを訓練する。
競争圧力と市場ダイナミクスを特徴とする経済シミュレーション環境を提案する。
AI主導の税政策は、基本方針よりも平等と生産性のトレードオフを16%改善することを示します。
論文 参考訳（メタデータ） (2020-04-28T06:57:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。