論文の概要: The Economics of Human Oversight: How Norms and Incentives Affect Costs
and Performance of AI Workers
- arxiv url: http://arxiv.org/abs/2312.14565v1
- Date: Fri, 22 Dec 2023 09:50:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-25 15:27:46.084297
- Title: The Economics of Human Oversight: How Norms and Incentives Affect Costs
and Performance of AI Workers
- Title（参考訳）: 人間監視の経済学 : ノームとインセンティブがAI労働者のコストとパフォーマンスに与える影響
- Authors: Johann Laux, Fabian Stephany, Alice Liefgreen
- Abstract要約: AIアプリケーションの世界的急増は、業界を変革させ、既存の雇用の移動と補完を招きつつ、新たな雇用機会を生み出している。
AIの人間監督は、人間の労働者がAIモデルと対話して、そのパフォーマンス、安全性、規範的原則の遵守を改善する、新たなタスクである。
本稿では,標準設計と金融インセンティブがデータ品質とコストに与える影響に着目し,人間の監視の基礎経済を考察する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The global surge in AI applications is transforming industries, leading to
displacement and complementation of existing jobs, while also giving rise to
new employment opportunities. Human oversight of AI is an emerging task in
which human workers interact with an AI model to improve its performance,
safety, and compliance with normative principles. Data annotation, encompassing
the labelling of images or annotating of texts, serves as a critical human
oversight process, as the quality of a dataset directly influences the quality
of AI models trained on it. Therefore, the efficiency of human oversight work
stands as an important competitive advantage for AI developers. This paper
delves into the foundational economics of human oversight, with a specific
focus on the impact of norm design and monetary incentives on data quality and
costs. An experimental study involving 307 data annotators examines six groups
with varying task instructions (norms) and monetary incentives. Results reveal
that annotators provided with clear rules exhibit higher accuracy rates,
outperforming those with vague standards by 14%. Similarly, annotators
receiving an additional monetary incentive perform significantly better, with
the highest accuracy rate recorded in the group working with both clear rules
and incentives (87.5% accuracy). However, both groups require more time to
complete tasks, with a 31% increase in average task completion time compared to
those working with standards and no incentives. These empirical findings
underscore the trade-off between data quality and efficiency in data curation,
shedding light on the nuanced impact of norm design and incentives on the
economics of AI development. The paper contributes experimental insights to
discussions on the economical, ethical, and legal considerations of AI
technologies.
- Abstract（参考訳）: aiアプリケーションの世界的急増は、業界を変革させ、既存の雇用の移転と補完をもたらしつつ、新しい雇用機会を生み出している。
AIの人間監督は、人間の労働者がAIモデルと対話して、そのパフォーマンス、安全性、規範的原則の遵守を改善する、新たなタスクである。
画像のラベル付けやテキストの注釈を含むデータアノテーションは、データセットの品質がトレーニングされたaiモデルの品質に直接影響を与えるため、人間の監視プロセスとして重要な役割を果たす。
したがって、人間の監視作業の効率性は、AI開発者にとって重要な競争上の優位性である。
本稿では,データ品質とコストに対する規範設計と金銭的インセンティブの影響に着目し,人間の監視の基礎経済学を考察する。
307データアノテータを含む実験では、様々なタスク指示(ノーム)と金銭インセンティブを持つ6つのグループを調べている。
その結果,明確な規則を付した注釈は高い精度を示し,あいまいな基準を14%上回った。
同様に、追加の金銭インセンティブを受けるアノテータは、明確な規則とインセンティブの両方で作業するグループで記録された最高精度(87.5%の精度)により、大幅に向上する。
しかしながら、両グループはタスク完了により多くの時間を必要としており、標準で作業する人に比べて平均タスク完了時間が31%増加し、インセンティブがない。
これらの実証的な発見は、データキュレーションにおけるデータ品質と効率のトレードオフを強調し、標準設計の微妙な影響とAI開発の経済性に対するインセンティブに光を当てている。
この論文は、AI技術の経済的、倫理的、法的考察に関する議論に実験的知見を貢献する。
関連論文リスト
- Learning from "Silly" Questions Improves Large Language Models, But Only Slightly [46.41255699142185]
本稿では,その成功の潜在的解釈と大規模評価という,隠れた要因について検討することを目的とする。
我々は, GPT-4を用いて, 教育, 心理学, 認知科学の観点から, ルージバ問題の成功事例を分析した。
意外なことに、我々の結果は、ルールが特定のタスクにおけるモデル性能を著しく改善する一方で、他のタスクにおけるパフォーマンスを低下させる可能性があることを示唆している。
論文 参考訳（メタデータ） (2024-11-21T13:45:40Z) - FairDgcl: Fairness-aware Recommendation with Dynamic Graph Contrastive Learning [48.38344934125999]
提案手法は,高品質なデータ拡張を実現し,コメンデーションフェアネスを改善する方法である。
具体的には,動的グラフ対逆学習フレームワークであるFairDgclを提案する。
FairDgclは、公正さと精度の両方を持つ拡張表現を同時に生成できることを示す。
論文 参考訳（メタデータ） (2024-10-23T04:43:03Z) - Preliminary Insights on Industry Practices for Addressing Fairness Debt [4.546982900370235]
本研究は,ソフトウェア業界のAIシステムにおいて,ソフトウェアプロフェッショナルがバイアスを特定し,対処する方法について検討する。
本稿では,公正性負債に関する最初の証拠を提示し,AIシステムにおける公平性に関連する問題を管理するための構造化ガイドラインの開発基盤を提供する。
論文 参考訳（メタデータ） (2024-09-04T04:18:42Z) - Accuracy of training data and model outputs in Generative AI: CREATe Response to the Information Commissioner Office Consultation [6.699484354380871]
CREATeは、生成AIの正確性に関する証拠を求めるICOの呼びかけを歓迎している。
私たちは、データ保護法とAI規制の側面を強調して喜んでいます。
論文 参考訳（メタデータ） (2024-05-30T10:34:49Z) - Closing the Loop: Testing ChatGPT to Generate Model Explanations to
Improve Human Labelling of Sponsored Content on Social Media [4.322339935902437]
世界中の規制団体は、ソーシャルメディア上のインフルエンサーマーケティングの透明性を確保するための努力を強化している。
スポンサーコンテンツを自動的に検出するタスクは、このような規制を大規模に監視し、実施することを目的としている。
本稿では,tagGPTを用いてアノテーションプロセスを拡張し,関連する特徴や簡潔な説明文として認識するフレーズを提案する。
論文 参考訳（メタデータ） (2023-06-08T11:29:58Z) - Algorithmic Fairness and Vertical Equity: Income Fairness with IRS Tax
Audit Models [73.24381010980606]
本研究は、IRSによる税務監査選択を通知するシステムの文脈におけるアルゴリズムフェアネスの問題について検討する。
監査を選択するための柔軟な機械学習手法が、垂直エクイティにどのように影響するかを示す。
この結果は,公共セクター全体でのアルゴリズムツールの設計に影響を及ぼす。
論文 参考訳（メタデータ） (2022-06-20T16:27:06Z) - Whose AI Dream? In search of the aspiration in data annotation [12.454034525520497]
本稿では,インドにおける産業におけるデータアノテーションに関する業務実践について検討する。
以前の調査では、アノテータの主観性、偏見、効率性に主に焦点が当てられていた。
その結果,アノテータの作業は,ステーション上の他者の関心や優先順位,価値観によって決定されることがわかった。
論文 参考訳（メタデータ） (2022-03-21T06:28:54Z) - Debiased Pseudo Labeling in Self-Training [77.83549261035277]
ディープニューラルネットワークは、大規模ラベル付きデータセットの助けを借りて、幅広いタスクで顕著なパフォーマンスを達成する。
ラベル付きデータの要求を軽減するため、ラベル付けされていないデータに擬似ラベルを付けることにより、学術と産業の両方で自己学習が広く使われている。
疑似ラベルの生成と利用を2つの独立した頭文字で分離するデバイアスドを提案する。
論文 参考訳（メタデータ） (2022-02-15T02:14:33Z) - DAGA: Data Augmentation with a Generation Approach for Low-resource
Tagging Tasks [88.62288327934499]
線形化ラベル付き文に基づいて訓練された言語モデルを用いた新しい拡張手法を提案する。
本手法は, 教師付き設定と半教師付き設定の両方に適用可能である。
論文 参考訳（メタデータ） (2020-11-03T07:49:15Z) - Trustworthy AI [75.99046162669997]
入力データの小さな敵対的変化への脆さ、決定の説明能力、トレーニングデータのバイアスに対処する能力は、最も顕著な制限である。
我々は,AIシステムに対するユーザおよび公的な信頼を高める上での6つの重要な問題に対処するために,信頼に値するAIに関するチュートリアルを提案する。
論文 参考訳（メタデータ） (2020-11-02T20:04:18Z) - The AI Economist: Improving Equality and Productivity with AI-Driven Tax
Policies [119.07163415116686]
我々は、経済的平等と生産性を効果的にトレードオフできる税制政策を発見する社会プランナーを訓練する。
競争圧力と市場ダイナミクスを特徴とする経済シミュレーション環境を提案する。
AI主導の税政策は、基本方針よりも平等と生産性のトレードオフを16%改善することを示します。
論文 参考訳（メタデータ） (2020-04-28T06:57:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。