論文の概要: The Economics of Human Oversight: How Norms and Incentives Affect Costs
and Performance of AI Workers
- arxiv url: http://arxiv.org/abs/2312.14565v1
- Date: Fri, 22 Dec 2023 09:50:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-25 15:27:46.084297
- Title: The Economics of Human Oversight: How Norms and Incentives Affect Costs
and Performance of AI Workers
- Title（参考訳）: 人間監視の経済学 : ノームとインセンティブがAI労働者のコストとパフォーマンスに与える影響
- Authors: Johann Laux, Fabian Stephany, Alice Liefgreen
- Abstract要約: AIアプリケーションの世界的急増は、業界を変革させ、既存の雇用の移動と補完を招きつつ、新たな雇用機会を生み出している。
AIの人間監督は、人間の労働者がAIモデルと対話して、そのパフォーマンス、安全性、規範的原則の遵守を改善する、新たなタスクである。
本稿では,標準設計と金融インセンティブがデータ品質とコストに与える影響に着目し,人間の監視の基礎経済を考察する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The global surge in AI applications is transforming industries, leading to
displacement and complementation of existing jobs, while also giving rise to
new employment opportunities. Human oversight of AI is an emerging task in
which human workers interact with an AI model to improve its performance,
safety, and compliance with normative principles. Data annotation, encompassing
the labelling of images or annotating of texts, serves as a critical human
oversight process, as the quality of a dataset directly influences the quality
of AI models trained on it. Therefore, the efficiency of human oversight work
stands as an important competitive advantage for AI developers. This paper
delves into the foundational economics of human oversight, with a specific
focus on the impact of norm design and monetary incentives on data quality and
costs. An experimental study involving 307 data annotators examines six groups
with varying task instructions (norms) and monetary incentives. Results reveal
that annotators provided with clear rules exhibit higher accuracy rates,
outperforming those with vague standards by 14%. Similarly, annotators
receiving an additional monetary incentive perform significantly better, with
the highest accuracy rate recorded in the group working with both clear rules
and incentives (87.5% accuracy). However, both groups require more time to
complete tasks, with a 31% increase in average task completion time compared to
those working with standards and no incentives. These empirical findings
underscore the trade-off between data quality and efficiency in data curation,
shedding light on the nuanced impact of norm design and incentives on the
economics of AI development. The paper contributes experimental insights to
discussions on the economical, ethical, and legal considerations of AI
technologies.
- Abstract（参考訳）: aiアプリケーションの世界的急増は、業界を変革させ、既存の雇用の移転と補完をもたらしつつ、新しい雇用機会を生み出している。
AIの人間監督は、人間の労働者がAIモデルと対話して、そのパフォーマンス、安全性、規範的原則の遵守を改善する、新たなタスクである。
画像のラベル付けやテキストの注釈を含むデータアノテーションは、データセットの品質がトレーニングされたaiモデルの品質に直接影響を与えるため、人間の監視プロセスとして重要な役割を果たす。
したがって、人間の監視作業の効率性は、AI開発者にとって重要な競争上の優位性である。
本稿では,データ品質とコストに対する規範設計と金銭的インセンティブの影響に着目し,人間の監視の基礎経済学を考察する。
307データアノテータを含む実験では、様々なタスク指示(ノーム)と金銭インセンティブを持つ6つのグループを調べている。
その結果,明確な規則を付した注釈は高い精度を示し,あいまいな基準を14%上回った。
同様に、追加の金銭インセンティブを受けるアノテータは、明確な規則とインセンティブの両方で作業するグループで記録された最高精度(87.5%の精度)により、大幅に向上する。
しかしながら、両グループはタスク完了により多くの時間を必要としており、標準で作業する人に比べて平均タスク完了時間が31%増加し、インセンティブがない。
これらの実証的な発見は、データキュレーションにおけるデータ品質と効率のトレードオフを強調し、標準設計の微妙な影響とAI開発の経済性に対するインセンティブに光を当てている。
この論文は、AI技術の経済的、倫理的、法的考察に関する議論に実験的知見を貢献する。
関連論文リスト
- LabelAId: Just-in-time AI Interventions for Improving Human Labeling Quality and Domain Knowledge in Crowdsourcing Systems [16.546017147593044]
本稿では,クラウドワーカー間でのラベル付け品質とドメイン固有の知識の両面を強化するために,ジャスト・イン・タイムのAI介入について検討する。
本稿では,PWS(Programmatic Weak Supervision)とFT変換器を組み合わせてラベルの正しさを推定する高度な推論モデルであるLabelAIdを紹介する。
その後、都市アクセシビリティのためのオープンソースのクラウドソーシングプラットフォームであるProject SidewalkにLabelAIdを実装しました。
論文 参考訳（メタデータ） (2024-03-14T18:59:10Z) - Towards Responsible AI in Banking: Addressing Bias for Fair
Decision-Making [69.44075077934914]
責任AI(Responsible AI)は、企業文化の発展におけるバイアスに対処する重要な性質を強調している。
この論文は、バイアスを理解すること、バイアスを緩和すること、バイアスを説明することの3つの基本的な柱に基づいて構成されている。
オープンソースの原則に従って、アクセス可能なPythonパッケージとして、Bias On DemandとFairViewをリリースしました。
論文 参考訳（メタデータ） (2024-01-13T14:07:09Z) - Guideline for Trustworthy Artificial Intelligence -- AI Assessment
Catalog [0.0]
AIアプリケーションとそれに基づくビジネスモデルが、高品質な標準に従って開発されている場合にのみ、その潜在能力を最大限に発揮できることは明らかです。
AIアプリケーションの信頼性の問題は非常に重要であり、多くの主要な出版物の主題となっている。
このAIアセスメントカタログは、まさにこの点に対応しており、2つのターゲットグループを対象としている。
論文 参考訳（メタデータ） (2023-06-20T08:07:18Z) - The ethical ambiguity of AI data enrichment: Measuring gaps in research
ethics norms and practices [2.28438857884398]
この研究は、AI研究とデータ豊か化のために、同等な研究倫理要件と規範がどのように開発されたか、そしてどの程度まで調査する。
主要なAI会場は、人間のデータ収集のためのプロトコルを確立し始めているが、これらは矛盾なく著者が追従している。
論文 参考訳（メタデータ） (2023-06-01T16:12:55Z) - Fairness And Bias in Artificial Intelligence: A Brief Survey of Sources,
Impacts, And Mitigation Strategies [11.323961700172175]
この調査論文は、AIの公平性とバイアスに関する簡潔で包括的な概要を提供する。
我々は、データ、アルゴリズム、人間の決定バイアスなどのバイアス源をレビューする。
偏りのあるAIシステムの社会的影響を評価し,不平等の持続性と有害なステレオタイプの強化に着目した。
論文 参考訳（メタデータ） (2023-04-16T03:23:55Z) - Human-Centric Multimodal Machine Learning: Recent Advances and Testbed
on AI-based Recruitment [66.91538273487379]
人間中心のアプローチでAIアプリケーションを開発する必要性には、ある程度のコンセンサスがある。
i)ユーティリティと社会的善、(ii)プライバシとデータ所有、(iii)透明性と説明責任、(iv)AIによる意思決定プロセスの公正性。
異種情報ソースに基づく現在のマルチモーダルアルゴリズムは、データ中の機密要素や内部バイアスによってどのように影響を受けるかを検討する。
論文 参考訳（メタデータ） (2023-02-13T16:44:44Z) - How Different Groups Prioritize Ethical Values for Responsible AI [75.40051547428592]
民間企業、公共セクター組織、学術団体は、責任あるAI技術にとって重要であると考える倫理的価値観を概説している。
彼らのレコメンデーションは中央値のセットに収束するが、より代表的な大衆が、彼らが交流し、影響を受ける可能性のあるAI技術にとって重要な価値についてはほとんど知られていない。
我々は、個人が3つのグループにまたがる責任あるAIの価値観をどのように認識し、優先順位付けしているかを調査した。
論文 参考訳（メタデータ） (2022-05-16T14:39:37Z) - Measuring Fairness Under Unawareness of Sensitive Attributes: A
Quantification-Based Approach [131.20444904674494]
センシティブな属性の無意識下でのグループフェアネスを測定する問題に取り組む。
定量化手法は, フェアネスと無意識の問題に対処するのに特に適していることを示す。
論文 参考訳（メタデータ） (2021-09-17T13:45:46Z) - Improving Fairness of AI Systems with Lossless De-biasing [15.039284892391565]
AIシステムのバイアスを緩和して全体的な公正性を高めることが重要な課題となっている。
我々は,不利益グループにおけるデータの不足を対象とする情報損失のない脱バイアス手法を提案する。
論文 参考訳（メタデータ） (2021-05-10T17:38:38Z) - Trustworthy AI [75.99046162669997]
入力データの小さな敵対的変化への脆さ、決定の説明能力、トレーニングデータのバイアスに対処する能力は、最も顕著な制限である。
我々は,AIシステムに対するユーザおよび公的な信頼を高める上での6つの重要な問題に対処するために,信頼に値するAIに関するチュートリアルを提案する。
論文 参考訳（メタデータ） (2020-11-02T20:04:18Z) - The AI Economist: Improving Equality and Productivity with AI-Driven Tax
Policies [119.07163415116686]
我々は、経済的平等と生産性を効果的にトレードオフできる税制政策を発見する社会プランナーを訓練する。
競争圧力と市場ダイナミクスを特徴とする経済シミュレーション環境を提案する。
AI主導の税政策は、基本方針よりも平等と生産性のトレードオフを16%改善することを示します。
論文 参考訳（メタデータ） (2020-04-28T06:57:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。