論文の概要: Resolving the Human Subjects Status of Machine Learning's Crowdworkers
- arxiv url: http://arxiv.org/abs/2206.04039v1
- Date: Wed, 8 Jun 2022 17:55:01 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-09 12:32:39.070713
- Title: Resolving the Human Subjects Status of Machine Learning's Crowdworkers
- Title（参考訳）: 機械学習における群集作業者の被写体状態の解明
- Authors: Divyansh Kaushik, Zachary C. Lipton, Alex John London
- Abstract要約: 我々は,クラウドソーシング研究の適切な指定を検討するために,自然言語処理の研究に注力する。
1)同じ労働者が複数の役割を担い、さまざまな情報を提供することができる。
これらの懸念に対処するため、いくつかの政策勧告を提示します。
- 参考スコア（独自算出の注目度）: 29.008050084395958
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In recent years, machine learning (ML) has come to rely more heavily on
crowdworkers, both for building bigger datasets and for addressing research
questions requiring human interaction or judgment. Owing to the diverse tasks
performed by crowdworkers, and the myriad ways the resulting datasets are used,
it can be difficult to determine when these individuals are best thought of as
workers, versus as human subjects. These difficulties are compounded by
conflicting policies, with some institutions and researchers treating all ML
crowdwork as human subjects research, and other institutions holding that ML
crowdworkers rarely constitute human subjects. Additionally, few ML papers
involving crowdwork mention IRB oversight, raising the prospect that many might
not be in compliance with ethical and regulatory requirements. In this paper,
we focus on research in natural language processing to investigate the
appropriate designation of crowdsourcing studies and the unique challenges that
ML research poses for research oversight. Crucially, under the U.S. Common
Rule, these judgments hinge on determinations of "aboutness", both whom (or
what) the collected data is about and whom (or what) the analysis is about. We
highlight two challenges posed by ML: (1) the same set of workers can serve
multiple roles and provide many sorts of information; and (2) compared to the
life sciences and social sciences, ML research tends to embrace a dynamic
workflow, where research questions are seldom stated ex ante and data sharing
opens the door for future studies to ask questions about different targets from
the original study. In particular, our analysis exposes a potential loophole in
the Common Rule, where researchers can elude research ethics oversight by
splitting data collection and analysis into distinct studies. We offer several
policy recommendations to address these concerns.
- Abstract（参考訳）: 近年、機械学習(ML)は、より大きなデータセットの構築と、人間のインタラクションや判断を必要とする研究上の問題に対処するために、クラウドワーカーに大きく依存するようになった。
クラウドワーカーが行う多様なタスクや、結果のデータセットの無数の使い方により、これらの個人が労働者として、人間として、最もよく考えられている時期を判断することは困難である。
これらの困難は、MLのクラウドワークを人事研究として扱う機関や研究者、MLのクラウドワーカーが人事研究を構成することはめったにないと考える機関など、矛盾する政策によって複雑化している。
さらに、クラウドワークを含むML論文ではIRBの監視について言及しておらず、倫理的および規制的な要件に準拠していない可能性が高まっている。
本稿では,クラウドソーシング研究の適切な指定と,機械学習研究が研究の監視にもたらすユニークな課題について,自然言語処理の研究に焦点をあてる。
重要なことは、米国共通規則の下で、これらの判断は、収集されたデータが誰であるか(または何)、その分析が誰であるか(または何)であるかの判断にヒンジする。
我々は,(1)同一の作業員が複数の役割を担い,多種類の情報を提供することができること,(2)生命科学や社会科学と比較して,ml研究がダイナミックなワークフローを採用する傾向があること,(2)研究課題がほとんど語られず,データ共有が今後の研究の扉を開くこと,など2つの課題を強調する。
特に、我々の分析は、研究者がデータ収集と分析を別々の研究に分割することで、研究倫理の監督を免れるという共通規則の潜在的な抜け穴を露呈する。
これらの懸念に対処するための政策勧告をいくつか提示する。
関連論文リスト
- The LLM Effect: Are Humans Truly Using LLMs, or Are They Being Influenced By Them Instead? [60.01746782465275]
大規模言語モデル(LLM)は、様々な分析タスクにおいて、人間のパフォーマンスに近い能力を示している。
本稿では,Human-LLMパートナーシップに着目した構造化ユーザスタディにより,特殊作業におけるLLMの効率と精度について検討する。
論文 参考訳（メタデータ） (2024-10-07T02:30:18Z) - Self-assessment, Exhibition, and Recognition: a Review of Personality in Large Language Models [29.086329448754412]
本稿では,現在の研究を,自己評価,展示,認識という3つの研究課題に分類して総合的なレビューを行う。
本稿は,大規模言語モデルにおける人格に関する最新の文献を包括的に調査した初めての論文である。
論文 参考訳（メタデータ） (2024-06-25T15:08:44Z) - LLMs Assist NLP Researchers: Critique Paper (Meta-)Reviewing [106.45895712717612]
大規模言語モデル(LLM)は、様々な生成タスクにおいて顕著な汎用性を示している。
本研究は,NLP研究者を支援するLLMの話題に焦点を当てる。
私たちの知る限りでは、このような包括的な分析を提供するのはこれが初めてです。
論文 参考訳（メタデータ） (2024-06-24T01:30:22Z) - Analyzing Human Questioning Behavior and Causal Curiosity through Natural Queries [91.70689724416698]
NatQuest(ナットクエスト)は、3つの異なるソースから自然発生の質問13,500件のコレクションである。
分析の結果,データセット内には因果的疑問(最大42%)が有意な存在であることが判明した。
論文 参考訳（メタデータ） (2024-05-30T17:55:28Z) - Automating Thematic Analysis: How LLMs Analyse Controversial Topics [5.025737475817937]
大規模言語モデル(LLM)は有望な分析ツールである。
本稿では,LLMが議論の的となっているトピックのテーマ分析をどのようにサポートするかを検討する。
本研究は,人間エージェントと機械エージェントのセマンティック分類における重なり合いと相違点に注目した。
論文 参考訳（メタデータ） (2024-05-11T05:28:25Z) - Factuality of Large Language Models: A Survey [29.557596701431827]
我々は、主要な課題とその原因を特定することを目的として、既存の研究を批判的に分析する。
オープンエンドテキスト生成における事実自動評価の障害を解析する。
論文 参考訳（メタデータ） (2024-02-04T09:36:31Z) - Responsible AI Considerations in Text Summarization Research: A Review
of Current Practices [89.85174013619883]
私たちは、責任あるAIコミュニティがほとんど見落としている共通のNLPタスクである、テキスト要約に重点を置いています。
我々は,2020-2022年に出版されたACLアンソロジーから333の要約論文の多段階的質的分析を行った。
私たちは、どの、どの、どの責任あるAI問題がカバーされているか、どの関係するステークホルダーが考慮されているか、そして、述べられた研究目標と実現された研究目標のミスマッチに焦点を合わせます。
論文 参考訳（メタデータ） (2023-11-18T15:35:36Z) - MoCa: Measuring Human-Language Model Alignment on Causal and Moral
Judgment Tasks [49.60689355674541]
認知科学の豊富な文献は人々の因果関係と道徳的直観を研究してきた。
この研究は、人々の判断に体系的に影響を及ぼす多くの要因を明らかにした。
大規模言語モデル(LLM)が、人間の参加者と一致するテキストベースのシナリオについて因果的、道徳的な判断を下すかどうかを検証する。
論文 参考訳（メタデータ） (2023-10-30T15:57:32Z) - The ethical ambiguity of AI data enrichment: Measuring gaps in research
ethics norms and practices [2.28438857884398]
この研究は、AI研究とデータ豊か化のために、同等な研究倫理要件と規範がどのように開発されたか、そしてどの程度まで調査する。
主要なAI会場は、人間のデータ収集のためのプロトコルを確立し始めているが、これらは矛盾なく著者が追従している。
論文 参考訳（メタデータ） (2023-06-01T16:12:55Z) - Perspectives on Large Language Models for Relevance Judgment [56.935731584323996]
大型言語モデル(LLM)は、関連判断を支援することができると主張している。
自動判定が検索システムの評価に確実に利用できるかどうかは不明である。
論文 参考訳（メタデータ） (2023-04-13T13:08:38Z) - The COVID-19 Infodemic: Can the Crowd Judge Recent Misinformation
Objectively? [17.288917654501265]
本研究では,クラウドソーシングがパンデミック時の言明の真偽を評価する上で,効果的かつ信頼性の高い方法であるかどうかを検討する。
研究の時点でまだ進行中の、新型コロナウイルスの緊急事態に関する声明を特に対象としています。
実験では,供述の真正性を評価するとともに,URLやテキストの正当性としての評価の証拠を提供するように依頼した。
論文 参考訳（メタデータ） (2020-08-13T05:53:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。