論文の概要: A Survey of NLP-Related Crowdsourcing HITs: what works and what does not

• arxiv url: http://arxiv.org/abs/2111.05241v1
• Date: Tue, 9 Nov 2021 16:26:51 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-10 15:07:50.248706
• Title: A Survey of NLP-Related Crowdsourcing HITs: what works and what does not
• Title（参考訳）: NLP関連クラウドソーシングHITに関する調査--何が機能するか,何が機能しないのか
• Authors: Jessica Huynh, Jeffrey Bigham, Maxine Eskenazi
• Abstract要約: Amazon Mechanical Turk (AMT)のクラウドソーシング要求者は、労働者の信頼性について疑問を投げかけている。 一部のリクエスタは、期待した結果が得られない場合、大量の作業を拒否します。 これは、各労働者(善か悪か)に低いヒューマン・インテリジェンス・タスク(HIT)の承認スコアを与える効果がある。
• 参考スコア（独自算出の注目度）: 0.618778092044887
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Crowdsourcing requesters on Amazon Mechanical Turk (AMT) have raised questions about the reliability of the workers. The AMT workforce is very diverse and it is not possible to make blanket assumptions about them as a group. Some requesters now reject work en mass when they do not get the results they expect. This has the effect of giving each worker (good or bad) a lower Human Intelligence Task (HIT) approval score, which is unfair to the good workers. It also has the effect of giving the requester a bad reputation on the workers' forums. Some of the issues causing the mass rejections stem from the requesters not taking the time to create a well-formed task with complete instructions and/or not paying a fair wage. To explore this assumption, this paper describes a study that looks at the crowdsourcing HITs on AMT that were available over a given span of time and records information about those HITs. This study also records information from a crowdsourcing forum on the worker perspective on both those HITs and on their corresponding requesters. Results reveal issues in worker payment and presentation issues such as missing instructions or HITs that are not doable.
• Abstract（参考訳）: Amazon Mechanical Turk (AMT)のクラウドソーシング要求者は、労働者の信頼性について疑問を投げかけている。 AMTの労働力は非常に多様であり、グループとしてそれらを包括的に仮定することは不可能である。 一部の要求者は、期待した結果が得られない場合、大量に作業を拒否します。 これは、各労働者(善か悪か)に低いヒューマンインテリジェンスタスク(HIT)承認スコアを与える効果があり、良い労働者には不公平である。 また、要求者が労働者のフォーラムで評判を悪くする効果もある。 大量拒絶の原因となる問題のいくつかは、要求者が完全な指示や公正な賃金を払わないような、十分に整ったタスクを作成できないことに起因する。 そこで本研究では,一定期間にわたって利用可能であったクラウドソーシングHITについて検討し,それらのHITに関する情報を記録する。 本研究は,クラウドソーシングフォーラムにおいて,これらのHITとそれに対応する要求者の双方について,作業者の視点から情報を記録する。 その結果、労働者の支払いや、実行不可能な指示やHITなどのプレゼンテーションの問題が明らかになった。

関連論文リスト

• Language Models Learn to Mislead Humans via RLHF [100.95201965748343]
  言語モデル(LM)は、特にタスクが複雑である場合に、人間にとって検出が難しいエラーを生成する。 我々はこの現象を標準のRLHFパイプラインで研究し、モデル開発者が意図していないことから「U-SOPHISTRY」と呼ぶ。 我々の研究は、RLHFの重要な障害モードを強調し、人間の調整を支援するためのさらなる研究を求めている。
  論文  参考訳（メタデータ） (2024-09-19T14:50:34Z)
• LLMs Assist NLP Researchers: Critique Paper (Meta-)Reviewing [106.45895712717612]
  大規模言語モデル(LLM)は、様々な生成タスクにおいて顕著な汎用性を示している。 本研究は,NLP研究者を支援するLLMの話題に焦点を当てる。 私たちの知る限りでは、このような包括的な分析を提供するのはこれが初めてです。
  論文  参考訳（メタデータ） (2024-06-24T01:30:22Z)
• Incorporating Worker Perspectives into MTurk Annotation Practices for NLP [40.70358114333233]
  Amazon Mechanical Turk(MTurk)における自然言語処理のデータ収集に関する現在の実践は、労働者の権利と応答品質の低さに関する問題の影響を受けやすい。 我々は、公正な支払い、労働者のプライバシ、データ品質、労働者インセンティブを考慮したオープンな質問に対処することを目的とした、批判的な文献レビューとMTurkワーカーの調査を行った。 労働者の嗜好はNLP研究者の間では知恵に反することが多い。
  論文  参考訳（メタデータ） (2023-11-06T00:06:11Z)
• Resolving the Human Subjects Status of Machine Learning's Crowdworkers [29.008050084395958]
  MLクラウドソーシング研究の適切な指定について検討する。 私たちは、MLがもたらす2つの課題を強調します。同じ労働者のセットが複数の役割を担い、さまざまな情報を提供することができます。 我々の分析は、研究者がデータ収集と分析を別々の研究に分割することで、研究倫理の監督を免れるという共通規則の潜在的な抜け穴を露呈する。
  論文  参考訳（メタデータ） (2022-06-08T17:55:01Z)
• Crowdsourcing with Meta-Workers: A New Way to Save the Budget [50.04836252733443]
  我々は,AIに適したタスクの種類をメタラーニングで学習したマシンアノテータであるEmphmeta-workerの概念を紹介した。 一般の群衆労働者とは異なり、メタワーカーは信頼性があり、安定しており、さらに重要なことはタイヤレスで自由である。
  論文  参考訳（メタデータ） (2021-11-07T12:40:29Z)
• Quantifying and Avoiding Unfair Qualification Labour in Crowdsourcing [15.58746887995363]
  高品質なアノテーションの収集に関する研究は、労働者が以前特定のタスクを完了させたことを要求する資格を利用することを示唆している。 我々は、労働者が低賃金のタスクに約2.25ヶ月をフルタイムで費やしていると見積もっている。 高品質なデータを収集しながら作業者の負担を軽減することが可能であることが判明した。
  論文  参考訳（メタデータ） (2021-05-26T18:02:39Z)
• A Dataset of Information-Seeking Questions and Answers Anchored in Research Papers [66.11048565324468]
  1,585の自然言語処理論文に関する5,049の質問のデータセットを提示する。 各質問は、対応する論文のタイトルと要約のみを読むNLP実践者によって書かれ、質問は全文に存在する情報を求めます。 他のQAタスクでうまく機能する既存のモデルは、これらの質問に答える上ではうまく機能せず、論文全体から回答する際には、少なくとも27 F1ポイントパフォーマンスが低下します。
  論文  参考訳（メタデータ） (2021-05-07T00:12:34Z)
• Learning to Ask Screening Questions for Job Postings [14.277596274680617]
  我々は、リクルーターがオンラインでスクリーニング質問をすることができる新しい製品を開発し、適任候補者のフィルタリングを容易にする。 LinkedInのアクティブなジョブに$20M(2000万ドル)のスクリーニング質問を追加するために、所定のジョブ投稿に対するスクリーニング質問を自動的に生成することを目的とした、新しいタスクを提案する。 歴史的データを持たない新しい製品であるため、我々は深層移動学習を用いて、限られたトレーニングデータで複雑なモデルを訓練する。
  論文  参考訳（メタデータ） (2020-04-30T17:18:17Z)
• Measuring Social Biases of Crowd Workers using Counterfactual Queries [84.10721065676913]
  性別、人種などに基づく社会的バイアスは、主にバイアス付きトレーニングデータセットを介して、汚染された機械学習(ML)パイプラインに示されている。 クラウドソーシング(Crowdsourcing)は、ラベル付きトレーニングデータセットを収集するための一般的な費用効果尺度であり、群衆労働者の社会的偏見に免疫がない。 本研究では, 集団労働者ごとの社会的バイアスの程度を定量化するための, 対実的公正度に基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-04-04T21:41:55Z)
• Modelisation de l'incertitude et de l'imprecision de donnees de crowdsourcing : MONITOR [0.0]
  クラウドソーシングは、多くのコントリビュータへのタスクのアウトソーシングである。 これらの貢献者を特定することは、彼らの反応を考えるのを避けるために不可欠である。 本稿では,コントリビュータのプロファイルを推定するMONITORを提案する。
  論文  参考訳（メタデータ） (2020-02-26T14:58:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。