論文の概要: Quantifying and Avoiding Unfair Qualification Labour in Crowdsourcing

• arxiv url: http://arxiv.org/abs/2105.12762v1
• Date: Wed, 26 May 2021 18:02:39 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-28 16:17:44.660733
• Title: Quantifying and Avoiding Unfair Qualification Labour in Crowdsourcing
• Title（参考訳）: クラウドソーシングにおける不正資格労働の定量化と回避
• Authors: Jonathan K. Kummerfeld
• Abstract要約: 高品質なアノテーションの収集に関する研究は、労働者が以前特定のタスクを完了させたことを要求する資格を利用することを示唆している。 我々は、労働者が低賃金のタスクに約2.25ヶ月をフルタイムで費やしていると見積もっている。 高品質なデータを収集しながら作業者の負担を軽減することが可能であることが判明した。
• 参考スコア（独自算出の注目度）: 15.58746887995363
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Extensive work has argued in favour of paying crowd workers a wage that is at least equivalent to the U.S. federal minimum wage. Meanwhile, research on collecting high quality annotations suggests using a qualification that requires workers to have previously completed a certain number of tasks. If most requesters who pay fairly require workers to have completed a large number of tasks already then workers need to complete a substantial amount of poorly paid work before they can earn a fair wage. Through analysis of worker discussions and guidance for researchers, we estimate that workers spend approximately 2.25 months of full time effort on poorly paid tasks in order to get the qualifications needed for better paid tasks. We discuss alternatives to this qualification and conduct a study of the correlation between qualifications and work quality on two NLP tasks. We find that it is possible to reduce the burden on workers while still collecting high quality data.
• Abstract（参考訳）: 大規模な労働は、少なくとも連邦政府の最低賃金に相当する賃金を群衆労働者に支払うことに賛成している。 一方、高品質なアノテーションの収集に関する調査は、作業者が以前一定のタスクを完了したことを要求した資格の使用を示唆している。 まともな給与を払えば、労働者がすでに多くの仕事をこなす必要がある場合、労働者は、公正な賃金を得る前に、相当な低賃金の仕事を完成させる必要がある。 労働者の議論の分析と研究者の指導を通じて、労働者は、より良い有給タスクに必要な資格を得るために、有給タスクに約2.25ヶ月を費やすと見積もっている。 本研究では,2つのNLPタスクにおける資格と作業品質の相関性について検討する。 高品質なデータを収集しながら作業者の負担を軽減することが可能である。

関連論文リスト

• Incorporating Worker Perspectives into MTurk Annotation Practices for NLP [40.70358114333233]
  Amazon Mechanical Turk(MTurk)における自然言語処理のデータ収集に関する現在の実践は、労働者の権利と応答品質の低さに関する問題の影響を受けやすい。 我々は、公正な支払い、労働者のプライバシ、データ品質、労働者インセンティブを考慮したオープンな質問に対処することを目的とした、批判的な文献レビューとMTurkワーカーの調査を行った。 労働者の嗜好はNLP研究者の間では知恵に反することが多い。
  論文  参考訳（メタデータ） (2023-11-06T00:06:11Z)
• Ranking a Set of Objects using Heterogeneous Workers: QUITE an Easy Problem [54.90613714264689]
  我々は、不平等労働者の群れによって提供されるノイズの多いペア比較の集合から始まる、$N$オブジェクトのランク付けの問題に焦点をあてる。 本研究では,作業者の信頼性とオブジェクトの品質を共同で推定する非適応的ランキングアルゴリズムQUITEを提案する。
  論文  参考訳（メタデータ） (2023-10-03T12:42:13Z)
• Needle in a Haystack: An Analysis of High-Agreement Workers on MTurk for Summarization [29.2233772700673]
  高品質なアマゾン・メカニカル・トルコ人労働者を2段階のパイプラインで採用する方法について検討する。 評価を行う前に、サブパー労働者のフィルタリングに成功できることが示される。 当社の作業員は、彼らとCloudResearchの作業員の間で強いコンセンサスを示していますが、データのサブセットに関する専門家の判断との整合性は期待通りではありません。
  論文  参考訳（メタデータ） (2022-12-20T16:25:42Z)
• The Minimum Wage as an Anchor: Effects on Determinations of Fairness by Humans and AI [0.0]
  私は、人間と人工知能(AI)の双方による賃金の公平性判断のアンカーとしての最低賃金の役割について研究する。 特定の職務記述に公平であると考えられる賃金に対する数値応答が、追加情報で回答とGPT-3が促されるときに変化するかどうかを検証する。 最低賃金は、最低賃金に対する平均応答をシフトさせることで、公正と見なされる賃金に対する応答の分布に影響を与えると私は思う。
  論文  参考訳（メタデータ） (2022-10-10T04:26:27Z)
• Measuring Uncertainty in Translation Quality Evaluation (TQE) [62.997667081978825]
  本研究は,翻訳テキストのサンプルサイズに応じて,信頼区間を精度良く推定する動機づけた研究を行う。 我々はベルヌーイ統計分布モデリング (BSDM) とモンテカルロサンプリング分析 (MCSA) の手法を適用した。
  論文  参考訳（メタデータ） (2021-11-15T12:09:08Z)
• Crowdsourcing with Meta-Workers: A New Way to Save the Budget [50.04836252733443]
  我々は,AIに適したタスクの種類をメタラーニングで学習したマシンアノテータであるEmphmeta-workerの概念を紹介した。 一般の群衆労働者とは異なり、メタワーカーは信頼性があり、安定しており、さらに重要なことはタイヤレスで自由である。
  論文  参考訳（メタデータ） (2021-11-07T12:40:29Z)
• Should We Be Pre-training? An Argument for End-task Aware Training as an Alternative [88.11465517304515]
  一般に、事前学習のステップは、モデルを微調整するタスクについて、ほとんど、あるいは全く直接の知識に依存しない。 エンドタスクと補助目的をマルチタスクすることで、ダウンストリームタスクのパフォーマンスが大幅に向上することを示す。
  論文  参考訳（メタデータ） (2021-09-15T17:13:18Z)
• From Zero to The Hero: A Collaborative Market Aware Recommendation System for Crowd Workers [0.0]
  本稿では,クラウドワーカーのための協調推薦システムを提案する。 プール内での労働者のコラボレーション履歴に基づく5つの入力指標、金銭的賞与と期間、労働者の専門性、労働者の熟練度の観点からの労働者の選好である。 260人の積極的集団労働者に対する実験結果から, 課題推薦の上位3つの成功確率に従えば, 最大86%の成果が得られることがわかった。
  論文  参考訳（メタデータ） (2021-07-06T21:02:36Z)
• Job2Vec: Job Title Benchmarking with Collective Multi-View Representation Learning [51.34011135329063]
  Job Title Benchmarking (JTB) は、様々な企業で同様の専門知識を持つ職種をマッチングすることを目的としている。 従来のJTBのアプローチは主に手作業による市場調査に依存しており、それは高価で労働集約的である。 我々はJTBをジョブ-グラフ上のリンク予測のタスクとして再編成し、ジョブタイトルにマッチするリンクはリンクを持つべきである。
  論文  参考訳（メタデータ） (2020-09-16T02:33:32Z)
• Algorithms for Hiring and Outsourcing in the Online Labor Market [12.893230873578878]
  労働者をアウトソーシングし、雇用するためのアルゴリズムを概ね提供する。 私たちはこのモデルチーム形成をアウトソーシングと呼びます。 私たちの貢献は、チームメンバを雇い、解雇し、タスクをアウトソーシングするための効率的なオンラインコスト最小化アルゴリズムです。
  論文  参考訳（メタデータ） (2020-02-16T18:56:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。