論文の概要: Treating Crowdsourcing as Examination: How to Score Tasks and Online
Workers?
- arxiv url: http://arxiv.org/abs/2204.13065v1
- Date: Tue, 26 Apr 2022 05:15:58 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-29 04:49:29.875202
- Title: Treating Crowdsourcing as Examination: How to Score Tasks and Online
Workers?
- Title（参考訳）: クラウドソーシングを試験として扱う: タスクとオンラインワーカーのスコア付け方法
- Authors: Guangyang Han and Sufang Li and Runmin Wang and Chunming Wu
- Abstract要約: 我々は、その能力に基づいて労働者を4つのタイプとしてモデル化しようと試みている。
作業者の能力は主に中堅な作業に基づいて評価し, 作業者からの回答の重みを減らし, スパマーからの回答を修正した。
- 参考スコア（独自算出の注目度）: 7.403065976821757
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Crowdsourcing is an online outsourcing mode which can solve the current
machine learning algorithm's urge need for massive labeled data. Requester
posts tasks on crowdsourcing platforms, which employ online workers over the
Internet to complete tasks, then aggregate and return results to requester. How
to model the interaction between different types of workers and tasks is a hot
spot. In this paper, we try to model workers as four types based on their
ability: expert, normal worker, sloppy worker and spammer, and divide tasks
into hard, medium and easy task according to their difficulty. We believe that
even experts struggle with difficult tasks while sloppy workers can get easy
tasks right, and spammers always give out wrong answers deliberately. So, good
examination tasks should have moderate degree of difficulty and
discriminability to score workers more objectively. Thus, we first score
workers' ability mainly on the medium difficult tasks, then reducing the weight
of answers from sloppy workers and modifying the answers from spammers when
inferring the tasks' ground truth. A probability graph model is adopted to
simulate the task execution process, and an iterative method is adopted to
calculate and update the ground truth, the ability of workers and the
difficulty of the task successively. We verify the rightness and effectiveness
of our algorithm both in simulated and real crowdsourcing scenes.
- Abstract（参考訳）: クラウドソーシング(Crowdsourcing)は、現在の機械学習アルゴリズムが大量のラベル付きデータを必要とすることを解決できるオンラインアウトソーシングモードである。
requesterはクラウドソーシングプラットフォームにタスクを投稿し、タスクを完了するためにインターネット上のオンラインワーカーを雇い、その結果をrequesterに集約して返却する。
さまざまなタイプのワーカーとタスク間のインタラクションをモデル化する方法がホットスポットです。
本稿では,熟練者,正規作業者,スロッピー作業者,スパマーの4つの能力に基づいて作業者をモデル化し,作業の難易度に応じてタスクをハード,ミディアム,イージータスクに分割する。
専門家でさえ困難な作業に苦しむ一方で、下手な作業者は簡単に仕事をこなせると信じています。
したがって、優れた検査タスクは、労働者をより客観的に評価するための適度な難易度と差別性を持つべきである。
そこで,我々はまず,中堅な作業を中心に作業者の能力を評価し,まず作業者の回答の重みを減らし,課題の真実を推測する際にスパマーの回答を変更する。
タスク実行プロセスをシミュレートするために確率グラフモデルを採用し、基底真理、作業者の能力、タスクの難易度を連続的に計算・更新する反復手法を採用する。
シミュレーションと実際のクラウドソーシングの両方において,アルゴリズムの正当性と有効性を検証する。
関連論文リスト
- Data-CUBE: Data Curriculum for Instruction-based Sentence Representation
Learning [85.66907881270785]
本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。
タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。
インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
論文 参考訳（メタデータ） (2024-01-07T18:12:20Z) - Behavior Retrieval: Few-Shot Imitation Learning by Querying Unlabeled
Datasets [73.2096288987301]
オフラインでラベル付けされていないデータセットから、少量のダウンストリーム専門家データを用いて、関連する振る舞いを選択的にクエリする簡単なアプローチを提案する。
提案手法では,タスクへの関連する遷移のみを問合せし,サブ最適データやタスク非関連データをフィルタリングする。
我々の単純なクエリ手法は、画像からシミュレーションされた実際のロボット操作タスクに対して、より複雑な目標条件の手法よりも20%優れています。
論文 参考訳（メタデータ） (2023-04-18T05:42:53Z) - Task Discovery: Finding the Tasks that Neural Networks Generalize on [1.4043229953691112]
ニューラルネットワークが一般化する多くのタスクを、ひとつのイメージセットが引き起こす可能性があることを示す。
一例として、検出したタスクを使用して、逆行テストの分割を自動的に生成できることが示される。
論文 参考訳（メタデータ） (2022-12-01T03:57:48Z) - Task Compass: Scaling Multi-task Pre-training with Task Prefix [122.49242976184617]
既存の研究では、大規模教師付きタスクによるマルチタスク学習がタスク間の負の効果に悩まされていることが示されている。
タスク間の関係を探索するために,タスクプレフィックスガイド付きマルチタスク事前学習フレームワークを提案する。
我々のモデルは、幅広いタスクの強力な基盤バックボーンとして機能するだけでなく、タスク関係を分析するための探索ツールとしても実現可能である。
論文 参考訳（メタデータ） (2022-10-12T15:02:04Z) - Divide & Conquer Imitation Learning [75.31752559017978]
模倣学習は学習プロセスをブートストラップするための強力なアプローチである。
本稿では,専門的軌道の状態から複雑なロボットタスクを模倣する新しいアルゴリズムを提案する。
提案手法は,非ホロノミックナビゲーションタスクを模倣し,非常に高いサンプル効率で複雑なロボット操作タスクにスケールすることを示す。
論文 参考訳（メタデータ） (2022-04-15T09:56:50Z) - A Worker-Task Specialization Model for Crowdsourcing: Efficient
Inference and Fundamental Limits [20.955889997204693]
クラウドソーシングシステムは、専門家でない労働者を用いて比較的低コストでデータをラベル付けするための効果的なプラットフォームとして登場した。
本稿では、各タスクとワーカーが独自の(未知の)タイプを持つ、$d$-type Specialization modelという新しいモデルを検討する。
本稿では,タスクの種類や作業者のタイプが不明な場合でも,順序的に最適限を満たすラベル推論アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-11-19T05:32:59Z) - Efficiently Identifying Task Groupings for Multi-Task Learning [55.80489920205404]
マルチタスク学習は、あるタスクによって学習された情報を活用して、他のタスクのトレーニングに役立てることができる。
マルチタスク学習モデルにおいて、どのタスクを一緒にトレーニングすべきかを選択するアプローチを提案する。
本手法は,全タスクを協調学習し,タスクの勾配が他のタスクの損失に影響を及ぼす影響を定量化する。
論文 参考訳（メタデータ） (2021-09-10T02:01:43Z) - What Ingredients Make for an Effective Crowdsourcing Protocol for
Difficult NLU Data Collection Tasks? [31.39009622826369]
我々は、データ品質を改善する方法として、先行研究で提案された介入の有効性を比較した。
我々は,NLU例の難易度を高めるための非効率なスタンドアロン戦略として,実例の説明書を書くよう労働者に求めていることを見出した。
専門家評価を伴う反復的プロトコルからのデータは、いくつかの尺度によりより困難であることが観察された。
論文 参考訳（メタデータ） (2021-06-01T21:05:52Z) - Adaptive Task Sampling for Meta-Learning [79.61146834134459]
数ショットの分類のためのメタラーニングの鍵となるアイデアは、テスト時に直面した数ショットの状況を模倣することである。
一般化性能を向上させるための適応型タスクサンプリング手法を提案する。
論文 参考訳（メタデータ） (2020-07-17T03:15:53Z) - Algorithms for Hiring and Outsourcing in the Online Labor Market [12.893230873578878]
労働者をアウトソーシングし、雇用するためのアルゴリズムを概ね提供する。
私たちはこのモデルチーム形成をアウトソーシングと呼びます。
私たちの貢献は、チームメンバを雇い、解雇し、タスクをアウトソーシングするための効率的なオンラインコスト最小化アルゴリズムです。
論文 参考訳（メタデータ） (2020-02-16T18:56:26Z) - Algorithms for Fair Team Formation in Online Labour Marketplaces [6.446179861303341]
我々は、機械学習とアルゴリズムデータ分析ツールを用いて労働者を雇用するプロセスが、国籍や性別に基づいて、意図せずにも差別されないことを保証することを目指している。
フェアチーム形成問題に対して,問題自体に対する4つのアルゴリズムとともに不適応性を示す。
また、オンライン労働市場からの実データを用いて実験を行うことにより、アルゴリズムソリューションの有効性を検証した。
論文 参考訳（メタデータ） (2020-02-14T11:33:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。