論文の概要: A Worker-Task Specialization Model for Crowdsourcing: Efficient Inference and Fundamental Limits

• arxiv url: http://arxiv.org/abs/2111.12550v1
• Date: Fri, 19 Nov 2021 05:32:59 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-28 18:13:09.357347
• Title: A Worker-Task Specialization Model for Crowdsourcing: Efficient Inference and Fundamental Limits
• Title（参考訳）: クラウドソーシングのためのWorker-Task特化モデル:効率的な推論と基本限界
• Authors: Doyeon Kim, Jeonghwan Lee and Hye Won Chung
• Abstract要約: クラウドソーシングシステムは、専門家でない労働者を用いて比較的低コストでデータをラベル付けする効果的なプラットフォームとして登場した。 本稿では,与えられたタスクの種類に応じて作業者の信頼性を変化させることのできる,非常に一般的な$d$タイプのワーカタスク特化モデルを提案する。 我々は,任意の回復精度でラベルを正確に推測する最適なサンプル複雑性を特徴付け,オーダーワイド最適境界を達成する推論アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 8.669338893753885
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Crowdsourcing system has emerged as an effective platform to label data with relatively low cost by using non-expert workers. However, inferring correct labels from multiple noisy answers on data has been a challenging problem, since the quality of answers varies widely across tasks and workers. Many previous works have assumed a simple model where the order of workers in terms of their reliabilities is fixed across tasks, and focused on estimating the worker reliabilities to aggregate answers with different weights. We propose a highly general $d$-type worker-task specialization model in which the reliability of each worker can change depending on the type of a given task, where the number $d$ of types can scale in the number of tasks. In this model, we characterize the optimal sample complexity to correctly infer labels with any given recovery accuracy, and propose an inference algorithm achieving the order-wise optimal bound. We conduct experiments both on synthetic and real-world datasets, and show that our algorithm outperforms the existing algorithms developed based on strict model assumptions.
• Abstract（参考訳）: クラウドソーシングシステムは、専門家でない労働者を用いて比較的低コストでデータをラベル付けする効果的なプラットフォームとして登場した。 しかし,データに対する複数のノイズの多い回答から正しいラベルを推測することは課題であり,回答の質はタスクや作業者によって大きく異なる。 従来の作業の多くは、作業の信頼性の観点から労働者の順序を定め、異なる重みで回答を集約するために労働者の信頼度を推定する単純なモデルを想定していた。 我々は,与えられたタスクのタイプに応じて各ワーカーの信頼性が変化し,タスク数で$d$の型がスケールできる,極めて一般的な$d$-type worker-task特殊化モデルを提案する。 本モデルでは,任意の回復精度でラベルを正確に推測する最適なサンプル複雑性を特徴付け,オーダーワイド最適境界を達成する推論アルゴリズムを提案する。 我々は、合成データセットと実世界のデータセットの両方で実験を行い、厳密なモデル仮定に基づく既存のアルゴリズムよりも優れていることを示す。

関連論文リスト

• Spectral Clustering for Crowdsourcing with Inherently Distinct Task Types [7.788574428889243]
  Dawid-Skeneモデルは、クラウドソーシングアルゴリズムの分析において最も広く想定されているモデルである。 マルチタイプモデルには,異なるタイプに対する異なる重み付けが必要であることを示す。 数値実験により,地味ラベルを推定する前にタイプ別クラスタリングタスクが,クラウドソーシングアルゴリズムの性能を高めることを示す。
  論文  参考訳（メタデータ） (2023-02-14T23:30:39Z)
• Multi-task Bias-Variance Trade-off Through Functional Constraints [102.64082402388192]
  マルチタスク学習は、多様なタスクによく機能する関数の集合を取得することを目的としている。 本稿では,2つの極端な学習シナリオ,すなわちすべてのタスクに対する単一関数と,他のタスクを無視するタスク固有関数から直感を抽出する。 本稿では,集中関数に対するドメイン固有解を強制する制約付き学習定式化を導入する。
  論文  参考訳（メタデータ） (2022-10-27T16:06:47Z)
• Treating Crowdsourcing as Examination: How to Score Tasks and Online Workers? [7.403065976821757]
  我々は、その能力に基づいて労働者を4つのタイプとしてモデル化しようと試みている。 作業者の能力は主に中堅な作業に基づいて評価し, 作業者からの回答の重みを減らし, スパマーからの回答を修正した。
  論文  参考訳（メタデータ） (2022-04-26T05:15:58Z)
• Uni-Perceiver: Pre-training Unified Architecture for Generic Perception for Zero-shot and Few-shot Tasks [73.63892022944198]
  我々はUni-Perceiverという汎用認識アーキテクチャを提案する。 様々なモダリティやタスクを、統一されたモデリングと共有パラメータで処理します。 その結果、チューニングなしで事前学習したモデルは、新しいタスクでも合理的なパフォーマンスを達成できることがわかった。
  論文  参考訳（メタデータ） (2021-12-02T18:59:50Z)
• Crowdsourcing with Meta-Workers: A New Way to Save the Budget [50.04836252733443]
  我々は,AIに適したタスクの種類をメタラーニングで学習したマシンアノテータであるEmphmeta-workerの概念を紹介した。 一般の群衆労働者とは異なり、メタワーカーは信頼性があり、安定しており、さらに重要なことはタイヤレスで自由である。
  論文  参考訳（メタデータ） (2021-11-07T12:40:29Z)
• Robust Deep Learning from Crowds with Belief Propagation [6.643082745560235]
  ワーカとタスク間のローカル依存関係を表すグラフィカルモデルは、ノイズの多い回答から真のラベルを推論する原則的な方法を提供する。 多くの場合、本当のラベルではなく、クラウドソースされたデータセットから直接、目に見えないデータに取り組んでいる予測モデルが必要です。 本稿では,ニューラルネットワークがタスク特徴から真のラベルを生成する新しいデータ生成プロセスを提案する。
  論文  参考訳（メタデータ） (2021-11-01T07:20:16Z)
• Diverse Complexity Measures for Dataset Curation in Self-driving [80.55417232642124]
  トラフィックシーンの面白さを定量化する多様な基準を活用した新たなデータ選択手法を提案する。 実験の結果,提案するキュレーションパイプラインは,より汎用的で高いパフォーマンスをもたらすデータセットを選択できることが判明した。
  論文  参考訳（メタデータ） (2021-01-16T23:45:02Z)
• Adaptive Task Sampling for Meta-Learning [79.61146834134459]
  数ショットの分類のためのメタラーニングの鍵となるアイデアは、テスト時に直面した数ショットの状況を模倣することである。 一般化性能を向上させるための適応型タスクサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2020-07-17T03:15:53Z)
• Variational Bayesian Inference for Crowdsourcing Predictions [6.878219199575748]
  2つの異なる作業者ノイズモデルに対する変分ベイズ手法を開発した。 合成および実世界のデータセットに対する我々の評価は、これらの手法が既存の非ベイズ的手法よりもはるかに優れていることを示している。
  論文  参考訳（メタデータ） (2020-06-01T08:11:50Z)
• Crowdsourced Labeling for Worker-Task Specialization Model [14.315501760755605]
  我々は、$d$タイプのワーカータスク特化モデルに基づくクラウドソースラベリングについて検討する。 我々は,作業者クラスタリング,作業者スキル推定,多数決の重み付けによる二元的タスクラベルを復元する推論アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2020-03-21T13:27:03Z)
• Hierarchical Reinforcement Learning as a Model of Human Task Interleaving [60.95424607008241]
  我々は、強化学習によって駆動される監督制御の階層モデルを開発する。 このモデルは、タスクインターリービングの既知の経験的効果を再現する。 その結果、階層的RLがタスクインターリービングのもっともらしいモデルとして支持された。
  論文  参考訳（メタデータ） (2020-01-04T17:53:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。