論文の概要: A Provably Improved Algorithm for Crowdsourcing with Hard and Easy Tasks

• arxiv url: http://arxiv.org/abs/2302.07393v1
• Date: Tue, 14 Feb 2023 23:30:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-16 16:20:25.899935
• Title: A Provably Improved Algorithm for Crowdsourcing with Hard and Easy Tasks
• Title（参考訳）: 難易度と容易性を考慮したクラウドソーシングアルゴリズム
• Authors: Seo Taek Kong, Saptarshi Mandal, Dimitrios Katselis, R. Srikant
• Abstract要約: 我々は、各作業者がタスクの種類に応じて2つのレベルの精度を示すことができるクラウドソーシングアプリケーションによって動機付けられている。 従来のDawid-Skeneモデル用に設計されたアルゴリズムをこのようなシナリオに適用すると、ハードタスクによって制限されたパフォーマンスが得られる。 クラウドソーシングされたデータに様々な難易度のあるタスクが含まれている場合、我々のアルゴリズムは、どのダウィド・スキーアルゴリズムよりも高い精度で真のラベルを推測する。
• 参考スコア（独自算出の注目度）: 7.822210329345705
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Crowdsourcing is a popular method used to estimate ground-truth labels by collecting noisy labels from workers. In this work, we are motivated by crowdsourcing applications where each worker can exhibit two levels of accuracy depending on a task's type. Applying algorithms designed for the traditional Dawid-Skene model to such a scenario results in performance which is limited by the hard tasks. Therefore, we first extend the model to allow worker accuracy to vary depending on a task's unknown type. Then we propose a spectral method to partition tasks by type. After separating tasks by type, any Dawid-Skene algorithm (i.e., any algorithm designed for the Dawid-Skene model) can be applied independently to each type to infer the truth values. We theoretically prove that when crowdsourced data contain tasks with varying levels of difficulty, our algorithm infers the true labels with higher accuracy than any Dawid-Skene algorithm. Experiments show that our method is effective in practical applications.
• Abstract（参考訳）: クラウドソーシング(Crowdsourcing)は、労働者からノイズの多いラベルを収集することで、地道ラベルを推定する一般的な方法である。 本研究は,各作業者がタスクの種類に応じて2段階の精度を発揮できるクラウドソーシングアプリケーションによって動機付けられている。 従来のDawid-Skeneモデル用に設計されたアルゴリズムをこのようなシナリオに適用すると、ハードタスクによって制限されたパフォーマンスが得られる。 そこで我々はまず,タスクの未知のタイプによって作業者の精度が変化するようにモデルを拡張した。 次に,タスクをタイプ別に分割するスペクトル法を提案する。 タスクをタイプ別に分離した後、任意のダウィド・スキーアルゴリズム(すなわちダウィド・スキーモデル用に設計されたアルゴリズム)はそれぞれのタイプに独立して真理値を推測することができる。 クラウドソースされたデータに様々な難易度を持つタスクが含まれている場合、このアルゴリズムはダウィド・スキーンアルゴリズムよりも高い精度で真のラベルを推定する。 実験の結果,本手法は実用的応用に有効であることがわかった。

関連論文リスト

• A General Model for Aggregating Annotations Across Simple, Complex, and Multi-Object Annotation Tasks [51.14185612418977]
  ラベルの品質を改善するための戦略は、複数のアノテータに同じ項目にラベルを付け、ラベルを集約するように求めることである。 特定のタスクに対して様々なbespokeモデルが提案されているが、様々な複雑なタスクを一般化するアグリゲーションメソッドを導入するのはこれが初めてである。 本論では,3つの新たな研究課題について検討し,今後の課題を概説する。
  論文  参考訳（メタデータ） (2023-12-20T21:28:35Z)
• Label Selection Approach to Learning from Crowds [25.894399244406287]
  Crowdsからの学習は、群衆労働者のラベル付きデータを使ってモデルを直接訓練するフレームワークである。 本稿では,選択型予測問題に対してSelectiveNetに着想を得た新しいLearning from Crowdsモデルを提案する。 提案手法の主な利点は、教師付き学習問題のほとんど全ての変種に適用できることである。
  論文  参考訳（メタデータ） (2023-08-21T00:22:32Z)
• Multi-task Bias-Variance Trade-off Through Functional Constraints [102.64082402388192]
  マルチタスク学習は、多様なタスクによく機能する関数の集合を取得することを目的としている。 本稿では,2つの極端な学習シナリオ,すなわちすべてのタスクに対する単一関数と,他のタスクを無視するタスク固有関数から直感を抽出する。 本稿では,集中関数に対するドメイン固有解を強制する制約付き学習定式化を導入する。
  論文  参考訳（メタデータ） (2022-10-27T16:06:47Z)
• Tyger: Task-Type-Generic Active Learning for Molecular Property Prediction [121.97742787439546]
  分子の性質を正確に予測する方法は、AIによる薬物発見において重要な問題である。 アノテーションのコストを削減するため,注釈付けのための最も代表的で情報性の高いデータのみを選択するために,深層能動学習法が開発された。 本稿では,異なるタイプの学習タスクを統一的に処理できるタスク型汎用能動的学習フレームワーク(Tyger)を提案する。
  論文  参考訳（メタデータ） (2022-05-23T12:56:12Z)
• Estimating Structural Disparities for Face Models [54.062512989859265]
  機械学習では、異なるサブ人口間でのモデルの性能や結果の差を測定することで、しばしば異質度の測定が定義される。 本研究では、人間の顔に訓練されたコンピュータビジョンモデルや、顔属性予測や影響推定などのタスクについて、そのような分析を行う。
  論文  参考訳（メタデータ） (2022-04-13T05:30:53Z)
• A Worker-Task Specialization Model for Crowdsourcing: Efficient Inference and Fundamental Limits [20.955889997204693]
  クラウドソーシングシステムは、専門家でない労働者を用いて比較的低コストでデータをラベル付けするための効果的なプラットフォームとして登場した。 本稿では、各タスクとワーカーが独自の(未知の)タイプを持つ、$d$-type Specialization modelという新しいモデルを検討する。 本稿では,タスクの種類や作業者のタイプが不明な場合でも,順序的に最適限を満たすラベル推論アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-11-19T05:32:59Z)
• Active clustering for labeling training data [0.8029049649310211]
  本稿では,人間専門家がペアワイズクエリに応答する比較的安価なタスクを実行するための,データ収集のトレーニング環境を提案する。 我々は、アイテムをクラスタリングし、その複雑さを分析するのに必要なクエリの平均数を最小化するアルゴリズムを解析する。
  論文  参考訳（メタデータ） (2021-10-27T15:35:58Z)
• Adaptive Task Sampling for Meta-Learning [79.61146834134459]
  数ショットの分類のためのメタラーニングの鍵となるアイデアは、テスト時に直面した数ショットの状況を模倣することである。 一般化性能を向上させるための適応型タスクサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2020-07-17T03:15:53Z)
• Variational Bayesian Inference for Crowdsourcing Predictions [6.878219199575748]
  2つの異なる作業者ノイズモデルに対する変分ベイズ手法を開発した。 合成および実世界のデータセットに対する我々の評価は、これらの手法が既存の非ベイズ的手法よりもはるかに優れていることを示している。
  論文  参考訳（メタデータ） (2020-06-01T08:11:50Z)
• Low Resource Multi-Task Sequence Tagging -- Revisiting Dynamic Conditional Random Fields [67.51177964010967]
  異なるタスクに対するラベルシーケンス間の依存関係を利用する低リソースマルチタスクシーケンスタグの異なるモデルを比較した。 タスク予測間の相互依存性の明示的モデリングは、通常のマルチタスクモデルと同様にシングルタスクよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2020-05-01T07:11:34Z)
• Crowdsourced Labeling for Worker-Task Specialization Model [14.315501760755605]
  我々は、$d$タイプのワーカータスク特化モデルに基づくクラウドソースラベリングについて検討する。 我々は,作業者クラスタリング,作業者スキル推定,多数決の重み付けによる二元的タスクラベルを復元する推論アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2020-03-21T13:27:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。