論文の概要: Spectral Clustering for Crowdsourcing with Inherently Distinct Task Types

• arxiv url: http://arxiv.org/abs/2302.07393v2
• Date: Sat, 10 Aug 2024 00:48:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-14 01:18:23.022213
• Title: Spectral Clustering for Crowdsourcing with Inherently Distinct Task Types
• Title（参考訳）: 個別タスク型を用いたクラウドソーシングのためのスペクトルクラスタリング
• Authors: Saptarshi Mandal, Seo Taek Kong, Dimitrios Katselis, R. Srikant,
• Abstract要約: Dawid-Skeneモデルは、クラウドソーシングアルゴリズムの分析において最も広く想定されているモデルである。 マルチタイプモデルには,異なるタイプに対する異なる重み付けが必要であることを示す。 数値実験により,地味ラベルを推定する前にタイプ別クラスタリングタスクが,クラウドソーシングアルゴリズムの性能を高めることを示す。
• 参考スコア（独自算出の注目度）: 7.788574428889243
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Dawid-Skene model is the most widely assumed model in the analysis of crowdsourcing algorithms that estimate ground-truth labels from noisy worker responses. In this work, we are motivated by crowdsourcing applications where workers have distinct skill sets and their accuracy additionally depends on a task's type. While weighted majority vote (WMV) with a single weight vector for each worker achieves the optimal label estimation error in the Dawid-Skene model, we show that different weights for different types are necessary for a multi-type model. Focusing on the case where there are two types of tasks, we propose a spectral method to partition tasks into two groups that cluster tasks by type. Our analysis reveals that task types can be perfectly recovered if the number of workers $n$ scales logarithmically with the number of tasks $d$. Any algorithm designed for the Dawid-Skene model can then be applied independently to each type to infer the labels. Numerical experiments show how clustering tasks by type before estimating ground-truth labels enhances the performance of crowdsourcing algorithms in practical applications.
• Abstract（参考訳）: Dawid-Skeneモデル(英語版)は、ノイズの多い労働者の反応から地道ラベルを推定するクラウドソーシングアルゴリズムの分析において、最も広く想定されているモデルである。 本研究は,作業者が異なるスキルセットを持ち,その正確さがタスクの種類に依存する,クラウドソーシングアプリケーションによって動機付けられている。 重み付き多数決(WMV)は,各作業者毎の1重みベクトルで,ダウィド・スケンモデルにおいて最適なラベル推定誤差を達成するが,多型モデルでは異なる種類の重みを求める必要があることを示す。 本稿では,2種類のタスクが存在する場合に着目し,タスクを2つのグループに分割するスペクトル法を提案する。 我々の分析によると、ワーカー数$n$がタスク数$d$と対数的にスケールすれば、タスクタイプは完全に復元できる。 Dawid-Skeneモデル用に設計された任意のアルゴリズムは、ラベルを推測するためにそれぞれのタイプに独立して適用することができる。 数値実験により,地平線ラベル推定前のクラスタリングタスクが,実践的応用におけるクラウドソーシングアルゴリズムの性能を高めることを示す。

関連論文リスト

• A General Model for Aggregating Annotations Across Simple, Complex, and Multi-Object Annotation Tasks [51.14185612418977]
  ラベルの品質を改善するための戦略は、複数のアノテータに同じ項目にラベルを付け、ラベルを集約するように求めることである。 特定のタスクに対して様々なbespokeモデルが提案されているが、様々な複雑なタスクを一般化するアグリゲーションメソッドを導入するのはこれが初めてである。 本論では,3つの新たな研究課題について検討し,今後の課題を概説する。
  論文  参考訳（メタデータ） (2023-12-20T21:28:35Z)
• Label Selection Approach to Learning from Crowds [25.894399244406287]
  Crowdsからの学習は、群衆労働者のラベル付きデータを使ってモデルを直接訓練するフレームワークである。 本稿では,選択型予測問題に対してSelectiveNetに着想を得た新しいLearning from Crowdsモデルを提案する。 提案手法の主な利点は、教師付き学習問題のほとんど全ての変種に適用できることである。
  論文  参考訳（メタデータ） (2023-08-21T00:22:32Z)
• Multi-task Bias-Variance Trade-off Through Functional Constraints [102.64082402388192]
  マルチタスク学習は、多様なタスクによく機能する関数の集合を取得することを目的としている。 本稿では,2つの極端な学習シナリオ,すなわちすべてのタスクに対する単一関数と,他のタスクを無視するタスク固有関数から直感を抽出する。 本稿では,集中関数に対するドメイン固有解を強制する制約付き学習定式化を導入する。
  論文  参考訳（メタデータ） (2022-10-27T16:06:47Z)
• Tyger: Task-Type-Generic Active Learning for Molecular Property Prediction [121.97742787439546]
  分子の性質を正確に予測する方法は、AIによる薬物発見において重要な問題である。 アノテーションのコストを削減するため,注釈付けのための最も代表的で情報性の高いデータのみを選択するために,深層能動学習法が開発された。 本稿では,異なるタイプの学習タスクを統一的に処理できるタスク型汎用能動的学習フレームワーク(Tyger)を提案する。
  論文  参考訳（メタデータ） (2022-05-23T12:56:12Z)
• Estimating Structural Disparities for Face Models [54.062512989859265]
  機械学習では、異なるサブ人口間でのモデルの性能や結果の差を測定することで、しばしば異質度の測定が定義される。 本研究では、人間の顔に訓練されたコンピュータビジョンモデルや、顔属性予測や影響推定などのタスクについて、そのような分析を行う。
  論文  参考訳（メタデータ） (2022-04-13T05:30:53Z)
• A Worker-Task Specialization Model for Crowdsourcing: Efficient Inference and Fundamental Limits [20.955889997204693]
  クラウドソーシングシステムは、専門家でない労働者を用いて比較的低コストでデータをラベル付けするための効果的なプラットフォームとして登場した。 本稿では、各タスクとワーカーが独自の(未知の)タイプを持つ、$d$-type Specialization modelという新しいモデルを検討する。 本稿では,タスクの種類や作業者のタイプが不明な場合でも,順序的に最適限を満たすラベル推論アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-11-19T05:32:59Z)
• Active clustering for labeling training data [0.8029049649310211]
  本稿では,人間専門家がペアワイズクエリに応答する比較的安価なタスクを実行するための,データ収集のトレーニング環境を提案する。 我々は、アイテムをクラスタリングし、その複雑さを分析するのに必要なクエリの平均数を最小化するアルゴリズムを解析する。
  論文  参考訳（メタデータ） (2021-10-27T15:35:58Z)
• Adaptive Task Sampling for Meta-Learning [79.61146834134459]
  数ショットの分類のためのメタラーニングの鍵となるアイデアは、テスト時に直面した数ショットの状況を模倣することである。 一般化性能を向上させるための適応型タスクサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2020-07-17T03:15:53Z)
• Variational Bayesian Inference for Crowdsourcing Predictions [6.878219199575748]
  2つの異なる作業者ノイズモデルに対する変分ベイズ手法を開発した。 合成および実世界のデータセットに対する我々の評価は、これらの手法が既存の非ベイズ的手法よりもはるかに優れていることを示している。
  論文  参考訳（メタデータ） (2020-06-01T08:11:50Z)
• Low Resource Multi-Task Sequence Tagging -- Revisiting Dynamic Conditional Random Fields [67.51177964010967]
  異なるタスクに対するラベルシーケンス間の依存関係を利用する低リソースマルチタスクシーケンスタグの異なるモデルを比較した。 タスク予測間の相互依存性の明示的モデリングは、通常のマルチタスクモデルと同様にシングルタスクよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2020-05-01T07:11:34Z)
• Crowdsourced Labeling for Worker-Task Specialization Model [14.315501760755605]
  我々は、$d$タイプのワーカータスク特化モデルに基づくクラウドソースラベリングについて検討する。 我々は,作業者クラスタリング,作業者スキル推定,多数決の重み付けによる二元的タスクラベルを復元する推論アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2020-03-21T13:27:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。