論文の概要: Leveraging Clickstream Trajectories to Reveal Low-Quality Workers in Crowdsourced Forecasting Platforms

• arxiv url: http://arxiv.org/abs/2009.01966v1
• Date: Fri, 4 Sep 2020 00:26:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-22 02:17:28.035350
• Title: Leveraging Clickstream Trajectories to Reveal Low-Quality Workers in Crowdsourced Forecasting Platforms
• Title（参考訳）: クラウドソーシング予測プラットフォームにおけるクリックストリームトラジェクタを活用した低品質労働者の可視化
• Authors: Akira Matsui, Emilio Ferrara, Fred Morstatter, Andres Abeliuk, Aram Galstyan
• Abstract要約: 本稿では,クリックストリームトラジェクトリを用いた作業者のクラスタ識別のための計算フレームワークを提案する。 このフレームワークは、群衆のコンセンサスから遠く離れた精度の予測を行う労働者など、さまざまなタイプのアンダーパフォーマーを明らかにすることができる。 本研究は, クリックストリームクラスタリングと分析が, 群集の知恵を活かしたプラットフォームにおけるクラウドワーカーのパフォーマンスを診断するための基本的なツールであることを示唆する。
• 参考スコア（独自算出の注目度）: 22.995941896769843
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Crowdwork often entails tackling cognitively-demanding and time-consuming tasks. Crowdsourcing can be used for complex annotation tasks, from medical imaging to geospatial data, and such data powers sensitive applications, such as health diagnostics or autonomous driving. However, the existence and prevalence of underperforming crowdworkers is well-recognized, and can pose a threat to the validity of crowdsourcing. In this study, we propose the use of a computational framework to identify clusters of underperforming workers using clickstream trajectories. We focus on crowdsourced geopolitical forecasting. The framework can reveal different types of underperformers, such as workers with forecasts whose accuracy is far from the consensus of the crowd, those who provide low-quality explanations for their forecasts, and those who simply copy-paste their forecasts from other users. Our study suggests that clickstream clustering and analysis are fundamental tools to diagnose the performance of crowdworkers in platforms leveraging the wisdom of crowds.
• Abstract（参考訳）: クラウドワークは認知的な要求や時間を要するタスクに対処する。 クラウドソーシングは、医療画像から地理空間データまで、複雑なアノテーションタスクに使用することができる。 しかし、低パフォーマンスなクラウドワーカーの存在と普及はよく認識されており、クラウドソーシングの妥当性を脅かす可能性がある。 本研究では,Clickstream trajectories を用いて作業者のクラスタを特定するための計算フレームワークを提案する。 我々はクラウドソースの地政学予測に焦点を当てている。 このフレームワークは、群衆のコンセンサスに遠く及ばない予測を持つ労働者、予測の質の低い説明を提供する人、他のユーザーから予測をコピー・ペーストする人など、さまざまなタイプのアンダーパーフォーマーを明らかにすることができる。 本研究は, クリックストリームクラスタリングと分析が, 群集の知恵を活かしたプラットフォームにおけるクラウドワーカーのパフォーマンスを診断するための基本的なツールであることを示唆する。

関連論文リスト

• Data Quality in Crowdsourcing and Spamming Behavior Detection [2.6481162211614118]
  本稿では,データ品質を評価し,分散分解によるスパムの脅威を検出するための体系的手法を提案する。 データ一貫性を評価するためにスパマーインデックスが提案され、群衆労働者の信頼性を測定するために2つの指標が開発された。
  論文  参考訳（メタデータ） (2024-04-04T02:21:38Z)
• Adaptive Crowdsourcing Via Self-Supervised Learning [20.393114559367202]
  一般的なクラウドソーシングシステムでは、多くのクラウドワーカーがグループ見積もりを作成するために提供した潜在量の推定値が平均される。 我々は,自己教師付き学習と新しいアグリゲーションスキームを活用する新しいアプローチ,予測学習者を開発した。
  論文  参考訳（メタデータ） (2024-01-24T05:57:36Z)
• Decentralized Adversarial Training over Graphs [55.28669771020857]
  機械学習モデルの敵攻撃に対する脆弱性は、近年、かなりの注目を集めている。 この研究は、個々のエージェントが様々な強度摂動空間に従属するグラフ上の敵の訓練を研究する。
  論文  参考訳（メタデータ） (2023-03-23T15:05:16Z)
• Mitigating Observation Biases in Crowdsourced Label Aggregation [19.460509608096217]
  クラウドソーシングから高品質な結果を得るための技術的課題の1つは、それが人間であるという事実によって引き起こされる変動性とバイアスを扱うことである。 本研究では,クラウドソーシングにおける観察バイアスに着目した。 作業者のレスポンスの頻度とタスクの複雑さの変化は、集約結果に影響を与える可能性がある。
  論文  参考訳（メタデータ） (2023-02-25T15:19:13Z)
• Learning from Heterogeneous Data Based on Social Interactions over Graphs [58.34060409467834]
  本研究では,個別のエージェントが異なる次元のストリーミング特徴を観察しながら分類問題の解決を目指す分散アーキテクチャを提案する。 私たちはそれを示します。 戦略により、エージェントはこの高度に異質な環境下で一貫して学習することができる。 私たちはそれを示します。 戦略により、エージェントはこの高度に異質な環境下で一貫して学習することができる。
  論文  参考訳（メタデータ） (2021-12-17T12:47:18Z)
• Crowdsourcing with Meta-Workers: A New Way to Save the Budget [50.04836252733443]
  我々は,AIに適したタスクの種類をメタラーニングで学習したマシンアノテータであるEmphmeta-workerの概念を紹介した。 一般の群衆労働者とは異なり、メタワーカーは信頼性があり、安定しており、さらに重要なことはタイヤレスで自由である。
  論文  参考訳（メタデータ） (2021-11-07T12:40:29Z)
• Statistical discrimination in learning agents [64.78141757063142]
  統計的差別は、訓練人口のバイアスとエージェントアーキテクチャの両方の関数としてエージェントポリシーに現れる。 我々は、リカレントニューラルネットワークを使用するエージェントによる差別の低減と、トレーニング環境のバイアスの低減が示される。
  論文  参考訳（メタデータ） (2021-10-21T18:28:57Z)
• Detecting adversaries in Crowdsourcing [71.20185379303479]
  本研究は, クラウドソース型分類における敵の影響を, 人気のダウィド・アンド・スケネモデルを用いて検討する。 敵は、クラウドソーシングモデルから任意に逸脱することを許され、潜在的に協力する可能性がある。 我々は,アノテータ応答の2次モーメント構造を利用して,多数の敵を識別し,クラウドソーシングタスクへの影響を軽減するアプローチを開発した。
  論文  参考訳（メタデータ） (2021-10-07T15:07:07Z)
• Bayesian Semi-supervised Crowdsourcing [71.20185379303479]
  クラウドソーシングは、大規模なデータセットを効率的にラベル付けし、さまざまな学習タスクを実行するための強力なパラダイムとして登場した。 この研究は、半スーパービジョンの2つの体制の下で、半教師付きクラウドソース分類を扱う。
  論文  参考訳（メタデータ） (2020-12-20T23:18:51Z)
• Variational Bayesian Inference for Crowdsourcing Predictions [6.878219199575748]
  2つの異なる作業者ノイズモデルに対する変分ベイズ手法を開発した。 合成および実世界のデータセットに対する我々の評価は、これらの手法が既存の非ベイズ的手法よりもはるかに優れていることを示している。
  論文  参考訳（メタデータ） (2020-06-01T08:11:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。