論文の概要: Crowdsourcing with Meta-Workers: A New Way to Save the Budget

• arxiv url: http://arxiv.org/abs/2111.04068v1
• Date: Sun, 7 Nov 2021 12:40:29 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-10 06:37:03.808661
• Title: Crowdsourcing with Meta-Workers: A New Way to Save the Budget
• Title（参考訳）: Meta-Workersによるクラウドソーシング - 予算削減のための新たな方法
• Authors: Guangyang Han, Guoxian Yu, Lizhen Cui, Carlotta Domeniconi, Xiangliang Zhang
• Abstract要約: 我々は,AIに適したタスクの種類をメタラーニングで学習したマシンアノテータであるEmphmeta-workerの概念を紹介した。 一般の群衆労働者とは異なり、メタワーカーは信頼性があり、安定しており、さらに重要なことはタイヤレスで自由である。
• 参考スコア（独自算出の注目度）: 50.04836252733443
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Due to the unreliability of Internet workers, it's difficult to complete a crowdsourcing project satisfactorily, especially when the tasks are multiple and the budget is limited. Recently, meta learning has brought new vitality to few-shot learning, making it possible to obtain a classifier with a fair performance using only a few training samples. Here we introduce the concept of \emph{meta-worker}, a machine annotator trained by meta learning for types of tasks (i.e., image classification) that are well-fit for AI. Unlike regular crowd workers, meta-workers can be reliable, stable, and more importantly, tireless and free. We first cluster unlabeled data and ask crowd workers to repeatedly annotate the instances nearby the cluster centers; we then leverage the annotated data and meta-training datasets to build a cluster of meta-workers using different meta learning algorithms. Subsequently, meta-workers are asked to annotate the remaining crowdsourced tasks. The Jensen-Shannon divergence is used to measure the disagreement among the annotations provided by the meta-workers, which determines whether or not crowd workers should be invited for further annotation of the same task. Finally, we model meta-workers' preferences and compute the consensus annotation by weighted majority voting. Our empirical study confirms that, by combining machine and human intelligence, we can accomplish a crowdsourcing project with a lower budget than state-of-the-art task assignment methods, while achieving a superior or comparable quality.
• Abstract（参考訳）: インターネットワーカーの信頼性のため、特にタスクが複数で予算が限られている場合には、クラウドソーシングプロジェクトを満足に完了することは困難である。 近年、メタラーニングは、数回のトレーニングサンプルのみを使用して、公平なパフォーマンスを持つ分類器を得ることを可能にするために、わずかなショット学習に新たな活力をもたらしている。 ここでは,AIに適したタスク(画像分類)のメタラーニングによって訓練された機械アノテータである \emph{meta-worker} の概念を紹介する。 通常の群衆労働者とは異なり、メタワーカーは信頼性があり、安定し、さらに重要なことに、タイヤレスで自由である。 最初はラベルのないデータをクラスタ化し、クラスタ中心付近のインスタンスに繰り返しアノテートするようにクラウドワーカーに頼んだ後、アノテートされたデータとメタトレーニングデータセットを活用して、異なるメタ学習アルゴリズムを使用してメタワーカーのクラスタを構築します。 その後、メタワーカーは、残りのクラウドソースタスクに注釈を付けるように要求される。 Jensen-Shannonの発散は、メタワーカーが提供したアノテーション間の不一致を測定するために使用され、同じタスクのさらなるアノテーションのために群衆労働者を招待するかどうかを決定する。 最後に、メタワーカーの好みをモデル化し、多数決の重み付けによるコンセンサスアノテーションを計算する。 我々の実験では、機械と人間の知能を組み合わせることで、最先端のタスク割り当て手法よりも低い予算でクラウドソーシングプロジェクトを達成でき、優れた品質と同等の品質を実現できます。

関連論文リスト

• Improve Meta-learning for Few-Shot Text Classification with All You Can Acquire from the Tasks [10.556477506959888]
  既存の手法は、しばしばサポートセットのサンプルから正確なクラスプロトタイプを描くのに困難に遭遇する。 近年のアプローチでは、外部知識や事前訓練された言語モデルを組み込んでデータを拡張しようとするが、追加のリソースが必要になる。 本稿では,タスク自体の情報を適切に活用した新しいソリューションを提案する。
  論文  参考訳（メタデータ） (2024-10-14T12:47:11Z)
• Meta Knowledge Condensation for Federated Learning [65.20774786251683]
  既存のフェデレートされた学習パラダイムは通常、より強力なモデルを達成するために、中央の解決器で分散モデルを広範囲に交換する。 これにより、特にデータ分散が不均一である場合、サーバと複数のクライアントの間で深刻な通信負荷が発生します。 既存のパラダイムとは違って,フェデレート学習におけるコミュニケーションコストを大幅に削減する新たな視点を導入する。
  論文  参考訳（メタデータ） (2022-09-29T15:07:37Z)
• Does MAML Only Work via Feature Re-use? A Data Centric Perspective [19.556093984142418]
  メタ学習型MAMLの表現機能に光を当てた経験的結果を提供する。 機能再使用の低さをもたらす合成ベンチマークのファミリを定義することが可能であることを示す。 メタラーニングを再考する上での課題は、数ショットの学習データセットとベンチマークの設計にあると推測する。
  論文  参考訳（メタデータ） (2021-12-24T20:18:38Z)
• Meta-Regularization by Enforcing Mutual-Exclusiveness [0.8057006406834467]
  本稿では,メタ学習時の情報フローをモデル設計者が制御できるように,メタ学習モデルの正規化手法を提案する。 提案した正規化関数は,Omniglotデータセット上で$sim$$36%の精度向上を示す。
  論文  参考訳（メタデータ） (2021-01-24T22:57:19Z)
• COG: Connecting New Skills to Past Experience with Offline Reinforcement Learning [78.13740204156858]
  我々は、動的プログラミングによって新しいスキルを拡張するために、事前データを再利用できることを示します。 我々は、新しいタスクを解決するために、以前のデータセットに見られるいくつかの動作をチェーンすることで、アプローチの有効性を実証する。 我々は、高次元画像観察を低レベルのロボット制御コマンドにマッピングし、エンドツーエンドでポリシーを訓練する。
  論文  参考訳（メタデータ） (2020-10-27T17:57:29Z)
• Self-Supervised Meta-Learning for Few-Shot Natural Language Classification Tasks [40.97125791174191]
  ラベルのないテキストから大規模でリッチなメタ学習タスク分布を生成するための自己教師型手法を提案する。 このメタトレーニングは、言語モデル事前学習の後に微調整を行うよりも、数ショットの一般化に繋がることを示す。
  論文  参考訳（メタデータ） (2020-09-17T17:53:59Z)
• Improving Generalization in Meta-learning via Task Augmentation [69.83677015207527]
  本稿ではMetaMixとChannel Shuffleの2つのタスク拡張手法を提案する。 MetaMixとChannel Shuffleはどちらも、多くのデータセットにまたがる大きなマージンによって、最先端の結果を上回っている。
  論文  参考訳（メタデータ） (2020-07-26T01:50:42Z)
• Adaptive Task Sampling for Meta-Learning [79.61146834134459]
  数ショットの分類のためのメタラーニングの鍵となるアイデアは、テスト時に直面した数ショットの状況を模倣することである。 一般化性能を向上させるための適応型タスクサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2020-07-17T03:15:53Z)
• Incremental Meta-Learning via Indirect Discriminant Alignment [118.61152684795178]
  メタ学習のメタ学習段階において,段階的な学習の概念を発達させる。 我々のアプローチは、完全なメタトレーニングセットでモデルをトレーニングするのと比べて、テスト時に好適に機能する。
  論文  参考訳（メタデータ） (2020-02-11T01:39:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。