論文の概要: Cross-domain-aware Worker Selection with Training for Crowdsourced Annotation
- arxiv url: http://arxiv.org/abs/2406.06977v1
- Date: Tue, 11 Jun 2024 06:18:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-12 17:13:54.246921
- Title: Cross-domain-aware Worker Selection with Training for Crowdsourced Annotation
- Title（参考訳）: クラウドソーシングアノテーションのトレーニングによるクロスドメイン対応作業者選択
- Authors: Yushi Sun, Jiachuan Wang, Peng Cheng, Libin Zheng, Lei Chen, Jian Yin,
- Abstract要約: 2つの重要なポイントが欠落しているのに対して、現場の真理のあるタスクにおける作業実績に基づいて作業者を選択する方法が既存の方法である。
本稿では、クロスドメイン・アウェア・ワーカー選択と呼ばれるアロケーション・スキームをトレーニング・アプローチで設計する際の2つの要因について考察する。
- 参考スコア（独自算出の注目度）: 14.73706143304563
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Annotation through crowdsourcing draws incremental attention, which relies on an effective selection scheme given a pool of workers. Existing methods propose to select workers based on their performance on tasks with ground truth, while two important points are missed. 1) The historical performances of workers in other tasks. In real-world scenarios, workers need to solve a new task whose correlation with previous tasks is not well-known before the training, which is called cross-domain. 2) The dynamic worker performance as workers will learn from the ground truth. In this paper, we consider both factors in designing an allocation scheme named cross-domain-aware worker selection with training approach. Our approach proposes two estimation modules to both statistically analyze the cross-domain correlation and simulate the learning gain of workers dynamically. A framework with a theoretical analysis of the worker elimination process is given. To validate the effectiveness of our methods, we collect two novel real-world datasets and generate synthetic datasets. The experiment results show that our method outperforms the baselines on both real-world and synthetic datasets.
- Abstract（参考訳）: クラウドソーシングによる注釈は、労働者のプールが与えられた場合の効果的な選択方式に依存する、漸進的な注意を惹きつける。
既存の手法では,2つの重要なポイントが欠落する一方,真理に基づくタスクのパフォーマンスに基づいて作業者を選択する方法が提案されている。
1)他の業務における労働者の歴史的パフォーマンス。
実世界のシナリオでは、労働者はトレーニング前に知られていなかった、クロスドメインと呼ばれる以前のタスクと相関する新しいタスクを解決する必要がある。
2)労働者としてのダイナミックワーカーのパフォーマンスは,真理から学ぶ。
本稿では、クロスドメイン・アウェア・ワーカー選択と呼ばれるアロケーション・スキームをトレーニング・アプローチで設計する際の2つの要因について考察する。
本手法では,クロスドメイン相関を統計的に解析し,作業者の学習成果を動的にシミュレートする2つの推定モジュールを提案する。
労働者の排除過程を理論的に分析した枠組みが与えられる。
提案手法の有効性を検証するため,2つの新しい実世界のデータセットを収集し,合成データセットを生成する。
実験の結果,本手法は実世界のデータセットと合成データセットのベースラインよりも優れていた。
関連論文リスト
- Improving General Text Embedding Model: Tackling Task Conflict and Data Imbalance through Model Merging [33.23758947497205]
高度な埋め込みモデルは、通常、大規模マルチタスクデータと複数のタスクをまたいだ共同トレーニングを用いて開発される。
これらの課題を克服するために、独立に訓練されたモデルを組み合わせて勾配の衝突を緩和し、データ分散のバランスをとるモデルマージングについて検討する。
本稿では,勾配降下を用いたタスクベクトル空間内の最適モデル組合せを効率的に探索する新たな手法であるSelf Positioningを提案する。
論文 参考訳（メタデータ） (2024-10-19T08:39:21Z) - Decision-Aware Predictive Model Selection for Workforce Allocation [0.27309692684728615]
本稿では、機械学習を利用して労働者の行動を予測する新しいフレームワークを提案する。
本手法では,作業者の振舞いを表現するための最適予測モデルを,その作業員の割り当て方法によって決定する。
本稿では,予測モデル選択と作業員割り当てを統合した意思決定対応最適化フレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-10T13:59:43Z) - FlowRetrieval: Flow-Guided Data Retrieval for Few-Shot Imitation Learning [28.523528119584526]
擬似学習は、与えられた下流タスクに対するポリシーを効率的に適応するために、少数のタスク固有のデモンストレーションにのみ依存する。
本稿では,従来のデータから目標タスクに類似した動作を抽出するために,光フロー表現を利用するFlowRetrievalを提案する。
その結果,FlowRetrievalは,シミュレーションや実世界のドメイン間で,従来の手法よりも大幅に優れていた。
論文 参考訳（メタデータ） (2024-08-29T23:48:08Z) - R\'esum\'e Parsing as Hierarchical Sequence Labeling: An Empirical Study [0.06817929337876494]
我々は、英語、フランス語、中国語、スペイン語、ドイツ語、ポルトガル語、スウェーデン語で高品質なR'esum'e parsing corporaを構築している。
本稿では,情報抽出作業における提案手法の有効性を示す実験結果について述べる。
論文 参考訳（メタデータ） (2023-09-13T15:17:29Z) - Learning from Temporal Spatial Cubism for Cross-Dataset Skeleton-based
Action Recognition [88.34182299496074]
アクションラベルはソースデータセットでのみ利用可能だが、トレーニング段階のターゲットデータセットでは利用できない。
我々は,2つの骨格に基づく行動データセット間の領域シフトを低減するために,自己スーパービジョン方式を利用する。
時間的セグメントや人体部分のセグメンテーションとパーフォーミングにより、我々は2つの自己教師あり学習分類タスクを設計する。
論文 参考訳（メタデータ） (2022-07-17T07:05:39Z) - TraND: Transferable Neighborhood Discovery for Unsupervised Cross-domain
Gait Recognition [77.77786072373942]
本稿では、教師なしクロスドメイン歩行認識のための領域ギャップを橋渡しするTransferable Neighborhood Discovery (TraND) フレームワークを提案する。
我々は、潜在空間におけるラベルなしサンプルの自信ある近傍を自動的に発見するために、エンドツーエンドのトレーニング可能なアプローチを設計する。
提案手法は,CASIA-BとOU-LPの2つの公開データセットに対して,最先端の結果を得る。
論文 参考訳（メタデータ） (2021-02-09T03:07:07Z) - Learning to Match Jobs with Resumes from Sparse Interaction Data using
Multi-View Co-Teaching Network [83.64416937454801]
ジョブ列のインタラクションデータは疎結合でノイズが多く、ジョブ列のマッチングアルゴリズムのパフォーマンスに影響する。
求人情報マッチングのための疎相互作用データから,新しいマルチビュー協調学習ネットワークを提案する。
我々のモデルは求人マッチングの最先端手法より優れている。
論文 参考訳（メタデータ） (2020-09-25T03:09:54Z) - Probabilistic Active Meta-Learning [15.432006404678981]
先行経験に基づくタスク選択をメタ学習アルゴリズムに導入する。
シミュレーションロボット実験の強いベースラインと比較して,本手法がデータ効率を向上させるという実証的証拠を提供する。
論文 参考訳（メタデータ） (2020-07-17T12:51:42Z) - Byzantine-Robust Learning on Heterogeneous Datasets via Bucketing [55.012801269326594]
ビザンチンの堅牢な分散学習では、中央サーバは、複数のワーカーに分散したデータよりも、機械学習モデルを訓練したい。
これらの労働者のごく一部は、所定のアルゴリズムから逸脱し、任意のメッセージを送ることができる。
本稿では,既存のロバストなアルゴリズムを無視可能な計算コストでヘテロジニアスなデータセットに適応させる,シンプルなバケット方式を提案する。
論文 参考訳（メタデータ） (2020-06-16T17:58:53Z) - Task-Feature Collaborative Learning with Application to Personalized
Attribute Prediction [166.87111665908333]
本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。
具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。
実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
論文 参考訳（メタデータ） (2020-04-29T02:32:04Z) - Train No Evil: Selective Masking for Task-Guided Pre-Training [97.03615486457065]
一般的な事前学習と微調整の間を選択的にマスキングするタスク誘導事前学習段階を付加した3段階のフレームワークを提案する。
提案手法は,50%未満のコストで同等あるいはさらに優れた性能が得られることを示す。
論文 参考訳（メタデータ） (2020-04-21T03:14:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。