論文の概要: Study on Patterns and Effect of Task Diversity in Software Crowdsourcing
- arxiv url: http://arxiv.org/abs/2006.00871v2
- Date: Wed, 29 Jul 2020 22:22:36 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-26 23:57:59.467906
- Title: Study on Patterns and Effect of Task Diversity in Software Crowdsourcing
- Title(参考訳): ソフトウェアクラウドソーシングにおけるタスク多様性のパターンと効果に関する研究
- Authors: Denisse Martinez Mejorado, Razieh Saremi, Ye Yang, and Jose E.
Ramirez-Marquez
- Abstract要約: 本研究の目的は,ソフトウェアクラウドソーシングプラットフォームにおけるタスク多様性のパターンと効果を実証的に調査することである。
この実証的研究は、ソフトウェアクラウドソーシングプラットフォームのトップコーダーから1年以上の実際のデータに基づいて実施されている。
- 参考スコア(独自算出の注目度): 1.758684872705242
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Context: The success of software crowdsourcing depends on steady tasks supply
and active worker pool. Existing analysis reveals an average task failure ratio
of 15.7% in software crowdsourcing market. Goal: The objective of this study is
to empirically investigate patterns and effect of task diversity in software
crowdsourcing platform in order to improve the success and efficiency of
software crowdsourcing. Method: We propose a conceptual task diversity model,
and develop an approach to measuring and analyzing task diversity.More
specifically, this includes grouping similar tasks, ranking them based on their
competition level and identifying the dominant attributes that distinguish
among these levels, and then studying the impact of task diversity on task
success and worker performance in crowdsourcing platform. The empirical study
is conducted on more than one year's real-world data from TopCoder, the leading
software crowdsourcing platform. Results: We identified that monetary prize and
task complexity are the dominant attributes that differentiate among different
competition levels. Based on these dominant attributes, we found three task
diversity patterns (configurations) from workers behavior perspective:
responsive to prize, responsive to prize and complexity and over responsive to
prize. This study supports that1) responsive to prize configuration provides
highest level of task density and workers' reliability in a platform; 2)
responsive to prize and complexity configuration leads to attracting high level
of trustworthy workers; 3) over responsive to prize configuration results in
highest task stability and the lowest failure ratio in the platform for not
high similar tasks.
- Abstract(参考訳): コンテキスト: ソフトウェアクラウドソーシングの成功は、安定したタスクの供給とアクティブなワーカープールに依存する。
既存の分析によると、ソフトウェアクラウドソーシング市場での平均タスク失敗率は15.7%である。
目標: 本研究の目的は,ソフトウェアクラウドソーシングの成功と効率を向上させるために,ソフトウェアクラウドソーシングプラットフォームのタスク多様性のパターンと効果を実証的に調査することである。
方法: 課題多様性モデルを提案し, 課題多様性を計測・分析するためのアプローチを開発し, 特に, 類似タスクをグループ化し, 競争レベルに基づいてランク付けし, それらのレベルを区別する支配的属性を特定し, 課題多様性が課題成功と作業者パフォーマンスに与える影響をクラウドソーシングプラットフォームで調査する。
この実証的研究は、ソフトウェアクラウドソーシングプラットフォームのトップコーダーから1年以上の実際のデータに基づいて実施されている。
結果: 競争水準の異なる主な要因は, 金銭的賞金とタスクの複雑さであることがわかった。
これらの支配的な特性に基づいて、ワーカーの振る舞いの観点から3つのタスクの多様性パターン(構成)を発見した。
本研究は,1)懸賞構成への対応が,プラットフォームにおけるタスク密度と作業者の信頼性の最高レベルを提供することを支持する。
2) 褒美や複雑さに対する反応は,高いレベルの信頼に値する労働者を惹きつける。
3) 評価設定に対する過度な応答は、高いタスク安定性と、あまり類似しないタスクに対するプラットフォーム内の障害比率を低下させる。
関連論文リスト
- Evaluating Collaborative and Autonomous Agents in Data-Stream-Supported
Coordination of Mobile Crowdsourcing [0.7865191493201839]
モバイルのクラウドソーシングでは、これらのタスクを成功させるのに苦労するクラウドワーカーにタスクが割り当てられることが多い。
モバイルクラウドソーシングにおける成果予測とタスクコーディネートを実現するための様々なメカニズムを提案する。
論文 参考訳(メタデータ) (2024-01-23T16:00:45Z) - Diversity-Based Recruitment in Crowdsensing By Combinatorial Multi-Armed
Bandits [6.802315212233411]
本稿では,モバイル端末とそのユーザを中心的要求者の協調の下で集団センシングタスクに活用するモバイル・クラウドセンシングについて検討する。
ここでの最大の課題は、最初は未知であり、徐々に学ばなければならない個々の労働者の知覚能力の変化である。
本稿では,各ラウンドにおけるタスクの重み付けを各ラウンドの割り当て頻度に基づいて動的に調整することにより,各ラウンドにおけるタスクの多様性を高める新しいモデルを提案する。
論文 参考訳(メタデータ) (2023-12-25T13:54:58Z) - Benchmarking Robustness and Generalization in Multi-Agent Systems: A
Case Study on Neural MMO [50.58083807719749]
IJCAI 2022で開催されている第2回Neural MMOチャレンジの結果を報告する。
この競合はマルチエージェントシステムの堅牢性と一般化をターゲットにしている。
環境ラッパー、ベースライン、可視化ツール、そしてさらなる研究のための選択されたポリシーを含むベンチマークをオープンソースにします。
論文 参考訳(メタデータ) (2023-08-30T07:16:11Z) - Towards Task Sampler Learning for Meta-Learning [39.22730441304006]
メタラーニングは、限られたデータから行われる多様なトレーニングタスクで一般的な知識を学び、それを新しいタスクに転送することを目的としている。
タスク多様性の増大はメタラーニングモデルの一般化能力を高めると一般的に信じられている。
本稿では、経験的および理論的分析を通して、この見解に挑戦する。
論文 参考訳(メタデータ) (2023-07-18T01:53:18Z) - Exposing and Addressing Cross-Task Inconsistency in Unified
Vision-Language Models [80.23791222509644]
一貫性のないAIモデルは、人間のユーザーによって不安定で信頼できないと見なされている。
最先端のビジョン言語モデルは、タスク間の驚くほど高い一貫性のない振る舞いに悩まされている。
本稿では,大規模で自動生成されるクロスタスクコントラスト集合上で計算されたランク相関に基づく補助訓練目標を提案する。
論文 参考訳(メタデータ) (2023-03-28T16:57:12Z) - Reinforcement Learning with Success Induced Task Prioritization [68.8204255655161]
本稿では,自動カリキュラム学習のためのフレームワークであるSuccess induced Task Prioritization (SITP)を紹介する。
アルゴリズムはエージェントに最速の学習を提供するタスクの順序を選択する。
我々は,SITPが他のカリキュラム設計手法と一致するか,あるいは上回っていることを実証する。
論文 参考訳(メタデータ) (2022-12-30T12:32:43Z) - Uni-Perceiver: Pre-training Unified Architecture for Generic Perception
for Zero-shot and Few-shot Tasks [73.63892022944198]
我々はUni-Perceiverという汎用認識アーキテクチャを提案する。
様々なモダリティやタスクを、統一されたモデリングと共有パラメータで処理します。
その結果、チューニングなしで事前学習したモデルは、新しいタスクでも合理的なパフォーマンスを達成できることがわかった。
論文 参考訳(メタデータ) (2021-12-02T18:59:50Z) - An Evolutionary Algorithm for Task Scheduling in Crowdsourced Software
Development [10.373891804761376]
本稿では,クラウドソーシングソフトウェア開発のための進化的アルゴリズムに基づくタスクスケジューリング手法を提案する。
4つのプロジェクトの実験結果から,提案手法はプロジェクト期間を33~78%短縮できる可能性が示された。
論文 参考訳(メタデータ) (2021-07-05T18:07:26Z) - Weakly-supervised Multi-task Learning for Multimodal Affect Recognition [33.7929682119287]
本稿では,教師なしマルチタスク学習を用いたデータセットを活用した一般化性能の向上を提案する。
具体的には、1感情認識、2感情分析、3サーカスム認識の3つのマルチモーダル影響認識タスクについて検討する。
実験の結果,マルチタスクは全てのタスクに有効であり,精度は2.9%,F1スコアは3.3%向上した。
論文 参考訳(メタデータ) (2021-04-23T12:36:19Z) - Randomized Entity-wise Factorization for Multi-Agent Reinforcement
Learning [59.62721526353915]
実世界のマルチエージェント設定は、エージェントや非エージェントエンティティのタイプや量が異なるタスクを伴うことが多い。
我々の方法は、これらの共通点を活用することを目的としており、「観察対象のランダムに選択されたサブグループのみを考えるとき、各エージェントが期待する効用は何か?」という問いを投げかける。
論文 参考訳(メタデータ) (2020-06-07T18:28:41Z) - Robust Learning Through Cross-Task Consistency [92.42534246652062]
クロスタスク整合性を用いた学習向上のための,広く適用可能な完全計算手法を提案する。
クロスタスク一貫性による学習は,より正確な予測と,アウト・オブ・ディストリビューション・インプットの一般化につながることを観察する。
論文 参考訳(メタデータ) (2020-06-07T09:24:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。