論文の概要: Study on Patterns and Effect of Task Diversity in Software Crowdsourcing
- arxiv url: http://arxiv.org/abs/2006.00871v2
- Date: Wed, 29 Jul 2020 22:22:36 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-26 23:57:59.467906
- Title: Study on Patterns and Effect of Task Diversity in Software Crowdsourcing
- Title（参考訳）: ソフトウェアクラウドソーシングにおけるタスク多様性のパターンと効果に関する研究
- Authors: Denisse Martinez Mejorado, Razieh Saremi, Ye Yang, and Jose E.
Ramirez-Marquez
- Abstract要約: 本研究の目的は,ソフトウェアクラウドソーシングプラットフォームにおけるタスク多様性のパターンと効果を実証的に調査することである。
この実証的研究は、ソフトウェアクラウドソーシングプラットフォームのトップコーダーから1年以上の実際のデータに基づいて実施されている。
- 参考スコア（独自算出の注目度）: 1.758684872705242
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Context: The success of software crowdsourcing depends on steady tasks supply
and active worker pool. Existing analysis reveals an average task failure ratio
of 15.7% in software crowdsourcing market. Goal: The objective of this study is
to empirically investigate patterns and effect of task diversity in software
crowdsourcing platform in order to improve the success and efficiency of
software crowdsourcing. Method: We propose a conceptual task diversity model,
and develop an approach to measuring and analyzing task diversity.More
specifically, this includes grouping similar tasks, ranking them based on their
competition level and identifying the dominant attributes that distinguish
among these levels, and then studying the impact of task diversity on task
success and worker performance in crowdsourcing platform. The empirical study
is conducted on more than one year's real-world data from TopCoder, the leading
software crowdsourcing platform. Results: We identified that monetary prize and
task complexity are the dominant attributes that differentiate among different
competition levels. Based on these dominant attributes, we found three task
diversity patterns (configurations) from workers behavior perspective:
responsive to prize, responsive to prize and complexity and over responsive to
prize. This study supports that1) responsive to prize configuration provides
highest level of task density and workers' reliability in a platform; 2)
responsive to prize and complexity configuration leads to attracting high level
of trustworthy workers; 3) over responsive to prize configuration results in
highest task stability and the lowest failure ratio in the platform for not
high similar tasks.
- Abstract（参考訳）: コンテキスト: ソフトウェアクラウドソーシングの成功は、安定したタスクの供給とアクティブなワーカープールに依存する。
既存の分析によると、ソフトウェアクラウドソーシング市場での平均タスク失敗率は15.7%である。
目標: 本研究の目的は,ソフトウェアクラウドソーシングの成功と効率を向上させるために,ソフトウェアクラウドソーシングプラットフォームのタスク多様性のパターンと効果を実証的に調査することである。
方法: 課題多様性モデルを提案し, 課題多様性を計測・分析するためのアプローチを開発し, 特に, 類似タスクをグループ化し, 競争レベルに基づいてランク付けし, それらのレベルを区別する支配的属性を特定し, 課題多様性が課題成功と作業者パフォーマンスに与える影響をクラウドソーシングプラットフォームで調査する。
この実証的研究は、ソフトウェアクラウドソーシングプラットフォームのトップコーダーから1年以上の実際のデータに基づいて実施されている。
結果: 競争水準の異なる主な要因は, 金銭的賞金とタスクの複雑さであることがわかった。
これらの支配的な特性に基づいて、ワーカーの振る舞いの観点から3つのタスクの多様性パターン(構成)を発見した。
本研究は,1)懸賞構成への対応が,プラットフォームにおけるタスク密度と作業者の信頼性の最高レベルを提供することを支持する。
2) 褒美や複雑さに対する反応は,高いレベルの信頼に値する労働者を惹きつける。
3) 評価設定に対する過度な応答は、高いタスク安定性と、あまり類似しないタスクに対するプラットフォーム内の障害比率を低下させる。
関連論文リスト
- Heterogeneous Graph Reinforcement Learning for Dependency-aware Multi-task Allocation in Spatial Crowdsourcing [33.915222518617085]
本稿では,依存性を考慮したマルチタスクアロケーション(DMA)の問題点を公式に検討する。
Heterogeneous Graph Reinforcement Learning-based Task Allocation (HGRL-TA)として知られる、それを解決するためのよく設計されたフレームワークを提供する。
実験結果は、提案されたHGRL-TAのDMA問題を解決する効果と一般性を示し、メタヒューリスティック法を用いて達成したよりも21.78%高い平均利益をもたらす。
論文 参考訳（メタデータ） (2024-10-20T17:00:45Z) - On the Evaluation of Generative Robotic Simulations [35.8253733339539]
生成シミュレーションに適した総合評価フレームワークを提案する。
単一タスクの品質では、生成されたタスクのリアリズムと生成されたトラジェクトリの完全性を評価する。
タスクレベルの一般化のために、複数の生成されたタスクで訓練されたポリシーの目に見えないタスクに対してゼロショットの一般化能力を評価する。
論文 参考訳（メタデータ） (2024-10-10T17:49:25Z) - WESE: Weak Exploration to Strong Exploitation for LLM Agents [95.6720931773781]
本稿では,オープンワールド対話型タスクの解法において,LLMエージェントの強化を目的としたWeak Exploration to Strong Exploitation (WESE)を提案する。
WESEは、探究と搾取のプロセスを分離し、費用対効果の弱いエージェントを用いて世界的知識の探索を行う。
次に、獲得した知識を格納し、タスク関連知識を抽出する知識グラフベースの戦略を導入する。
論文 参考訳（メタデータ） (2024-04-11T03:31:54Z) - Evaluating Collaborative and Autonomous Agents in Data-Stream-Supported
Coordination of Mobile Crowdsourcing [0.7865191493201839]
モバイルのクラウドソーシングでは、これらのタスクを成功させるのに苦労するクラウドワーカーにタスクが割り当てられることが多い。
モバイルクラウドソーシングにおける成果予測とタスクコーディネートを実現するための様々なメカニズムを提案する。
論文 参考訳（メタデータ） (2024-01-23T16:00:45Z) - Diversity-Based Recruitment in Crowdsensing By Combinatorial Multi-Armed
Bandits [6.802315212233411]
本稿では,モバイル端末とそのユーザを中心的要求者の協調の下で集団センシングタスクに活用するモバイル・クラウドセンシングについて検討する。
ここでの最大の課題は、最初は未知であり、徐々に学ばなければならない個々の労働者の知覚能力の変化である。
本稿では,各ラウンドにおけるタスクの重み付けを各ラウンドの割り当て頻度に基づいて動的に調整することにより,各ラウンドにおけるタスクの多様性を高める新しいモデルを提案する。
論文 参考訳（メタデータ） (2023-12-25T13:54:58Z) - Benchmarking Robustness and Generalization in Multi-Agent Systems: A
Case Study on Neural MMO [50.58083807719749]
IJCAI 2022で開催されている第2回Neural MMOチャレンジの結果を報告する。
この競合はマルチエージェントシステムの堅牢性と一般化をターゲットにしている。
環境ラッパー、ベースライン、可視化ツール、そしてさらなる研究のための選択されたポリシーを含むベンチマークをオープンソースにします。
論文 参考訳（メタデータ） (2023-08-30T07:16:11Z) - Towards Task Sampler Learning for Meta-Learning [37.02030832662183]
メタラーニングは、限られたデータから行われる多様なトレーニングタスクで一般的な知識を学び、それを新しいタスクに転送することを目的としている。
タスク多様性の増大はメタラーニングモデルの一般化能力を高めると一般的に信じられている。
本稿では、経験的および理論的分析を通して、この見解に挑戦する。
論文 参考訳（メタデータ） (2023-07-18T01:53:18Z) - Exposing and Addressing Cross-Task Inconsistency in Unified
Vision-Language Models [80.23791222509644]
一貫性のないAIモデルは、人間のユーザーによって不安定で信頼できないと見なされている。
最先端のビジョン言語モデルは、タスク間の驚くほど高い一貫性のない振る舞いに悩まされている。
本稿では,大規模で自動生成されるクロスタスクコントラスト集合上で計算されたランク相関に基づく補助訓練目標を提案する。
論文 参考訳（メタデータ） (2023-03-28T16:57:12Z) - Reinforcement Learning with Success Induced Task Prioritization [68.8204255655161]
本稿では,自動カリキュラム学習のためのフレームワークであるSuccess induced Task Prioritization (SITP)を紹介する。
アルゴリズムはエージェントに最速の学習を提供するタスクの順序を選択する。
我々は,SITPが他のカリキュラム設計手法と一致するか,あるいは上回っていることを実証する。
論文 参考訳（メタデータ） (2022-12-30T12:32:43Z) - Uni-Perceiver: Pre-training Unified Architecture for Generic Perception
for Zero-shot and Few-shot Tasks [73.63892022944198]
我々はUni-Perceiverという汎用認識アーキテクチャを提案する。
様々なモダリティやタスクを、統一されたモデリングと共有パラメータで処理します。
その結果、チューニングなしで事前学習したモデルは、新しいタスクでも合理的なパフォーマンスを達成できることがわかった。
論文 参考訳（メタデータ） (2021-12-02T18:59:50Z) - Randomized Entity-wise Factorization for Multi-Agent Reinforcement
Learning [59.62721526353915]
実世界のマルチエージェント設定は、エージェントや非エージェントエンティティのタイプや量が異なるタスクを伴うことが多い。
我々の方法は、これらの共通点を活用することを目的としており、「観察対象のランダムに選択されたサブグループのみを考えるとき、各エージェントが期待する効用は何か?」という問いを投げかける。
論文 参考訳（メタデータ） (2020-06-07T18:28:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。