論文の概要: The State of Pilot Study Reporting in Crowdsourcing: A Reflection on Best Practices and Guidelines

• arxiv url: http://arxiv.org/abs/2312.08090v1
• Date: Wed, 13 Dec 2023 12:13:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-14 15:36:05.293910
• Title: The State of Pilot Study Reporting in Crowdsourcing: A Reflection on Best Practices and Guidelines
• Title（参考訳）: クラウドソーシングにおけるパイロット研究報告の現状--ベストプラクティスとガイドラインの検討
• Authors: Jonas Oppenlaender, Tahir Abbas, Ujwal Gadiraju
• Abstract要約: クラウドソーシング研究におけるパイロット研究に関する詳細の欠如は、研究の複製と発見の再現を妨げる。 我々は,クラウドソーシングとHCI研究の交差点におけるパイロット研究報告の現状について,体系的な文献レビューを行った。 我々は,クラウドソーシング研究において,群衆パイロット研究を報告するためのベストプラクティスのセットを定式化した。
• 参考スコア（独自算出の注目度）: 12.782288692460565
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pilot studies are an essential cornerstone of the design of crowdsourcing campaigns, yet they are often only mentioned in passing in the scholarly literature. A lack of details surrounding pilot studies in crowdsourcing research hinders the replication of studies and the reproduction of findings, stalling potential scientific advances. We conducted a systematic literature review on the current state of pilot study reporting at the intersection of crowdsourcing and HCI research. Our review of ten years of literature included 171 articles published in the proceedings of the Conference on Human Computation and Crowdsourcing (AAAI HCOMP) and the ACM Digital Library. We found that pilot studies in crowdsourcing research (i.e., crowd pilot studies) are often under-reported in the literature. Important details, such as the number of workers and rewards to workers, are often not reported. On the basis of our findings, we reflect on the current state of practice and formulate a set of best practice guidelines for reporting crowd pilot studies in crowdsourcing research. We also provide implications for the design of crowdsourcing platforms and make practical suggestions for supporting crowd pilot study reporting.
• Abstract（参考訳）: パイロット研究は、クラウドソーシングキャンペーンの設計の基本的な基礎であるが、学術文献においてのみ言及されることが多い。 クラウドソーシング研究におけるパイロット研究に関する詳細の欠如は、研究の複製と発見の再現を妨げ、潜在的な科学的進歩を阻害する。 クラウドソーシングとhci研究の交点におけるパイロット研究の現状について体系的な文献レビューを行った。 本稿は,ACMデジタル図書館と人間計算・クラウドソーシング会議 (AAAI HCOMP) の手続で公表された171の論文を含む10年間の文献を概観する。 クラウドソーシング研究(すなわち、クラウドソーシング研究)におけるパイロット研究は、しばしば文献で報告されていない。 労働者の数や労働者への報酬などの重要な詳細は報告されないことが多い。 本研究は,実践の現状を反映し,クラウドソーシング研究において,群衆パイロット研究を報告するためのベストプラクティスのセットを策定するものである。 また,クラウドソーシングプラットフォームの設計に示唆を与え,クラウドパイロット研究報告を支援する実践的な提案を行う。

関連論文リスト

• What Can Natural Language Processing Do for Peer Review? [173.8912784451817]
  現代の科学ではピアレビューが広く使われているが、それは難しく、時間がかかり、エラーを起こしやすい。 ピアレビューに関わるアーティファクトは大部分がテキストベースであるため、自然言語処理はレビューを改善する大きな可能性を秘めている。 筆者らは、原稿提出からカメラ対応リビジョンまでの各工程について詳述し、NLP支援の課題と機会について論じる。
  論文  参考訳（メタデータ） (2024-05-10T16:06:43Z)
• ResearchAgent: Iterative Research Idea Generation over Scientific Literature with Large Language Models [56.08917291606421]
  ResearchAgentは、大規模言語モデルによる研究アイデア作成エージェントである。 科学文献に基づいて繰り返し精製しながら、問題、方法、実験設計を生成する。 我々は、複数の分野にわたる科学論文に関するResearchAgentを実験的に検証した。
  論文  参考訳（メタデータ） (2024-04-11T13:36:29Z)
• A Literature Review of Literature Reviews in Pattern Analysis and Machine Intelligence [58.6354685593418]
  本稿では, レビューを評価するために, 記事レベル, フィールド正規化, 大規模言語モデルを用いた書誌指標を提案する。 新たに登場したAI生成の文献レビューも評価されている。 この研究は、文学レビューの現在の課題についての洞察を与え、彼らの開発に向けた今後の方向性を思い起こさせる。
  論文  参考訳（メタデータ） (2024-02-20T11:28:50Z)
• Insights Towards Better Case Study Reporting in Software Engineering [0.0]
  本稿では,ケーススタディレポートの質と影響を高める知見を共有することを目的とする。 ケーススタディでは、確立されたガイドライン、正確な分類、詳細な文脈記述に従うことの必要性を強調した。 我々は,ケーススタディが方法論的に健全であることを保証するために,より厳密でコミュニケーション的な戦略を採用するよう研究者に促すことを目指している。
  論文  参考訳（メタデータ） (2024-02-13T12:29:26Z)
• Position: AI/ML Influencers Have a Place in the Academic Process [82.2069685579588]
  機械学習研究の可視性向上におけるソーシャルメディアインフルエンサーの役割について検討する。 2018年12月から2023年10月までの間に、8000以上の論文の包括的なデータセットを収集しました。 我々の統計的および因果推論分析は、これらのインフルエンサーが支持する論文の引用が著しく増加することを示している。
  論文  参考訳（メタデータ） (2024-01-24T20:05:49Z)
• How WEIRD is Usable Privacy and Security Research? (Extended Version) [7.669758543344074]
  本研究は, WEIRD 諸国のUPS 紙のサンプルがどの程度の規模であったかを明らかにするため, 文献レビューを行った。 研究手法と採用手法における地理的および言語的障壁は、研究者がローカルでユーザー研究を行う原因となる可能性がある。
  論文  参考訳（メタデータ） (2023-05-08T19:21:18Z)
• Navigating the reporting guideline environment for computational pathology: A review [0.685316573653194]
  本研究の目的は、計算病理学に携わる研究者が利用できる資源と報告ガイドラインを強調することである。 有用なリソースやガイダンスを簡単に識別するための要約を作成するために、アイテムがコンパイルされた。 病理AI研究に適用可能な70以上のリソースが特定された。
  論文  参考訳（メタデータ） (2023-01-03T23:17:51Z)
• NLPeer: A Unified Resource for the Computational Study of Peer Review [58.71736531356398]
  NLPeer - 5万以上の論文と5つの異なる会場からの1万1千件のレビューレポートからなる、初めて倫理的にソースされたマルチドメインコーパス。 従来のピアレビューデータセットを拡張し、解析および構造化された論文表現、豊富なメタデータ、バージョニング情報を含む。 我々の研究は、NLPなどにおけるピアレビューの体系的、多面的、エビデンスに基づく研究への道のりをたどっている。
  論文  参考訳（メタデータ） (2022-11-12T12:29:38Z)
• Yes-Yes-Yes: Donation-based Peer Reviewing Data Collection for ACL Rolling Review and Beyond [58.71736531356398]
  本稿では、ピアレビューデータについて詳細な議論を行い、ピアレビューデータ収集のための倫理的・法的デシダータの概要を述べるとともに、最初の継続的な寄付ベースのデータ収集ワークフローを提案する。 本稿では、ACL Rolling Reviewにおいて、このワークフローの現在進行中の実装について報告し、新たに収集したデータから得られた最初の洞察を提供する。
  論文  参考訳（メタデータ） (2022-01-27T11:02:43Z)
• A Systematic Literature Review of Empiricism and Norms of Reporting in Computing Education Research Literature [4.339510167603376]
  本研究の目的は,コンピュータ教育研究(CER)文学における経験主義の報告を特徴付けることである。 2014年と2015年に5つのCER会場で427件の論文のSLRを行った。 80%以上の論文がある種の経験的評価をしていた。
  論文  参考訳（メタデータ） (2021-07-02T16:37:29Z)
• Secondary Studies in the Academic Context: A Systematic Mapping and Survey [4.122293798697967]
  本研究の主な目的は,学術的文脈における二次研究の利用について概観することである。 我々は,SE研究プロジェクト実施のための研究方法論として,セカンダリスタディの利用に関する利用可能かつ関連する研究をSMで検証した。 第2に、64人のSE研究者による調査が行われ、研究プロジェクトを支援するための二次研究を行うことの価値に関する認識が特定された。
  論文  参考訳（メタデータ） (2020-07-10T20:01:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。