論文の概要: Are You a Real Software Engineer? Best Practices in Online Recruitment
for Software Engineering Studies
- arxiv url: http://arxiv.org/abs/2402.01925v1
- Date: Fri, 2 Feb 2024 21:53:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-06 23:28:37.854594
- Title: Are You a Real Software Engineer? Best Practices in Online Recruitment
for Software Engineering Studies
- Title(参考訳): あなたは本物のソフトウェアエンジニアですか?
ソフトウェア工学研究におけるオンライン採用のベストプラクティス
- Authors: Adam Alami and Mansooreh Zahedi and Neil Ernst
- Abstract要約: 以前の調査では、資格のあるソフトウェアエンジニアの採用にオンラインプラットフォームを活用するためのさまざまな成果と課題が報告されていた。
本稿では,定性的・定量的なソフトウェア工学(SE)研究サンプルの品質と妥当性を高めるために,参加者の募集とスクリーニングのベストプラクティスを提案する。
- 参考スコア(独自算出の注目度): 4.247193377317027
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Online research platforms, such as Prolific, offer rapid access to diverse
participant pools but also pose unique challenges in participant qualification
and skill verification. Previous studies reported mixed outcomes and challenges
in leveraging online platforms for the recruitment of qualified software
engineers. Drawing from our experience in conducting three different studies
using Prolific, we propose best practices for recruiting and screening
participants to enhance the quality and relevance of both qualitative and
quantitative software engineering (SE) research samples. We propose refined
best practices for recruitment in SE research on Prolific. (1) Iterative and
controlled prescreening, enabling focused and manageable assessment of
submissions (2) task-oriented and targeted questions that assess technical
skills, knowledge of basic SE concepts, and professional engagement. (3) AI
detection to verify the authenticity of free-text responses. (4) Qualitative
and manual assessment of responses, ensuring authenticity and relevance in
participant answers (5) Additional layers of prescreening are necessary when
necessary to collect data relevant to the topic of the study. (6) Fair or
generous compensation post-qualification to incentivize genuine participation.
By sharing our experiences and lessons learned, we contribute to the
development of effective and rigorous methods for SE empirical research.
particularly the ongoing effort to establish guidelines to ensure reliable data
collection. These practices have the potential to transferability to other
participant recruitment platforms.
- Abstract(参考訳): Prolificのようなオンライン研究プラットフォームは、多様な参加者プールへの迅速なアクセスを提供するが、受験資格とスキル検証に固有の課題をもたらす。
以前の調査では、資格のあるソフトウェアエンジニアの採用にオンラインプラットフォームを活用するためのさまざまな成果と課題が報告されていた。
Prolificを用いて3つの異なる研究を行った経験から、質的および定量的ソフトウェア工学(SE)研究サンプルの品質と関連性を高めるために、参加者の募集とスクリーニングのベストプラクティスを提案する。
本稿では,Se Research on Prolificにおける人材育成のベストプラクティスを提案する。
1)技術スキル,基本的なse概念の知識,専門職の関与度を評価するタスク指向・ターゲット質問を主眼とした,反復的かつ管理可能な事前スクリーニング。
3) フリーテキスト応答の真正性を検証するためのai検出。
(4)回答の質的・手動的評価,回答の信頼性と妥当性の確保,(5)研究の話題に関連するデータを収集するためには,追加の事前スクリーニング層が必要である。
6) 真の参加を奨励するための公正又は寛大な報酬
得られた経験と教訓を共有することで、SE実証研究の効果的で厳密な手法の開発に寄与する。
特に信頼性の高いデータ収集のガイドラインを確立するための努力が進行中です。
これらのプラクティスは、他の参加者募集プラットフォームへの転送可能性を持つ。
関連論文リスト
- Quality Assurance for Artificial Intelligence: A Study of Industrial
Concerns, Challenges and Best Practices [14.222404866137756]
我々は,AIシステムの品質保証(QA4AI)の課題とベストプラクティスについて報告する。
以上の結果から, 最も重要な特性として正しさが示唆され, モデル関連性, 効率性, 展開性などが示唆された。
AI開発の各段階で、21のQA4AIプラクティスを特定します。
論文 参考訳(メタデータ) (2024-02-26T08:31:45Z) - Requirements for a Career in Information Security: A Comprehensive
Review [0.0]
主な目的は、情報セキュリティ(IS)分野における多様な機会に対する認識を高めることである。
これらの研究に対して,IS専門家が持つべき重要な知識とスキルを特定し,記述するために,テーマ分析を行った。
この研究は、フィールドのユニークな要件のために、サイバーセキュリティのキャリアを追求する女性のジェンダー関連障害の存在を認識している。
論文 参考訳(メタデータ) (2024-01-07T16:41:13Z) - Software Testing and Code Refactoring: A Survey with Practitioners [3.977213079821398]
本研究の目的は,ソフトウェアテストのコンテキストにおいて,このプラクティスのメリットと限界を理解するために,ソフトウェアテスト専門家がコードを扱う方法を検討することである。
ソフトウェアテストの文脈では、自動テストのメンテナンスのサポートや、テストチームのパフォーマンス向上など、いくつかのメリットがある、と私たちは結論付けました。
本研究は,テスト専門家が自動テストのコードに実装することの重要性について議論し,コーディング能力の向上を可能にするものである。
論文 参考訳(メタデータ) (2023-10-03T01:07:39Z) - ExpertQA: Expert-Curated Questions and Attributed Answers [54.764273324907684]
本稿では,いくつかのシステムから得られる様々な事実と帰属の軸を解析する評価研究について述べる。
まず、32分野にわたる484人の被験者から専門家による質問を収集し、同じ専門家に自身の質問に対する回答を評価する。
また、専門家に言語モデルによる回答の修正を依頼し、32分野にわたる2177の質問からなる高品質の長文QAデータセットであるExpertQAを導いた。
論文 参考訳(メタデータ) (2023-09-14T16:54:34Z) - Making Pre-trained Language Models both Task-solvers and
Self-calibrators [52.98858650625623]
プレトレーニング言語モデル(PLM)は、様々な現実世界のシステムのバックボーンとして機能する。
以前の研究は、余分なキャリブレーションタスクを導入することでこの問題を緩和できることを示している。
課題に対処するためのトレーニングアルゴリズムLM-TOASTを提案する。
論文 参考訳(メタデータ) (2023-07-21T02:51:41Z) - Exploring Emerging Technologies for Requirements Elicitation Interview
Training: Empirical Assessment of Robotic and Virtual Tutors [0.0]
本稿では,新しい教育技術に基づく要求緩和面接訓練システムについて提案する。
物理ロボットエージェントのRoと仮想音声エージェントのVoの2つの実装によるREITの適用性を示す。
論文 参考訳(メタデータ) (2023-04-28T20:03:48Z) - Towards Informed Design and Validation Assistance in Computer Games
Using Imitation Learning [65.12226891589592]
本稿では,自動ゲーム検証とテストのための新しいアプローチを提案する。
本手法は,データ駆動型模倣学習技術を活用し,時間と労力をほとんど必要とせず,機械学習やプログラミングの知識も必要としない。
論文 参考訳(メタデータ) (2022-08-15T11:08:44Z) - Partner Matters! An Empirical Study on Fusing Personas for Personalized
Response Selection in Retrieval-Based Chatbots [51.091235903442715]
本稿では,自己とパートナーの話者が応答選択の課題に与える影響について検討する。
4つのペルソナ融合戦略が設計されており、異なる方法でペルソナがコンテキストや応答と相互作用することを前提としている。
Persona-Chatデータセットに関する実証研究は、パートナーペルソナが応答選択の精度を向上させることができることを示している。
論文 参考訳(メタデータ) (2021-05-19T10:32:30Z) - KnowledgeCheckR: Intelligent Techniques for Counteracting Forgetting [52.623349754076024]
KnowledgeCheckRに統合された推奨アプローチの概要を提供します。
その例としては,将来的に繰り返される学習内容の識別を支援するユーティリティベースのレコメンデーション,セッションベースのレコメンデーションを実装するための協調フィルタリングアプローチ,インテリジェントな質問応答を支援するコンテントベースのレコメンデーションなどがある。
論文 参考訳(メタデータ) (2021-02-15T20:06:28Z) - Mining Implicit Relevance Feedback from User Behavior for Web Question
Answering [92.45607094299181]
本研究は,ユーザ行動と通過関連性との関連性を検討するための最初の研究である。
提案手法は,追加のラベル付きデータを使わずにパスランキングの精度を大幅に向上させる。
実際にこの研究は、グローバルな商用検索エンジンにおけるQAサービスの人為的ラベリングコストを大幅に削減する効果が証明されている。
論文 参考訳(メタデータ) (2020-06-13T07:02:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。