論文の概要: Are You a Real Software Engineer? Best Practices in Online Recruitment
for Software Engineering Studies
- arxiv url: http://arxiv.org/abs/2402.01925v1
- Date: Fri, 2 Feb 2024 21:53:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-06 23:28:37.854594
- Title: Are You a Real Software Engineer? Best Practices in Online Recruitment
for Software Engineering Studies
- Title（参考訳）: あなたは本物のソフトウェアエンジニアですか?
ソフトウェア工学研究におけるオンライン採用のベストプラクティス
- Authors: Adam Alami and Mansooreh Zahedi and Neil Ernst
- Abstract要約: 以前の調査では、資格のあるソフトウェアエンジニアの採用にオンラインプラットフォームを活用するためのさまざまな成果と課題が報告されていた。
本稿では,定性的・定量的なソフトウェア工学(SE)研究サンプルの品質と妥当性を高めるために,参加者の募集とスクリーニングのベストプラクティスを提案する。
- 参考スコア（独自算出の注目度）: 4.247193377317027
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Online research platforms, such as Prolific, offer rapid access to diverse
participant pools but also pose unique challenges in participant qualification
and skill verification. Previous studies reported mixed outcomes and challenges
in leveraging online platforms for the recruitment of qualified software
engineers. Drawing from our experience in conducting three different studies
using Prolific, we propose best practices for recruiting and screening
participants to enhance the quality and relevance of both qualitative and
quantitative software engineering (SE) research samples. We propose refined
best practices for recruitment in SE research on Prolific. (1) Iterative and
controlled prescreening, enabling focused and manageable assessment of
submissions (2) task-oriented and targeted questions that assess technical
skills, knowledge of basic SE concepts, and professional engagement. (3) AI
detection to verify the authenticity of free-text responses. (4) Qualitative
and manual assessment of responses, ensuring authenticity and relevance in
participant answers (5) Additional layers of prescreening are necessary when
necessary to collect data relevant to the topic of the study. (6) Fair or
generous compensation post-qualification to incentivize genuine participation.
By sharing our experiences and lessons learned, we contribute to the
development of effective and rigorous methods for SE empirical research.
particularly the ongoing effort to establish guidelines to ensure reliable data
collection. These practices have the potential to transferability to other
participant recruitment platforms.
- Abstract（参考訳）: Prolificのようなオンライン研究プラットフォームは、多様な参加者プールへの迅速なアクセスを提供するが、受験資格とスキル検証に固有の課題をもたらす。
以前の調査では、資格のあるソフトウェアエンジニアの採用にオンラインプラットフォームを活用するためのさまざまな成果と課題が報告されていた。
Prolificを用いて3つの異なる研究を行った経験から、質的および定量的ソフトウェア工学(SE)研究サンプルの品質と関連性を高めるために、参加者の募集とスクリーニングのベストプラクティスを提案する。
本稿では,Se Research on Prolificにおける人材育成のベストプラクティスを提案する。
1)技術スキル,基本的なse概念の知識,専門職の関与度を評価するタスク指向・ターゲット質問を主眼とした,反復的かつ管理可能な事前スクリーニング。
3) フリーテキスト応答の真正性を検証するためのai検出。
(4)回答の質的・手動的評価,回答の信頼性と妥当性の確保,(5)研究の話題に関連するデータを収集するためには,追加の事前スクリーニング層が必要である。
6) 真の参加を奨励するための公正又は寛大な報酬
得られた経験と教訓を共有することで、SE実証研究の効果的で厳密な手法の開発に寄与する。
特に信頼性の高いデータ収集のガイドラインを確立するための努力が進行中です。
これらのプラクティスは、他の参加者募集プラットフォームへの転送可能性を持つ。
関連論文リスト
- NeurIPS 2023 Competition: Privacy Preserving Federated Learning Document VQA [49.74911193222192]
このコンペティションでは、関連する質問や回答とともに、本物の請求書文書のデータセットが導入された。
ベースモデルは多モード生成言語モデルであり、視覚的またはテキスト的入力モダリティによってセンシティブな情報を公開することができる。
参加者は最小限の効用閾値を維持しながら通信コストを削減するエレガントなソリューションを提案した。
論文 参考訳（メタデータ） (2024-11-06T07:51:19Z) - Preliminary Insights on Industry Practices for Addressing Fairness Debt [4.546982900370235]
本研究は,ソフトウェア業界のAIシステムにおいて,ソフトウェアプロフェッショナルがバイアスを特定し,対処する方法について検討する。
本稿では,公正性負債に関する最初の証拠を提示し,AIシステムにおける公平性に関連する問題を管理するための構造化ガイドラインの開発基盤を提供する。
論文 参考訳（メタデータ） (2024-09-04T04:18:42Z) - AI Research is not Magic, it has to be Reproducible and Responsible: Challenges in the AI field from the Perspective of its PhD Students [1.1922075410173798]
欧州13カ国から28名のAI博士候補を調査した。
課題は、データセット、モデル、実験などのAIリソースの発見可能性と品質だ。
責任と再現可能なAI研究プラクティスをすぐに採用する必要がある。
論文 参考訳（メタデータ） (2024-08-13T12:19:02Z) - A pragmatic look at education and training of software test engineers: Further cooperation of academia and industry is needed [1.516251872371896]
産学におけるソフトウェアテスティング教育の状況を知ることは,大学教育者や産学士の双方にとって重要である。
本稿では,この問題を現実的に概観し,いくつかの推奨事項を提示し,さらなる議論を呼び起こそうとしている。
論文 参考訳（メタデータ） (2024-08-12T13:39:52Z) - Fairness in AI-Driven Recruitment: Challenges, Metrics, Methods, and Future Directions [0.0]
ビッグデータと機械学習は、従来の採用プロセスに急激な変革をもたらした。
AIベースの採用の頻度を考えると、人間の偏見がこれらのシステムによって決定される可能性があるという懸念が高まっている。
本稿では、AIによる採用におけるバイアスの種類を議論することで、この新興分野の包括的概要を提供する。
論文 参考訳（メタデータ） (2024-05-30T05:25:14Z) - Facilitating Multi-Role and Multi-Behavior Collaboration of Large Language Models for Online Job Seeking and Recruiting [51.54907796704785]
既存の手法は履歴書とジョブ記述の潜在意味論をモデル化し、それらの間に一致する関数を学習することに依存している。
大規模言語モデル (LLM) の強力なロールプレイング能力に触発されて, LLM によるインタビュアーと候補者のモックインタビュープロセスを導入することを提案する。
そこで我々は,モックインタビュー生成とハンドシェイクプロトコルにおける双方向評価という2つのモジュールにパーソナライズされたマッチングプロセスを分割する,新しいフレームワークであるMockLLMを提案する。
論文 参考訳（メタデータ） (2024-05-28T12:23:16Z) - LOVA3: Learning to Visual Question Answering, Asking and Assessment [61.51687164769517]
質問への回答、質問、評価は、世界を理解し、知識を得るのに不可欠な3つの人間の特性である。
現在のMLLM(Multimodal Large Language Models)は主に質問応答に焦点を当てており、質問や評価スキルの可能性を無視することが多い。
LOVA3は、"Learning tO Visual Question Answering, Asking and Assessment"と名付けられた革新的なフレームワークである。
論文 参考訳（メタデータ） (2024-05-23T18:21:59Z) - SurveyAgent: A Conversational System for Personalized and Efficient Research Survey [50.04283471107001]
本稿では,研究者にパーソナライズされた効率的な調査支援を目的とした会話システムであるSurveyAgentを紹介する。
SurveyAgentは3つの重要なモジュールを統合している。文書を整理するための知識管理、関連する文献を発見するための勧告、より深いレベルでコンテンツを扱うためのクエリ回答だ。
本評価は,研究活動の合理化におけるSurveyAgentの有効性を実証し,研究者の科学文献との交流を促進する能力を示すものである。
論文 参考訳（メタデータ） (2024-04-09T15:01:51Z) - Quality Assurance for Artificial Intelligence: A Study of Industrial
Concerns, Challenges and Best Practices [14.222404866137756]
我々は,AIシステムの品質保証(QA4AI)の課題とベストプラクティスについて報告する。
以上の結果から, 最も重要な特性として正しさが示唆され, モデル関連性, 効率性, 展開性などが示唆された。
AI開発の各段階で、21のQA4AIプラクティスを特定します。
論文 参考訳（メタデータ） (2024-02-26T08:31:45Z) - Towards Informed Design and Validation Assistance in Computer Games
Using Imitation Learning [65.12226891589592]
本稿では,自動ゲーム検証とテストのための新しいアプローチを提案する。
本手法は,データ駆動型模倣学習技術を活用し,時間と労力をほとんど必要とせず,機械学習やプログラミングの知識も必要としない。
論文 参考訳（メタデータ） (2022-08-15T11:08:44Z) - Partner Matters! An Empirical Study on Fusing Personas for Personalized
Response Selection in Retrieval-Based Chatbots [51.091235903442715]
本稿では,自己とパートナーの話者が応答選択の課題に与える影響について検討する。
4つのペルソナ融合戦略が設計されており、異なる方法でペルソナがコンテキストや応答と相互作用することを前提としている。
Persona-Chatデータセットに関する実証研究は、パートナーペルソナが応答選択の精度を向上させることができることを示している。
論文 参考訳（メタデータ） (2021-05-19T10:32:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。