論文の概要: Further Evidence on a Controversial Topic about Human-Based Experiments: Professionals vs. Students

• arxiv url: http://arxiv.org/abs/2506.11597v1
• Date: Fri, 13 Jun 2025 09:05:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-16 17:50:49.72773
• Title: Further Evidence on a Controversial Topic about Human-Based Experiments: Professionals vs. Students
• Title（参考訳）: 人間による実験に関する論争トピックのさらなるエビデンス:専門家対学生
• Authors: Simone Romano, Francesco Paolo Sferratore, Giuseppe Scanniello,
• Abstract要約: 同じJavaプログラムのバグ修正タスクについて、62人の学生と42人のソフトウェア専門家を比較した。 参加者の2つのグループの違いを考慮すると、学生はバグ修正のプロフェッショナルよりも優れていた。
• 参考スコア（独自算出の注目度）: 3.358019319437577
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Most Software Engineering (SE) human-based controlled experiments rely on students as participants, raising concerns about their external validity. Specifically, the realism of results obtained from students and their applicability to the software industry remains in question. In this short paper, we bring further evidence on this controversial point. To do so, we compare 62 students and 42 software professionals on a bug-fixing task on the same Java program. The students were enrolled in a Bachelor's program in Computer Science, while the professionals were employed by two multinational companies (for one of them, the professionals were from two offices). Some variations in the experimental settings of the two groups (students and professionals) were present. For instance, the experimental environment of the experiment with professionals was more realistic; i.e., they faced some stress factors such as interruptions during the bug-fixing task. Considering the differences between the two groups of participants, the gathered data show that the students outperformed the professionals in fixing bugs. This diverges to some extent from past empirical evidence. Rather than presenting definitive conclusions, our results aim to catalyze the discussion on the use of students in experiments and pave the way for future investigations. Specifically, our results encourage us to examine the complex factors influencing SE tasks, making experiments as more realistic as possible.
• Abstract（参考訳）: ほとんどのソフトウェア工学(SE)による人間による制御実験は、学生を参加者として頼りにしており、外部の妥当性に関する懸念を提起している。 具体的には,学生の成果の現実性とソフトウェア産業への適用性に疑問が残る。 本稿では、この論争の的となっている点についてさらなる証拠を提示する。 そのために、62人の学生と42人のソフトウェア専門家を同じJavaプログラムのバグ修正タスクで比較した。 学生はコンピュータサイエンスの学士課程に入学し、プロは2つの多国籍企業(そのうちの1つは2つのオフィスから)に雇われた。 2つのグループ(学生と専門職)の実験的な設定にいくつかのバリエーションがあった。 例えば、専門家による実験の実験環境はより現実的で、バグ修正作業中に中断などのストレス要因に直面した。 参加者の2つのグループの違いを考慮すると、学生はバグ修正のプロフェッショナルよりも優れていた。 これは過去の経験的証拠からある程度は分かれている。 本研究は, 結論を提示するよりも, 実験における学生の活用に関する議論を触媒化し, 今後の研究への道を開くことを目的としている。 具体的には、SEタスクに影響を及ぼす複雑な要因を調べることを奨励し、実験をよりリアルにします。

関連論文リスト

• On the Mistaken Assumption of Interchangeable Deep Reinforcement Learning Implementations [53.0667196725616]
  ディープ・強化学習(Deep Reinforcement Learning, DRL)とは、エージェントがニューラルネットワークを使って特定の環境でどのアクションをとるかを学ぶ人工知能のパラダイムである。 DRLは最近、ドライビングシミュレーター、3Dロボット制御、マルチプレイヤー・オンライン・バトル・アリーナ・ビデオゲームといった複雑な環境を解くことで注目を集めている。 現在、Deep Q-Network (DQN) や Proximal Policy Optimization (PPO) アルゴリズムのような、これらのエージェントを訓練する最先端のアルゴリズムの実装が数多く存在する。
  論文  参考訳（メタデータ） (2025-03-28T16:25:06Z)
• Debiasing Architectural Decision-Making: An Experiment With Students and Practitioners [2.9767565026354195]
  本研究は, 専門職の様々な段階において, 個人による嫌悪ワークショップを設計し, 評価することを目的とした。 ワークショップは実践者に対して,より重大な影響があることが分かりました。 我々は,実践者のシステムへの愛着が,バイアスに対する感受性の原因であると仮定する。
  論文  参考訳（メタデータ） (2025-02-06T12:12:53Z)
• On (Mis)perceptions of testing effectiveness: an empirical study [1.8026347864255505]
  本研究の目的は, 異なる手法の欠陥検出の有効性の認識が, 先行経験の欠如において, 実際の有効性とどの程度一致しているかを明らかにすることである。 本研究は,2つのテスト手法とコードレビュー手法を適用した学生を対象に,制御実験を行った。 実験の最後には、どのテクニックが最も効果的かを調べる調査が行われた。 再現された研究の結果は、元の研究の結果を確認し、参加者の認識は、テクニックの複雑さや嗜好についての意見ではなく、そのテクニックを適用したと考えることについての意見に基づいているかもしれないことを示唆している。
  論文  参考訳（メタデータ） (2024-02-11T14:50:01Z)
• Overwhelmed software developers: An Interpretative Phenomenological Analysis [43.18707677931078]
  最近、圧倒された経験のある2人のソフトウェア開発者についてインタビューした。 過圧の7つのカテゴリ(コミュニケーション、障害、組織、多様性、技術的、時間的、ポジティブな過圧)を明らかにする。 参加者は、過圧は時にポジティブで快適な体験であり、精神的な焦点、自己の野心、生産性を高めることができると報告した。
  論文  参考訳（メタデータ） (2024-01-05T12:39:08Z)
• PyExperimenter: Easily distribute experiments and track results [63.871474825689134]
  PyExperimenterは、アルゴリズムの実験的な研究結果のセットアップ、ドキュメンテーション、実行、およびその後の評価を容易にするツールである。 人工知能の分野で研究者が使用することを意図しているが、それらに限定されていない。
  論文  参考訳（メタデータ） (2023-01-16T10:43:02Z)
• Fair Effect Attribution in Parallel Online Experiments [57.13281584606437]
  A/Bテストは、オンラインサービスで導入された変更の影響を確実に特定する目的で役立ちます。 オンラインプラットフォームでは,ユーザトラフィックをランダムに分割して多数の同時実験を行うのが一般的である。 異なるグループ間の完全なランダム化にもかかわらず、同時実験は互いに相互作用し、平均的な集団の結果に負の影響をもたらす。
  論文  参考訳（メタデータ） (2022-10-15T17:15:51Z)
• Monitor++?: Multiple versus Single Laboratory Monitors in Early Programming Education [4.797216015572358]
  本稿では,学生が複数のモニタを使用する入門レベルのプログラミングコースについて,実証的研究を行った。 生徒のパフォーマンスと自己報告の体験を、1台のモニターで比較する。
  論文  参考訳（メタデータ） (2021-08-13T14:56:04Z)
• Fine-Tuning Pretrained Language Models: Weight Initializations, Data Orders, and Early Stopping [62.78338049381917]
  教師付き下流タスクのための微調整済み文脈単語埋め込みモデルは、自然言語処理において一般的なものとなっている。 GLUEベンチマークから得られた4つのデータセットを実験し、無作為な種だけを変えながら、それぞれに数百回微調整されたBERTを実験した。 これまでに報告した結果と比較すると,性能が大幅に向上し,微調整試行回数の関数としてベストファウンドモデルの性能がどう変化するかが定量化される。
  論文  参考訳（メタデータ） (2020-02-15T02:40:10Z)
• Dynamic Causal Effects Evaluation in A/B Testing with a Reinforcement Learning Framework [68.96770035057716]
  A/Bテスト(A/B Testing)は、新しい製品を製薬、技術、伝統産業の古い製品と比較するビジネス戦略である。 本稿では,オンライン実験においてA/Bテストを実施するための強化学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-05T10:25:02Z)
• Online Peer-Assessment Datasets [0.0]
  トレント大学の1年生と2年生を対象にピアアセスメント実験を行った。 実験は1学期にわたって行われ、2013年から2016年にかけて5つのコンピュータサイエンスコースで実施された。 データセットは解析可能なデータ構造として報告され、中間処理によってNLPまたはML対応データセットに成形することができる。
  論文  参考訳（メタデータ） (2019-12-30T18:48:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。