論文の概要: On (Mis)perceptions of testing effectiveness: an empirical study
- arxiv url: http://arxiv.org/abs/2402.07222v1
- Date: Sun, 11 Feb 2024 14:50:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-13 16:57:23.607819
- Title: On (Mis)perceptions of testing effectiveness: an empirical study
- Title（参考訳）: テストの有効性の(ミス)知覚について:実証的研究
- Authors: Sira Vegas, Patricia Riofrio, Esperanza Marcos, Natalia Juristo
- Abstract要約: 本研究の目的は, 異なる手法の欠陥検出の有効性の認識が, 先行経験の欠如において, 実際の有効性とどの程度一致しているかを明らかにすることである。
本研究は,2つのテスト手法とコードレビュー手法を適用した学生を対象に,制御実験を行った。
実験の最後には、どのテクニックが最も効果的かを調べる調査が行われた。
再現された研究の結果は、元の研究の結果を確認し、参加者の認識は、テクニックの複雑さや嗜好についての意見ではなく、そのテクニックを適用したと考えることについての意見に基づいているかもしれないことを示唆している。
- 参考スコア（独自算出の注目度）: 1.8026347864255505
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: A recurring problem in software development is incorrect decision making on
the techniques, methods and tools to be used. Mostly, these decisions are based
on developers' perceptions about them. A factor influencing people's
perceptions is past experience, but it is not the only one. In this research,
we aim to discover how well the perceptions of the defect detection
effectiveness of different techniques match their real effectiveness in the
absence of prior experience. To do this, we conduct an empirical study plus a
replication. During the original study, we conduct a controlled experiment with
students applying two testing techniques and a code review technique. At the
end of the experiment, they take a survey to find out which technique they
perceive to be most effective. The results show that participants' perceptions
are wrong and that this mismatch is costly in terms of quality. In order to
gain further insight into the results, we replicate the controlled experiment
and extend the survey to include questions about participants' opinions on the
techniques and programs. The results of the replicated study confirm the
findings of the original study and suggest that participants' perceptions might
be based not on their opinions about complexity or preferences for techniques
but on how well they think that they have applied the techniques.
- Abstract（参考訳）: ソフトウェア開発における繰り返し発生する問題は、使用する技術、方法、ツールの誤った意思決定である。
多くの場合、これらの決定は開発者の認識に基づいている。
人々の知覚に影響を与える要因は過去の経験であるが、それだけではない。
本研究では,様々な手法の欠陥検出効果の認識が,事前経験がない場合の実際の有効性にどの程度合致するかを明らかにすることを目的とする。
これを実現するために、実証的研究と複製を行った。
本研究は,2つのテスト手法とコードレビュー手法を用いて,学生による制御実験を行った。
実験の最後には、どのテクニックが最も効果的かを判断する調査を実施している。
その結果,参加者の認識は誤りであり,このミスマッチは品質面でコストがかかることがわかった。
結果についてさらなる知見を得るため,制御実験を再現し,調査を延長し,実験手法やプログラムに対する参加者の意見に関する質問を含める。
本研究の結果から,被験者の認識は,手法の複雑さや選好に対する意見ではなく,その技法をどの程度うまく適用したかに基づいている可能性が示唆された。
関連論文リスト
- Hazards in Deep Learning Testing: Prevalence, Impact and Recommendations [17.824339932321788]
実験結果に有意な影響を及ぼす可能性のある10種類の経験的評価危険因子を同定した。
以上の結果から,10件のハザードが実験結果の無効化につながる可能性が示唆された。
危険を緩和する可能性を持つ10の優れた経験的実践のポイントセットを提案する。
論文 参考訳（メタデータ） (2023-09-11T11:05:34Z) - A Double Machine Learning Approach to Combining Experimental and Observational Data [59.29868677652324]
実験と観測を組み合わせた二重機械学習手法を提案する。
我々の枠組みは、より軽度の仮定の下で、外部の妥当性と無知の違反を検査する。
論文 参考訳（メタデータ） (2023-07-04T02:53:11Z) - PyExperimenter: Easily distribute experiments and track results [63.871474825689134]
PyExperimenterは、アルゴリズムの実験的な研究結果のセットアップ、ドキュメンテーション、実行、およびその後の評価を容易にするツールである。
人工知能の分野で研究者が使用することを意図しているが、それらに限定されていない。
論文 参考訳（メタデータ） (2023-01-16T10:43:02Z) - Fair Effect Attribution in Parallel Online Experiments [57.13281584606437]
A/Bテストは、オンラインサービスで導入された変更の影響を確実に特定する目的で役立ちます。
オンラインプラットフォームでは,ユーザトラフィックをランダムに分割して多数の同時実験を行うのが一般的である。
異なるグループ間の完全なランダム化にもかかわらず、同時実験は互いに相互作用し、平均的な集団の結果に負の影響をもたらす。
論文 参考訳（メタデータ） (2022-10-15T17:15:51Z) - Homophily and Incentive Effects in Use of Algorithms [17.55279695774825]
本稿では,2つの要因がAIによる意思決定に与える影響を評価するために,クラウドソーシング・ヴィグネット研究を提案する。
まず、ホモフィリー(homophily)を検証します。
次に、インセンティブについて考えます -- ハイブリッドな意思決定環境に(既知の)コスト構造を組み込むには、どうすればよいのでしょう?
論文 参考訳（メタデータ） (2022-05-19T17:11:04Z) - Sources of Irreproducibility in Machine Learning: A Review [3.905855359082687]
実験設計の選択と結論に対する潜在的な影響を関連付ける理論的枠組みは存在しない。
本研究の目的は、応用データサイエンスの実践者や研究者が、どのような設計選択が誤った発見につながるかを理解するためのフレームワークを開発することである。
論文 参考訳（メタデータ） (2022-04-15T18:26:03Z) - StudyMe: A New Mobile App for User-Centric N-of-1 Trials [68.8204255655161]
N-of-1臨床試験は、個人が個人の健康目標に対する介入の効果を体系的に評価できる多種多様な自己実験である。
StudyMeはオープンソースのモバイルアプリで、https://play.google.com/store/apps/details?id=health.studyu.me.comから無料で利用できる。
論文 参考訳（メタデータ） (2021-07-31T20:43:36Z) - Black Magic in Deep Learning: How Human Skill Impacts Network Training [24.802914836352738]
経験の異なる31名の被験者を対象に,初回調査を行った。
その結果,参加者の経験と最終成績との間には強い正の相関が認められた。
論文 参考訳（メタデータ） (2020-08-13T15:56:14Z) - A Survey on Causal Inference [64.45536158710014]
因果推論は統計学、コンピュータ科学、教育、公共政策、経済学など、多くの分野において重要な研究トピックである。
観測データに対する様々な因果効果推定法が誕生した。
論文 参考訳（メタデータ） (2020-02-05T21:35:29Z) - Generalization Bounds and Representation Learning for Estimation of
Potential Outcomes and Causal Effects [61.03579766573421]
代替薬に対する患者一人の反応など,個人レベルの因果効果の推定について検討した。
我々は,表現の誘導的処理群距離を正規化することにより,境界を最小化する表現学習アルゴリズムを考案した。
これらのアルゴリズムを拡張して、重み付き表現を同時に学習し、治療群距離をさらに削減する。
論文 参考訳（メタデータ） (2020-01-21T10:16:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。