論文の概要: Which Combination of Test Metrics Can Predict Success of a Software Project? A Case Study in a Year-Long Project Course
- arxiv url: http://arxiv.org/abs/2408.12120v1
- Date: Thu, 22 Aug 2024 04:23:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-23 15:13:16.519109
- Title: Which Combination of Test Metrics Can Predict Success of a Software Project? A Case Study in a Year-Long Project Course
- Title（参考訳）: テストメトリクスの組合せがソフトウェアプロジェクトの成功を予測できるか?-1年間のプロジェクトコースを事例として-
- Authors: Marina Filipovic, Fabian Gilson,
- Abstract要約: テストはソフトウェア開発プロジェクトの成功を保証する上で重要な役割を担います。
種々のテストが機能的適合性に与える影響を定量化できるかどうかを検討する。
- 参考スコア（独自算出の注目度）: 1.553083901660282
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Testing plays an important role in securing the success of a software development project. Prior studies have demonstrated beneficial effects of applying acceptance testing within a Behavioural-Driven Development method. In this research, we investigate whether we can quantify the effects various types of testing have on functional suitability, i.e. the software conformance to users' functional expectations. We explore which combination of software testing (automated and manual, including acceptance testing) should be applied to ensure the expected functional requirements are met, as well as whether the lack of testing during a development iteration causes a significant increase of effort spent fixing the project later on. To answer those questions, we collected and analysed data from a year-long software engineering project course. We combined manual observations and statistical methods, namely Linear Mixed-Effects Modelling, to evaluate the effects of coverage metrics as well as time effort on passed stories over 5 Scrum sprints. The results suggest that a combination of a high code coverage for all of automated unit, acceptance, and manual testing has a significant impact on functional suitability. Similarly, but to a lower extent, front-end unit testing and manual testing can predict the success of a software delivery when taken independently. We observed a close-to-significant effect between low back-end testing and deferral (i.e. postponement) of user stories.
- Abstract（参考訳）: テストはソフトウェア開発プロジェクトの成功を確保する上で重要な役割を担います。
これまでの研究は、振る舞い駆動開発手法で受け入れテストを適用する効果を実証してきた。
本研究では,様々な種類のテストが機能的適合性,すなわちユーザの機能的期待に適合するソフトウェアに与える影響を定量化できるかどうかを検討する。
ソフトウェアテスト(自動および手動、受け入れテストを含む)のどの組み合わせを適用すれば、期待される機能要件が満たされるか、また、開発イテレーション中にテストの欠如がプロジェクトの修正に要する労力を大幅に増加させるかどうかを検討する。
これらの質問に答えるために、私たちは1年間のソフトウェアエンジニアリングプロジェクトコースからデータを収集、分析しました。
手動による観察と統計手法、すなわち線形混合影響モデリングを組み合わせることで、カバレッジメトリクスの効果と5つのスクラムスプリントで通過したストーリーに対する時間的労力を評価しました。
その結果、自動化されたユニットテスト、受け入れテスト、手動テストのすべてに対する高いコードカバレッジの組み合わせは、機能的な適合性に大きな影響を与えることが示唆された。
同様に、より低い範囲では、フロントエンドの単体テストと手動テストは、独立して行うソフトウェアデリバリの成功を予測することができる。
ユーザストーリーの低バックエンドテストと遅延(つまり延期)の間には,大きな影響がみられた。
関連論文リスト
- Self-Training with Pseudo-Label Scorer for Aspect Sentiment Quad Prediction [54.23208041792073]
Aspect Sentiment Quad Prediction (ASQP) は、与えられたレビューに対して全てのクワッド(アスペクト項、アスペクトカテゴリー、意見項、感情極性)を予測することを目的としている。
ASQPタスクにおける重要な課題はラベル付きデータの不足であり、既存のメソッドのパフォーマンスを制限している。
そこで我々は,擬似ラベルスコアラーを用いた自己学習フレームワークを提案し,レビューと擬似ラベルの一致をスコアラーが評価する。
論文 参考訳（メタデータ） (2024-06-26T05:30:21Z) - Leveraging Large Language Models for Efficient Failure Analysis in Game Development [47.618236610219554]
本稿では,テストの失敗の原因となるコードの変更を自動的に識別する手法を提案する。
このメソッドは、LLM(Large Language Models)を利用して、エラーメッセージと対応するコード変更を関連付ける。
当社のアプローチは新たに作成したデータセットで71%の精度に達しています。
論文 参考訳（メタデータ） (2024-06-11T09:21:50Z) - A Comprehensive Study on Automated Testing with the Software Lifecycle [0.6144680854063939]
この研究は、自動テストがソフトウェアの品質を評価するのをいかに簡単にするか、手動テストと比べてどのように時間を節約するか、そして利点と欠点の観点から、それぞれのテストとどのように違うかを調べる。
ソフトウェアアプリケーションのテストプロセスは、単純化され、特定のテスト状況に合わせてカスタマイズされ、自動テストツールを使用してうまく実行される。
論文 参考訳（メタデータ） (2024-05-02T06:30:37Z) - Towards Reliable AI: Adequacy Metrics for Ensuring the Quality of
System-level Testing of Autonomous Vehicles [5.634825161148484]
我々は、"Test suite Instance Space Adequacy"(TISA)メトリクスと呼ばれる一連のブラックボックステストの精度指標を紹介します。
TISAメトリクスは、テストスイートの多様性とカバレッジと、テスト中に検出されたバグの範囲の両方を評価する手段を提供する。
AVのシステムレベルのシミュレーションテストにおいて検出されたバグ数との相関を検証し,TISA測定の有効性を評価する。
論文 参考訳（メタデータ） (2023-11-14T10:16:05Z) - Measuring Software Testability via Automatically Generated Test Cases [8.17364116624769]
ソフトウェアメトリクスに基づいたテスト容易性測定のための新しい手法を提案する。
提案手法は, 自動検査生成と突然変異解析を利用して, 有効な検査症例の相対的硬度に関する証拠を定量化する。
論文 参考訳（メタデータ） (2023-07-30T09:48:51Z) - Towards Informed Design and Validation Assistance in Computer Games
Using Imitation Learning [65.12226891589592]
本稿では,自動ゲーム検証とテストのための新しいアプローチを提案する。
本手法は,データ駆動型模倣学習技術を活用し,時間と労力をほとんど必要とせず,機械学習やプログラミングの知識も必要としない。
論文 参考訳（メタデータ） (2022-08-15T11:08:44Z) - Comparative Study of Machine Learning Test Case Prioritization for
Continuous Integration Testing [3.8073142980733]
異なる機械学習モデルは、モデルトレーニングに使用するテスト履歴のサイズや、テストケースの実行に利用可能な時間予算に異なるパフォーマンスを持つことを示す。
この結果から,継続的統合テストにおけるテスト優先化のための機械学習アプローチは,最適性能を達成するために慎重に設定されるべきであることが示唆された。
論文 参考訳（メタデータ） (2022-04-22T19:20:49Z) - SUPERNOVA: Automating Test Selection and Defect Prevention in AAA Video
Games Using Risk Based Testing and Machine Learning [62.997667081978825]
従来の手法では、成長するソフトウェアシステムではスケールできないため、ビデオゲームのテストはますます難しいタスクになります。
自動化ハブとして機能しながら,テスト選択と欠陥防止を行うシステム SUPERNOVA を提案する。
この直接的な影響は、未公表のスポーツゲームタイトルの55%以上のテスト時間を減らすことが観察されている。
論文 参考訳（メタデータ） (2022-03-10T00:47:46Z) - Machine Learning Techniques for Software Quality Assurance: A Survey [5.33024001730262]
我々は,障害予測とテストケース優先順位付けの両方における様々なアプローチについて考察する。
近年,障害予測のためのディープラーニングアルゴリズムは,プログラムのセマンティクスと障害予測機能とのギャップを埋めるのに役立つ。
論文 参考訳（メタデータ） (2021-04-29T00:37:27Z) - ALT-MAS: A Data-Efficient Framework for Active Testing of Machine
Learning Algorithms [58.684954492439424]
少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。
ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
論文 参考訳（メタデータ） (2021-04-11T12:14:04Z) - Dynamic Causal Effects Evaluation in A/B Testing with a Reinforcement
Learning Framework [68.96770035057716]
A/Bテスト(A/B Testing)は、新しい製品を製薬、技術、伝統産業の古い製品と比較するビジネス戦略である。
本稿では,オンライン実験においてA/Bテストを実施するための強化学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-02-05T10:25:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。