論文の概要: Measuring Software Testability via Automatically Generated Test Cases
- arxiv url: http://arxiv.org/abs/2307.16185v1
- Date: Sun, 30 Jul 2023 09:48:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-23 15:49:07.968126
- Title: Measuring Software Testability via Automatically Generated Test Cases
- Title(参考訳): 自動生成テストケースによるソフトウェアテスト容易性の測定
- Authors: Luca Guglielmo, Leonardo Mariani, Giovanni Denaro
- Abstract要約: ソフトウェアメトリクスに基づいたテスト容易性測定のための新しい手法を提案する。
提案手法は, 自動検査生成と突然変異解析を利用して, 有効な検査症例の相対的硬度に関する証拠を定量化する。
- 参考スコア(独自算出の注目度): 8.17364116624769
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Estimating software testability can crucially assist software managers to
optimize test budgets and software quality. In this paper, we propose a new
approach that radically differs from the traditional approach of pursuing
testability measurements based on software metrics, e.g., the size of the code
or the complexity of the designs. Our approach exploits automatic test
generation and mutation analysis to quantify the evidence about the relative
hardness of developing effective test cases. In the paper, we elaborate on the
intuitions and the methodological choices that underlie our proposal for
estimating testability, introduce a technique and a prototype that allows for
concretely estimating testability accordingly, and discuss our findings out of
a set of experiments in which we compare the performance of our estimations
both against and in combination with traditional software metrics. The results
show that our testability estimates capture a complementary dimension of
testability that can be synergistically combined with approaches based on
software metrics to improve the accuracy of predictions.
- Abstract(参考訳): ソフトウェアテスト容易性の推定は、ソフトウェアマネージャがテスト予算とソフトウェア品質を最適化するのに非常に役立ちます。
本稿では,従来のソフトウェアメトリクスに基づくテスト容易性測定手法,例えばコードのサイズや設計の複雑さなどとは大きく異なる新しい手法を提案する。
本手法は, 自動テスト生成と突然変異解析を利用して, 有効テスト症例の相対的硬さに関するエビデンスを定量化する。
本稿では,テスト容易性を推定する提案を下敷きにした直感と方法論的選択について詳述するとともに,テスト容易性を具体的に推定する手法とプロトタイプを導入し,従来のソフトウェアメトリクスと組み合わせて推定性能を比較する一連の実験から得られた知見について考察する。
その結果,テスト容易性の推定値は,ソフトウェアメトリクスに基づく手法と相乗的に組み合わせることで,予測精度を向上させることができることがわかった。
関連論文リスト
- InterEvo-TR: Interactive Evolutionary Test Generation With Readability
Assessment [1.6874375111244329]
テスタによるインタラクティブな可読性評価をEvoSuiteに組み込むことを提案する。
提案手法であるInterEvo-TRは,検索中に異なるタイミングでテスターと対話する。
その結果,中間結果の選択・提示戦略は可読性評価に有効であることが示唆された。
論文 参考訳(メタデータ) (2024-01-13T13:14:29Z) - Towards Reliable AI: Adequacy Metrics for Ensuring the Quality of
System-level Testing of Autonomous Vehicles [5.634825161148484]
我々は、"Test suite Instance Space Adequacy"(TISA)メトリクスと呼ばれる一連のブラックボックステストの精度指標を紹介します。
TISAメトリクスは、テストスイートの多様性とカバレッジと、テスト中に検出されたバグの範囲の両方を評価する手段を提供する。
AVのシステムレベルのシミュレーションテストにおいて検出されたバグ数との相関を検証し,TISA測定の有効性を評価する。
論文 参考訳(メタデータ) (2023-11-14T10:16:05Z) - Test Case Recommendations with Distributed Representation of Code
Syntactic Features [2.225268436173329]
本稿では,ソースコード手法とテストケースの構造的・意味的特性を利用する自動手法を提案する。
提案するアプローチは、当初、メソッドレベルのソースコードとユニットテストを分散表現に変換するためにニューラルネットワークをトレーニングする。
このモデルは、メソッドの埋め込みと以前に組み込まれたトレーニングインスタンスのコサイン類似性を計算します。
論文 参考訳(メタデータ) (2023-10-04T21:42:01Z) - Validation Diagnostics for SBI algorithms based on Normalizing Flows [55.41644538483948]
本研究は,NFに基づく多次元条件(後)密度推定器の検証診断を容易にすることを提案する。
また、局所的な一貫性の結果に基づいた理論的保証も提供する。
この作業は、より良い特定モデルの設計を支援したり、新しいSBIアルゴリズムの開発を促進するのに役立つだろう。
論文 参考訳(メタデータ) (2022-11-17T15:48:06Z) - Uncertainty-Driven Action Quality Assessment [67.20617610820857]
本稿では,複数の判定スコアの多様性を捉えるために,不確実性駆動型AQA (UD-AQA) という新しい確率モデルを提案する。
我々は,AQA回帰損失の再重み付けに使用される各予測の不確かさを推定する。
提案手法は,オリンピックイベントMTL-AQAとFineDivingの3つのベンチマークと,手術スキルJIGSAWSデータセットの3つのベンチマークで比較結果を得た。
論文 参考訳(メタデータ) (2022-07-29T07:21:15Z) - Generalized Coverage Criteria for Combinatorial Sequence Testing [4.807321976136717]
本稿では,アクションのシーケンスとアサーションをテストベクトルとして使用するテストシステムに対して,新しいモデルベースのアプローチを提案する。
我々のソリューションは、テスト品質の定量化方法、提案するカバレッジ基準に基づいて高品質なテストスイートを生成するツール、リスクを評価するフレームワークを含む。
論文 参考訳(メタデータ) (2022-01-03T08:35:28Z) - Thinking Beyond Distributions in Testing Machine Learned Models [13.723244709042874]
機械学習(ML)コミュニティにおけるテストプラクティスは、テストデータセットに対して測定された学習モデルの予測パフォーマンスを評価することに集中している。
このテストの観点は、研究者や開発者が他の堅牢性障害源を調査することを積極的に妨げている、と私たちは主張する。
我々は、厳格な実践に機械学習テストの視点を広げるための一連の勧告を提示した。
論文 参考訳(メタデータ) (2021-12-06T14:03:48Z) - Differential privacy and robust statistics in high dimensions [49.50869296871643]
高次元Propose-Test-Release (HPTR) は指数的メカニズム、頑健な統計、Propose-Test-Release メカニズムという3つの重要なコンポーネントの上に構築されている。
本論文では,HPTRが複数のシナリオで最適サンプル複雑性をほぼ達成していることを示す。
論文 参考訳(メタデータ) (2021-11-12T06:36:40Z) - Predictive machine learning for prescriptive applications: a coupled
training-validating approach [77.34726150561087]
規範的応用のための予測機械学習モデルをトレーニングするための新しい手法を提案する。
このアプローチは、標準的なトレーニング検証テストスキームの検証ステップを微調整することに基づいている。
合成データを用いたいくつかの実験は、決定論的モデルと実モデルの両方において処方料コストを削減できる有望な結果を示した。
論文 参考訳(メタデータ) (2021-10-22T15:03:20Z) - Probabilistic robust linear quadratic regulators with Gaussian processes [73.0364959221845]
ガウス過程(GP)のような確率モデルは、制御設計に続く使用のためのデータから未知の動的システムを学ぶための強力なツールです。
本稿では、確率的安定性マージンに関して堅牢なコントローラを生成する線形化GPダイナミクスのための新しいコントローラ合成について述べる。
論文 参考訳(メタデータ) (2021-05-17T08:36:18Z) - SAMBA: Safe Model-Based & Active Reinforcement Learning [59.01424351231993]
SAMBAは、確率論的モデリング、情報理論、統計学といった側面を組み合わせた安全な強化学習のためのフレームワークである。
我々は,低次元および高次元の状態表現を含む安全な力学系ベンチマークを用いて,アルゴリズムの評価を行った。
アクティブなメトリクスと安全性の制約を詳細に分析することで,フレームワークの有効性を直感的に評価する。
論文 参考訳(メタデータ) (2020-06-12T10:40:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。