論文の概要: Test2Vec: An Execution Trace Embedding for Test Case Prioritization
- arxiv url: http://arxiv.org/abs/2206.15428v1
- Date: Tue, 28 Jun 2022 20:38:36 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-01 15:24:40.588316
- Title: Test2Vec: An Execution Trace Embedding for Test Case Prioritization
- Title（参考訳）: Test2Vec: テストケース優先順位付けのための実行トレース埋め込み
- Authors: Emad Jabbar, Soheila Zangeneh, Hadi Hemmati, Robert Feldt
- Abstract要約: テストケースの実行トレースは、自動テストタスクの振る舞いを抽象化するよい代替手段になり得る。
本稿では,テスト実行トレースを潜在空間にマッピングする新しい埋め込み手法Test2Vecを提案する。
結果より,提案したTPは,第1検体の平均正規化ランクを41.80%向上させることがわかった。
- 参考スコア（独自算出の注目度）: 12.624724734296342
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Most automated software testing tasks can benefit from the abstract
representation of test cases. Traditionally, this is done by encoding test
cases based on their code coverage. Specification-level criteria can replace
code coverage to better represent test cases' behavior, but they are often not
cost-effective. In this paper, we hypothesize that execution traces of the test
cases can be a good alternative to abstract their behavior for automated
testing tasks. We propose a novel embedding approach, Test2Vec, that maps test
execution traces to a latent space. We evaluate this representation in the test
case prioritization (TP) task. Our default TP method is based on the similarity
of the embedded vectors to historical failing test vectors. We also study an
alternative based on the diversity of test vectors. Finally, we propose a
method to decide which TP to choose, for a given test suite. The experiment is
based on several real and seeded faults with over a million execution traces.
Results show that our proposed TP improves best alternatives by 41.80% in terms
of the median normalized rank of the first failing test case (FFR). It
outperforms traditional code coverage-based approaches by 25.05% and 59.25% in
terms of median APFD and median normalized FFR.
- Abstract（参考訳）: ほとんどの自動化されたソフトウェアテストタスクは、テストケースの抽象表現の恩恵を受けることができる。
伝統的に、これはテストケースをコードカバレッジに基づいてエンコードすることで行われる。
仕様レベルの基準は、テストケースの振る舞いをより良く表現するためにコードカバレッジを置き換えることができるが、コスト効率が良くないことが多い。
本稿では,テストケースの実行トレースが,自動テストタスクの動作を抽象化するための優れた代替手段となると仮定する。
本稿では,テスト実行トレースを潜在空間にマッピングする新しい埋め込み手法Test2Vecを提案する。
この表現をテストケース優先順位付け(TP)タスクで評価する。
デフォルトのtpメソッドは、組込みベクターと過去の失敗したテストベクターの類似性に基づいています。
また,テストベクトルの多様性に基づく代替案についても検討する。
最後に、与えられたテストスイートに対して、どのTPを選択するかを決定する方法を提案する。
この実験は、100万以上の実行トレースを持つ、実およびシードされたいくつかの障害に基づいている。
その結果,提案したTPは,第1回フェールテストケース(FFR)の平均正規化ランクにおいて,41.80%向上した。
従来のコードカバレッジベースのアプローチでは、中央値APFDと中央値正規化FFRで25.05%、59.25%を上回っている。
関連論文リスト
- TestGenEval: A Real World Unit Test Generation and Test Completion Benchmark [24.14654309612826]
TestGenEvalは、1,210のコードから68,647のテストと、11の保守されたPythonリポジトリにまたがるテストファイルペアで構成されている。
初期テストのオーサリング、テストスイートの補完、コードカバレッジの改善をカバーしている。
パラメータは7Bから405Bまで様々である。
論文 参考訳（メタデータ） (2024-10-01T14:47:05Z) - Feature-oriented Test Case Selection and Prioritization During the Evolution of Highly-Configurable Systems [1.5225153671736202]
機能指向テストケースの選択と優先順位付けアプローチであるFeaTestSelPrioを紹介した。
提案手法では,多数のテストを選択し,ベースラインとして使用される変更ファイル指向アプローチよりも実行に要する時間が長い。
優先順位付けのステップでは、失敗するコミットの86%で、平均的なテスト予算を削減できます。
論文 参考訳（メタデータ） (2024-06-21T16:39:10Z) - Precise Error Rates for Computationally Efficient Testing [75.63895690909241]
本稿では,計算複雑性に着目した単純な対数-単純仮説テストの問題を再考する。
線形スペクトル統計に基づく既存の試験は、I型とII型の誤差率の間の最良のトレードオフ曲線を達成する。
論文 参考訳（メタデータ） (2023-11-01T04:41:16Z) - On Pitfalls of Test-Time Adaptation [82.8392232222119]
TTA(Test-Time Adaptation)は、分散シフトの下で堅牢性に取り組むための有望なアプローチとして登場した。
TTABは,10の最先端アルゴリズム,多種多様な分散シフト,および2つの評価プロトコルを含むテスト時間適応ベンチマークである。
論文 参考訳（メタデータ） (2023-06-06T09:35:29Z) - AdaNPC: Exploring Non-Parametric Classifier for Test-Time Adaptation [64.9230895853942]
ドメインの一般化は、ターゲットのドメイン情報を活用することなく、任意に困難にすることができる。
この問題に対処するためにテスト時適応(TTA)手法が提案されている。
本研究では,テスト時間適応(AdaNPC)を行うためにNon-Parametricを採用する。
論文 参考訳（メタデータ） (2023-04-25T04:23:13Z) - Sequential Kernelized Independence Testing [101.22966794822084]
我々は、カーネル化依存度にインスパイアされたシーケンシャルなカーネル化独立試験を設計する。
シミュレーションデータと実データの両方にアプローチのパワーを実証する。
論文 参考訳（メタデータ） (2022-12-14T18:08:42Z) - CodeT: Code Generation with Generated Tests [49.622590050797236]
テストケースを自動的に生成するための事前学習言語モデルについて検討する。
CodeTは生成されたテストケースを使ってコードソリューションを実行し、次に最良のソリューションを選択します。
我々は,HumanEvalとMBPPのベンチマークを用いて,5種類の事前学習モデル上でCodeTを評価する。
論文 参考訳（メタデータ） (2022-07-21T10:18:37Z) - Supervised Learning for Coverage-Directed Test Selection in
Simulation-Based Verification [0.0]
本稿では,自動制約抽出とテスト選択のための新しい手法を提案する。
カバレッジ指向のテスト選択は、カバレッジフィードバックからの教師付き学習に基づいている。
本稿では,手作業による制約記述の低減,効果的なテストの優先順位付け,検証資源の消費の低減,大規模で実生活のハードウェア設計におけるカバレッジ閉鎖の促進について述べる。
論文 参考訳（メタデータ） (2022-05-17T17:49:30Z) - DeepOrder: Deep Learning for Test Case Prioritization in Continuous
Integration Testing [6.767885381740952]
この研究は、回帰機械学習に基づいて動作するディープラーニングベースのモデルであるDeepOrderを紹介している。
DeepOrderは、テスト実行の履歴記録に基づいて、以前のテストサイクルの任意の数からテストケースをランク付けする。
実験により, 深部ニューラルネットワークは, 単純な回帰モデルとして, 連続的な統合テストにおいて, テストケースの優先順位付けに効率的に利用できることを示した。
論文 参考訳（メタデータ） (2021-10-14T15:10:38Z) - TestRank: Bringing Order into Unlabeled Test Instances for Deep Learning
Tasks [14.547623982073475]
ディープラーニングシステムはテストやデバッグが難しいことで有名です。
テストコスト削減のために、テスト選択を行い、選択した“高品質”バグ修正テストインプットのみをラベル付けすることが不可欠である。
本稿では,未ラベルのテストインスタンスに,バグ検出機能,すなわちTestRankに従って順序を付ける新しいテスト優先順位付け手法を提案する。
論文 参考訳（メタデータ） (2021-05-21T03:41:10Z) - Noisy Adaptive Group Testing using Bayesian Sequential Experimental
Design [63.48989885374238]
病気の感染頻度が低い場合、Dorfman氏は80年前に、人のテストグループは個人でテストするよりも効率が良いことを示した。
本研究の目的は,ノイズの多い環境で動作可能な新しいグループテストアルゴリズムを提案することである。
論文 参考訳（メタデータ） (2020-04-26T23:41:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。