論文の概要: Design, implementation, and validation of a benchmark generator for
combinatorial interaction testing tools
- arxiv url: http://arxiv.org/abs/2311.03016v1
- Date: Mon, 6 Nov 2023 10:44:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-07 14:48:54.391281
- Title: Design, implementation, and validation of a benchmark generator for
combinatorial interaction testing tools
- Title(参考訳): 組合せ相互作用試験ツールのためのベンチマークジェネレータの設計・実装・検証
- Authors: Andrea Bombarda and Angelo Gargantini
- Abstract要約: 組合せテストはソフトウェアの欠陥を効率的に検出する手法として広く採用されている。
テストジェネレータの品質は、効果的なテストカバレッジを達成する上で重要な役割を果たす。
テストジェネレータが使用するベンチマークのジェネレータであるBenCIGenを紹介する。
- 参考スコア(独自算出の注目度): 0.29008108937701327
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Combinatorial testing is a widely adopted technique for efficiently detecting
faults in software. The quality of combinatorial test generators plays a
crucial role in achieving effective test coverage. Evaluating combinatorial
test generators remains a challenging task that requires diverse and
representative benchmarks. Having such benchmarks might help developers to test
their tools, and improve their performance. For this reason, in this paper, we
present BenCIGen, a highly configurable generator of benchmarks to be used by
combinatorial test generators, empowering users to customize the type of
benchmarks generated, including constraints and parameters, as well as their
complexity. An initial version of such a tool has been used during the
CT-Competition, held yearly during the International Workshop on Combinatorial
Testing. This paper describes the requirements, the design, the implementation,
and the validation of BenCIGen. Tests for the validation of BenCIGen are
derived from its requirements by using a combinatorial interaction approach.
Moreover, we demonstrate the tool's ability to generate benchmarks that reflect
the characteristics of real software systems. BenCIGen not only facilitates the
evaluation of existing generators but also serves as a valuable resource for
researchers and practitioners seeking to enhance the quality and effectiveness
of combinatorial testing methodologies.
- Abstract(参考訳): 組合せテストはソフトウェアの欠陥を効率的に検出する手法として広く採用されている。
コンビネーションテストジェネレータの品質は、効果的なテストカバレッジを達成する上で重要な役割を果たす。
コンビネートテストジェネレータの評価は、多様で代表的なベンチマークを必要とする課題である。
このようなベンチマークを行うことで、開発者はツールをテストし、パフォーマンスを改善することができる。
そこで本稿では,コンビネータテスト生成器が使用するベンチマークの高度に構成可能な生成器であるbencigenを提案する。
このツールの最初のバージョンはCT-Competitionで使われており、毎年、International Workshop on Combinatorial Testingで行われている。
本稿では,BenCIGenの要件,設計,実装,検証について述べる。
BenCIGenの検証テストは、組合せ的相互作用アプローチを用いてその要求から導かれる。
さらに,本ツールが実際のソフトウェアシステムの特徴を反映したベンチマークを生成する能力を示す。
BenCIGenは、既存のジェネレータの評価を促進するだけでなく、組み合わせテスト手法の品質と有効性を高めるために研究者や実践者にとって貴重な情報源となっている。
関連論文リスト
- Deep anytime-valid hypothesis testing [29.273915933729057]
非パラメトリックなテスト問題に対する強力なシーケンシャルな仮説テストを構築するための一般的なフレームワークを提案する。
テスト・バイ・ベッティング・フレームワーク内で、機械学習モデルの表現能力を活用するための原則的なアプローチを開発する。
合成および実世界のデータセットに関する実証的な結果は、我々の一般的なフレームワークを用いてインスタンス化されたテストが、特殊なベースラインと競合することを示している。
論文 参考訳(メタデータ) (2023-10-30T09:46:19Z) - Test Case Recommendations with Distributed Representation of Code
Syntactic Features [2.225268436173329]
本稿では,ソースコード手法とテストケースの構造的・意味的特性を利用する自動手法を提案する。
提案するアプローチは、当初、メソッドレベルのソースコードとユニットテストを分散表現に変換するためにニューラルネットワークをトレーニングする。
このモデルは、メソッドの埋め込みと以前に組み込まれたトレーニングインスタンスのコサイン類似性を計算します。
論文 参考訳(メタデータ) (2023-10-04T21:42:01Z) - A Benchmark Generator for Combinatorial Testing [0.0]
Combinatorial Testing (CT)ツールは、幅広いシステムの適切なテストに不可欠である。
我々は、利用可能なコンビニアル問題の多くに含まれる構造を基本的に借用する、CTベンチマークの新しいジェネレータを導入する。
論文 参考訳(メタデータ) (2022-12-29T09:03:10Z) - CodeT: Code Generation with Generated Tests [49.622590050797236]
テストケースを自動的に生成するための事前学習言語モデルについて検討する。
CodeTは生成されたテストケースを使ってコードソリューションを実行し、次に最良のソリューションを選択します。
我々は,HumanEvalとMBPPのベンチマークを用いて,5種類の事前学習モデル上でCodeTを評価する。
論文 参考訳(メタデータ) (2022-07-21T10:18:37Z) - Benchopt: Reproducible, efficient and collaborative optimization
benchmarks [67.29240500171532]
Benchoptは、機械学習で最適化ベンチマークを自動化、再生、公開するためのフレームワークである。
Benchoptは実験を実行、共有、拡張するための既製のツールを提供することで、コミュニティのベンチマークを簡単にする。
論文 参考訳(メタデータ) (2022-06-27T16:19:24Z) - On the Limits of Evaluating Embodied Agent Model Generalization Using
Validation Sets [101.28658250723804]
本稿では,より広い視野を効果的に活用し,次のステップでナビゲーションや操作を行うかを選択するモジュールによるトランスフォーマーモデルの拡張実験を行う。
提案したモジュールは改良され,実際に,一般的なベンチマークデータセットであるALFREDの未確認検証セット上での最先端のパフォーマンスが向上した。
この結果は、機械学習タスクではより広い現象かもしれないが、主にテストスプリットの評価を制限するベンチマークでのみ顕著である、と我々は考えているので強調する。
論文 参考訳(メタデータ) (2022-05-18T23:52:21Z) - An Evaluation Study of Generative Adversarial Networks for Collaborative
Filtering [75.83628561622287]
本研究は、原論文で発表された結果の再現に成功し、CFGANフレームワークと原評価で使用されるモデルとの相違が与える影響について論じる。
この研究は、CFGANと単純でよく知られた適切に最適化されたベースラインの選択を比較した実験的な分析をさらに拡張し、CFGANは高い計算コストにもかかわらず、それらに対して一貫して競合していないことを観察した。
論文 参考訳(メタデータ) (2022-01-05T20:53:27Z) - Controllable and Compositional Generation with Latent-Space Energy-Based
Models [60.87740144816278]
制御可能な生成は、現実世界のアプリケーションで深層生成モデルの採用を成功させる上で重要な要件の1つである。
本研究では, エネルギーモデル(EBM)を用いて, 属性の集合上での合成生成を扱う。
エネルギー関数を論理演算子と合成することにより、分解能1024x1024のフォトリアリスティック画像を生成する際に、このような構成性を実現するのはこれが初めてである。
論文 参考訳(メタデータ) (2021-10-21T03:31:45Z) - Online GANs for Automatic Performance Testing [0.10312968200748115]
GAN(Generative Adversarial Network)のオンライン版を利用した自動パフォーマンステストのための新しいアルゴリズムを提案する。
提案手法では、テスト中のシステムの事前のトレーニングセットやモデルを必要としない。
我々は,提案アルゴリズムが概念実証として機能し,GANの試験生成への応用に関する研究議論の火花となることを期待する。
論文 参考訳(メタデータ) (2021-04-21T06:03:27Z) - Integrated Benchmarking and Design for Reproducible and Accessible
Evaluation of Robotic Agents [61.36681529571202]
本稿では,開発とベンチマークを統合した再現性ロボット研究の新しい概念について述べる。
このセットアップの中心的なコンポーネントの1つはDuckietown Autolabであり、これは比較的低コストで再現可能な標準化されたセットアップである。
本研究では,インフラを用いて実施した実験の再現性を解析し,ロボットのハードウェアや遠隔実験室間でのばらつきが低いことを示す。
論文 参考訳(メタデータ) (2020-09-09T15:31:29Z) - Genetic Algorithms for Redundancy in Interaction Testing [0.6396288020763143]
インタラクションテストには一連のテストの設計が含まれており、少数のコンポーネントが連携して動作する場合、障害を検出することが保証される。
これらのテストスイートを構築するための既存のアルゴリズムは通常、ほとんどのテストを生成する1つの"高速"アルゴリズムと、テストスイートを"完全"する別の"より遅い"アルゴリズムを含んでいる。
我々は、これらのアプローチを一般化する遺伝的アルゴリズムを用いて、選択したアルゴリズムの数を増やして冗長性も含み、それを「ステージ」と呼ぶ。
論文 参考訳(メタデータ) (2020-02-13T10:16:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。