論文の概要: On Introducing Automatic Test Case Generation in Practice: A Success
Story and Lessons Learned
- arxiv url: http://arxiv.org/abs/2103.00465v1
- Date: Sun, 28 Feb 2021 11:31:50 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-03 15:57:40.963244
- Title: On Introducing Automatic Test Case Generation in Practice: A Success
Story and Lessons Learned
- Title(参考訳): 実践における自動テストケース生成の導入について:成功事例と教訓
- Authors: Matteo Brunetto, Giovanni Denaro, Leonardo Mariani, Mauro Pezz\`e
- Abstract要約: 本稿では,中規模企業におけるシステムテストスイートの自動生成技術の導入経験について報告する。
自動テストケース生成を導入する際に直面する技術的および組織的障害について説明する。
弊社が開発したテストケースジェネレータ ABT2.0 を紹介します。
- 参考スコア(独自算出の注目度): 7.717446055777458
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The level and quality of automation dramatically affects software testing
activities, determines costs and effectiveness of the testing process, and
largely impacts on the quality of the final product. While costs and benefits
of automating many testing activities in industrial practice (including
managing the quality process, executing large test suites, and managing
regression test suites) are well understood and documented, the benefits and
obstacles of automatically generating system test suites in industrial practice
are not well reported yet, despite the recent progresses of automated test case
generation tools. Proprietary tools for automatically generating test cases are
becoming common practice in large software organisations, and commercial tools
are becoming available for some application domains and testing levels.
However, generating system test cases in small and medium-size software
companies is still largely a manual, inefficient and ad-hoc activity. This
paper reports our experience in introducing techniques for automatically
generating system test suites in a medium-size company. We describe the
technical and organisational obstacles that we faced when introducing automatic
test case generation in the development process of the company, and present the
solutions that we successfully experienced in that context. In particular, the
paper discusses the problems of automating the generation of test cases by
referring to a customised ERP application that the medium-size company
developed for a third party multinational company, and presents ABT2.0, the
test case generator that we developed by tailoring ABT, a research
state-of-the-art GUI test generator, to their industrial environment. This
paper presents the new features of ABT2.0, and discusses how these new features
address the issues that we faced.
- Abstract(参考訳): 自動化のレベルと品質は、ソフトウェアテスト活動に劇的に影響し、テストプロセスのコストと有効性を決定し、最終製品の品質に大きく影響します。
産業プラクティスにおける多くのテストアクティビティ(品質プロセスの管理、大規模なテストスイートの実行、回帰テストスイートの管理など)を自動化するコストとメリットはよく理解され、文書化されているが、自動化テストケース生成ツールの最近の進歩にもかかわらず、産業プラクティスにおけるシステムテストスイートの自動生成のメリットと障害はまだ報告されていない。
テストケースを自動的に生成するプロプライエタリなツールは、大規模なソフトウェア組織では一般的なプラクティスとなり、いくつかのアプリケーションドメインやテストレベルで商用ツールが利用できるようになる。
しかし、中小規模のソフトウェア企業でシステムテストケースを生成することは、まだ手作業、非効率、アドホックな活動です。
本稿では,中規模企業におけるシステムテストスイートの自動生成技術の導入経験について報告する。
我々は、企業の開発プロセスに自動テストケース生成を導入する際に直面する技術的および組織的障害について述べ、その状況において私たちがうまく経験したソリューションを示します。
特に,中規模企業が多国籍企業向けに開発したカスタマイズされたerpアプリケーションを参照して,テストケース生成の自動化の問題を説明し,最先端のguiテストジェネレータであるabtを産業環境に調整して開発したテストケースジェネレータであるabt2.0を提案する。
本稿では,abt2.0の新機能を紹介するとともに,これらの新機能が直面した課題に対する対処方法について述べる。
関連論文リスト
- Selene: Pioneering Automated Proof in Software Verification [69.7891799471749]
我々は,seL4オペレーティングシステムマイクロカーネルの実際の産業レベルのプロジェクトに基づいて構築された,最初のプロジェクトレベルの自動証明ベンチマークであるSeleneを紹介する。
GPT-3.5-turbo や GPT-4 のような先進的な LLM による実験結果は,自動証明生成領域における大規模言語モデル (LLM) の機能を強調した。
論文 参考訳(メタデータ) (2024-01-15T13:08:38Z) - Automated Test Case Repair Using Language Models [0.6124773188525718]
欠陥のないテストケースは、テストスイートの品質を低下させ、ソフトウェア開発プロセスを破壊します。
テストケースの自動修復に事前訓練されたコード言語モデルを活用する新しいアプローチであるTaRGetを提案する。
TaRGetは、テスト修復を言語翻訳タスクとして扱い、言語モデルを微調整するために2段階のプロセスを使用する。
論文 参考訳(メタデータ) (2024-01-12T18:56:57Z) - Automatic Generation of Test Cases based on Bug Reports: a Feasibility
Study with Large Language Models [4.318319522015101]
既存のアプローチは、単純なテスト(例えば単体テスト)や正確な仕様を必要とするテストケースを生成する。
ほとんどのテスト手順は、テストスイートを形成するために人間が書いたテストケースに依存しています。
大規模言語モデル(LLM)を活用し,バグレポートを入力として利用することにより,この生成の実現可能性を検討する。
論文 参考訳(メタデータ) (2023-10-10T05:30:12Z) - Identifying the Risks of LM Agents with an LM-Emulated Sandbox [70.83306884808988]
言語モデル(LM)エージェントとツールは、豊富な機能セットを可能にすると同時に、潜在的なリスクを増幅する。
これらのエージェントを高いコストでテストすることは、高いリスクと長い尾のリスクを見つけるのをますます困難にします。
ツール実行をエミュレートするためにLMを使用し、さまざまなツールやシナリオに対してLMエージェントのテストを可能にするフレームワークであるToolEmuを紹介します。
ツールエミュレータと評価器の両方を人体評価によりテストし,ToolEmuで特定されたエラーの68.8%が実世界のエージェントの失敗であることを確認した。
論文 参考訳(メタデータ) (2023-09-25T17:08:02Z) - Towards Automatic Generation of Amplified Regression Test Oracles [44.45138073080198]
回帰テストオラクルを増幅するためのテストオラクル導出手法を提案する。
このアプローチはテスト実行中にオブジェクトの状態を監視し、以前のバージョンと比較して、SUTの意図した振る舞いに関連する変更を検出する。
論文 参考訳(メタデータ) (2023-07-28T12:38:44Z) - TestLab: An Intelligent Automated Software Testing Framework [0.0]
TestLabは、一連のテストメソッドを収集し、人工知能を使ってそれらを自動化しようとする自動ソフトウェアテストフレームワークである。
最初の2つのモジュールは、異なる視点から脆弱性を特定することを目的としており、3番目のモジュールは、テストケースを自動的に生成することで、従来の自動ソフトウェアテストを強化する。
論文 参考訳(メタデータ) (2023-06-06T11:45:22Z) - Constraint-Guided Test Execution Scheduling: An Experience Report at ABB
Robotics [13.50507740574158]
我々は、大規模なテストリポジトリからテスト実行のスケジューリングを自動化することを目標とするDynTestと呼ばれるプロジェクトの結果を示す。
本稿では,ABBロボティクスにおけるテスト実行スケジューリングのための制約ベース最適化モデルの転送に成功した経験と教訓について報告する。
論文 参考訳(メタデータ) (2023-06-02T13:29:32Z) - Benchmarking Automated Machine Learning Methods for Price Forecasting
Applications [58.720142291102135]
自動機械学習(AutoML)ソリューションで手作業で作成したMLパイプラインを置換する可能性を示す。
CRISP-DMプロセスに基づいて,手動MLパイプラインを機械学習と非機械学習に分割した。
本稿では、価格予測の産業利用事例として、ドメイン知識とAutoMLを組み合わせることで、ML専門家への依存が弱まることを示す。
論文 参考訳(メタデータ) (2023-04-28T10:27:38Z) - SUPERNOVA: Automating Test Selection and Defect Prevention in AAA Video
Games Using Risk Based Testing and Machine Learning [62.997667081978825]
従来の手法では、成長するソフトウェアシステムではスケールできないため、ビデオゲームのテストはますます難しいタスクになります。
自動化ハブとして機能しながら,テスト選択と欠陥防止を行うシステム SUPERNOVA を提案する。
この直接的な影響は、未公表のスポーツゲームタイトルの55%以上のテスト時間を減らすことが観察されている。
論文 参考訳(メタデータ) (2022-03-10T00:47:46Z) - Reinforcement Learning for Test Case Prioritization [0.24366811507669126]
本稿では,強化学習をテスト戦略に応用する最近の研究について述べる。
我々は、金融機関から抽出された新たなデータに基づいて、新しい環境に適応する能力をテストする。
また,記憶表現のモデルとして決定木(DT)近似器を用いた影響についても検討した。
論文 参考訳(メタデータ) (2020-12-18T11:08:20Z) - Dynamic Causal Effects Evaluation in A/B Testing with a Reinforcement
Learning Framework [68.96770035057716]
A/Bテスト(A/B Testing)は、新しい製品を製薬、技術、伝統産業の古い製品と比較するビジネス戦略である。
本稿では,オンライン実験においてA/Bテストを実施するための強化学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-02-05T10:25:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。