論文の概要: Coverage measurement in model-based testing of web applications: Tool support and an industrial experience report
- arxiv url: http://arxiv.org/abs/2408.06148v1
- Date: Mon, 12 Aug 2024 13:43:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-13 13:13:27.380165
- Title: Coverage measurement in model-based testing of web applications: Tool support and an industrial experience report
- Title(参考訳): Webアプリケーションのモデルベーステストにおけるカバレッジ測定:ツールサポートと産業経験報告
- Authors: Vahid Garousi, Alper Buğra Keleş, Yunus Balaman, Alper Mermer, Zeynep Özdemir Güler,
- Abstract要約: 大規模産業用Webアプリケーションのテスト環境では、いくつかの種類のカバレッジデータを"統合"する必要性に直面しました。
我々はMBTCoverというMBTに特化したオープンソースのテストカバレッジツールを開発した。
コードカバレッジに加えて、ツールが要求とモデルカバレッジを計測し、レポートする。
- 参考スコア(独自算出の注目度): 1.5984927623688918
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: There are many widely used tools for measuring test-coverage and code-coverage. Test coverage is the ratio of requirements or other non-code artifacts covered by a test suite, while code-coverage is the ratio of source code covered by tests. Almost all coverage tools show a few certain subset of coverage values, and almost always either test-coverage or code-coverage measures. In a large-scale industrial web-application-testing setting, we were faced with the need to "integrate" several types of coverage data (including front-end and back-end code coverage with requirements coverage), and to see all of them "live" as large model-based test suites were running. By being unable to find any off-the-shelf toolset to address the above need, we have developed an open-source test coverage tool, specific for MBT, named MBTCover. In addition to code coverage, the tool measures and reports requirements and model coverage, "live" as a given MBT test suite is executing. In this paper, we present the features of the MBTCover tool and our experience from using it in multiple large test-automation projects in practice. Other software test engineers, who conduct web application testing and MBT, may find the tool useful in their projects.
- Abstract(参考訳): テストカバレッジとコードカバレッジを測定するツールが広く使用されている。
テストカバレッジは、テストスイートによってカバーされる要件やその他の非コードアーティファクトの比率であり、コードカバレッジは、テストによってカバーされるソースコードの比率である。
ほとんどすべてのカバレッジツールは、いくつかのカバレッジ値を示しており、ほとんど常にテストカバレッジかコードカバレッジのどちらかです。
大規模な産業用Webアプリケーションのテスト環境では、いくつかの種類のカバレッジデータを"統合"する必要がありました(フロントエンドとバックエンドのコードカバレッジと要件カバレッジを含む)。
上記のニーズに対処する既製のツールセットを見つけることができず、MBTCoverというMBTに特化したオープンソースのテストカバレッジツールを開発した。
コードカバレッジに加えて、ツールが要求とモデルカバレッジを計測し、レポートする。
本稿では,MBTCoverツールの特徴と,実際に複数の大規模テスト自動化プロジェクトで使用した経験について述べる。
WebアプリケーションテストやMBTを行う他のソフトウェアテストエンジニアは、自分たちのプロジェクトで便利なツールを見つけるかもしれない。
関連論文リスト
- Open-CD: A Comprehensive Toolbox for Change Detection [59.79011759027916]
Open-CDは変更検出ツールボックスで、変更検出方法の豊富なセットと関連するコンポーネントとモジュールを含んでいる。
徐々に、多くの一般的な変更検出方法や同時代のモジュールをカバーする統一されたプラットフォームへと進化していく。
論文 参考訳(メタデータ) (2024-07-22T01:04:16Z) - Code Agents are State of the Art Software Testers [10.730852617039451]
ユーザ問題をテストケースに形式化するLLMベースのコードエージェントについて検討する。
私たちは人気のあるGitHubリポジトリに基づいた新しいベンチマークを提案し、現実世界の問題、地味なパッチ、ゴールデンテストを含む。
LLMは一般的に、コード修復用に設計されたCode Agentsを使って、関連するテストケースを生成するのに驚くほどうまく機能します。
論文 参考訳(メタデータ) (2024-06-18T14:54:37Z) - Long Code Arena: a Set of Benchmarks for Long-Context Code Models [75.70507534322336]
Long Code Arenaは、プロジェクト全体のコンテキストを必要とするコード処理タスクのための6つのベンチマークスイートである。
これらのタスクは、ライブラリベースのコード生成、CIビルドの修復、プロジェクトレベルのコード補完、コミットメッセージ生成、バグローカライゼーション、モジュールの要約といった、コード処理のさまざまな側面をカバーする。
各タスクに対して、テスト用の手作業によるデータセット、評価スイート、オープンソースのベースラインソリューションを提供しています。
論文 参考訳(メタデータ) (2024-06-17T14:58:29Z) - TESTEVAL: Benchmarking Large Language Models for Test Case Generation [15.343859279282848]
大規模言語モデル(LLM)を用いたテストケース生成のための新しいベンチマークであるTESTEVALを提案する。
オンラインプログラミングプラットフォームLeetCodeから210のPythonプログラムを収集し、全体的なカバレッジ、ターゲットライン/ブランチカバレッジ、ターゲットパスカバレッジという3つの異なるタスクを設計します。
特定のプログラム行/ブランチ/パスをカバーするテストケースを生成することは、現在のLLMでは依然として困難である。
論文 参考訳(メタデータ) (2024-06-06T22:07:50Z) - Observation-based unit test generation at Meta [52.4716552057909]
TestGenは、アプリケーション実行中に観察された複雑なオブジェクトのシリアライズされた観察から作られたユニットテストを自動的に生成する。
TestGenは518のテストを本番環境に投入し、継続的統合で9,617,349回実行され、5,702の障害が見つかった。
評価の結果,信頼性の高い4,361のエンドツーエンドテストから,少なくとも86%のクラスでテストを生成することができた。
論文 参考訳(メタデータ) (2024-02-09T00:34:39Z) - Towards Reliable AI: Adequacy Metrics for Ensuring the Quality of
System-level Testing of Autonomous Vehicles [5.634825161148484]
我々は、"Test suite Instance Space Adequacy"(TISA)メトリクスと呼ばれる一連のブラックボックステストの精度指標を紹介します。
TISAメトリクスは、テストスイートの多様性とカバレッジと、テスト中に検出されたバグの範囲の両方を評価する手段を提供する。
AVのシステムレベルのシミュレーションテストにおいて検出されたバグ数との相関を検証し,TISA測定の有効性を評価する。
論文 参考訳(メタデータ) (2023-11-14T10:16:05Z) - Align Your Prompts: Test-Time Prompting with Distribution Alignment for
Zero-Shot Generalization [64.62570402941387]
テスト領域のギャップを埋めるために、機能分散シフトを最小限にして、テスト時にマルチモーダルプロンプトを適用するために、単一のテストサンプルを使用します。
提案手法は,既存のプロンプト学習技術以上のゼロショットトップ1精度を向上し,ベースラインのMaPLeよりも3.08%向上した。
論文 参考訳(メタデータ) (2023-11-02T17:59:32Z) - Mind the Gap: The Difference Between Coverage and Mutation Score Can
Guide Testing Efforts [8.128730027609471]
テストスイートは、システムの要求/仕様と実装の間のすべての矛盾を効果的に見つけるべきです。
実践者は、しばしばコードカバレッジを使って精度を近似するが、学者は、突然変異スコアは真の(奇抜な)精度を近似する方がよいと主張している。
我々は、オラクルギャップと呼ばれるアイデアに基づいて、与えられたテストの規模、限界、性質を推論する新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2023-09-05T17:05:52Z) - Learning Deep Semantics for Test Completion [46.842174440120196]
テスト完了の新たなタスクを形式化し、テスト対象の文のコンテキストとコードに基づいて、テストメソッドで次のステートメントを自動的に完了する。
テスト補完にコードセマンティクスを用いたディープラーニングモデルであるTeCoを開発した。
論文 参考訳(メタデータ) (2023-02-20T18:53:56Z) - Overview of Test Coverage Criteria for Test Case Generation from Finite
State Machines Modelled as Directed Graphs [0.12891210250935145]
テストカバレッジ基準は、システムアンダーテストモデルからテストケースを生成する際に、テストエンジニアにとって不可欠な概念です。
テストカバレッジ基準は、システムがテストされるアクションや組み合わせの数を定義します。
本研究は、有限状態機械の一般的なテストカバレッジ基準をすべて要約し、それらの仮定、等価性、および非互換性について議論した。
論文 参考訳(メタデータ) (2022-03-17T20:30:14Z) - Dynamic Causal Effects Evaluation in A/B Testing with a Reinforcement
Learning Framework [68.96770035057716]
A/Bテスト(A/B Testing)は、新しい製品を製薬、技術、伝統産業の古い製品と比較するビジネス戦略である。
本稿では,オンライン実験においてA/Bテストを実施するための強化学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-02-05T10:25:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。