論文の概要: Coverage measurement in model-based testing of web applications: Tool support and an industrial experience report
- arxiv url: http://arxiv.org/abs/2408.06148v1
- Date: Mon, 12 Aug 2024 13:43:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-13 13:13:27.380165
- Title: Coverage measurement in model-based testing of web applications: Tool support and an industrial experience report
- Title（参考訳）: Webアプリケーションのモデルベーステストにおけるカバレッジ測定:ツールサポートと産業経験報告
- Authors: Vahid Garousi, Alper Buğra Keleş, Yunus Balaman, Alper Mermer, Zeynep Özdemir Güler,
- Abstract要約: 大規模産業用Webアプリケーションのテスト環境では、いくつかの種類のカバレッジデータを"統合"する必要性に直面しました。
我々はMBTCoverというMBTに特化したオープンソースのテストカバレッジツールを開発した。
コードカバレッジに加えて、ツールが要求とモデルカバレッジを計測し、レポートする。
- 参考スコア（独自算出の注目度）: 1.5984927623688918
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: There are many widely used tools for measuring test-coverage and code-coverage. Test coverage is the ratio of requirements or other non-code artifacts covered by a test suite, while code-coverage is the ratio of source code covered by tests. Almost all coverage tools show a few certain subset of coverage values, and almost always either test-coverage or code-coverage measures. In a large-scale industrial web-application-testing setting, we were faced with the need to "integrate" several types of coverage data (including front-end and back-end code coverage with requirements coverage), and to see all of them "live" as large model-based test suites were running. By being unable to find any off-the-shelf toolset to address the above need, we have developed an open-source test coverage tool, specific for MBT, named MBTCover. In addition to code coverage, the tool measures and reports requirements and model coverage, "live" as a given MBT test suite is executing. In this paper, we present the features of the MBTCover tool and our experience from using it in multiple large test-automation projects in practice. Other software test engineers, who conduct web application testing and MBT, may find the tool useful in their projects.
- Abstract（参考訳）: テストカバレッジとコードカバレッジを測定するツールが広く使用されている。
テストカバレッジは、テストスイートによってカバーされる要件やその他の非コードアーティファクトの比率であり、コードカバレッジは、テストによってカバーされるソースコードの比率である。
ほとんどすべてのカバレッジツールは、いくつかのカバレッジ値を示しており、ほとんど常にテストカバレッジかコードカバレッジのどちらかです。
大規模な産業用Webアプリケーションのテスト環境では、いくつかの種類のカバレッジデータを"統合"する必要がありました(フロントエンドとバックエンドのコードカバレッジと要件カバレッジを含む)。
上記のニーズに対処する既製のツールセットを見つけることができず、MBTCoverというMBTに特化したオープンソースのテストカバレッジツールを開発した。
コードカバレッジに加えて、ツールが要求とモデルカバレッジを計測し、レポートする。
本稿では,MBTCoverツールの特徴と,実際に複数の大規模テスト自動化プロジェクトで使用した経験について述べる。
WebアプリケーションテストやMBTを行う他のソフトウェアテストエンジニアは、自分たちのプロジェクトで便利なツールを見つけるかもしれない。
関連論文リスト
- CLOVER: A Test Case Generation Benchmark with Coverage, Long-Context, and Verification [71.34070740261072]
本稿では,テストケースの生成と完成におけるモデルの能力を評価するためのベンチマークCLOVERを提案する。
ベンチマークはタスク間でのコード実行のためにコンテナ化されています。
論文 参考訳（メタデータ） (2025-02-12T21:42:56Z) - LlamaRestTest: Effective REST API Testing with Small Language Models [50.058600784556816]
LlamaRestTestは、2つのカスタムLCMを使って現実的なテストインプットを生成する新しいアプローチである。
LlamaRestTestは、RESTGPTで強化された仕様でさえ、コードカバレッジとエラー検出において最先端のツールを上回っている。
論文 参考訳（メタデータ） (2025-01-15T05:51:20Z) - Commit0: Library Generation from Scratch [77.38414688148006]
Commit0は、AIエージェントにスクラッチからライブラリを書くよう促すベンチマークである。
エージェントには、ライブラリのAPIを概説する仕様文書と、インタラクティブなユニットテストスイートが提供されている。
Commit0はまた、モデルが生成したコードに対して静的解析と実行フィードバックを受け取る、インタラクティブな環境も提供する。
論文 参考訳（メタデータ） (2024-12-02T18:11:30Z) - Codev-Bench: How Do LLMs Understand Developer-Centric Code Completion? [60.84912551069379]
Code-Development Benchmark (Codev-Bench)は、細粒度で現実世界、リポジトリレベル、開発者中心の評価フレームワークです。
Codev-Agentは、リポジトリのクローリングを自動化し、実行環境を構築し、既存のユニットテストから動的呼び出しチェーンを抽出し、データ漏洩を避けるために新しいテストサンプルを生成するエージェントベースのシステムである。
論文 参考訳（メタデータ） (2024-10-02T09:11:10Z) - TestGenEval: A Real World Unit Test Generation and Test Completion Benchmark [24.14654309612826]
TestGenEvalは、1,210のコードから68,647のテストと、11の保守されたPythonリポジトリにまたがるテストファイルペアで構成されている。
初期テストのオーサリング、テストスイートの補完、コードカバレッジの改善をカバーしている。
パラメータは7Bから405Bまで様々である。
論文 参考訳（メタデータ） (2024-10-01T14:47:05Z) - Which Combination of Test Metrics Can Predict Success of a Software Project? A Case Study in a Year-Long Project Course [1.553083901660282]
テストはソフトウェア開発プロジェクトの成功を保証する上で重要な役割を担います。
種々のテストが機能的適合性に与える影響を定量化できるかどうかを検討する。
論文 参考訳（メタデータ） (2024-08-22T04:23:51Z) - SWT-Bench: Testing and Validating Real-World Bug-Fixes with Code Agents [10.730852617039451]
ユーザ問題をテストケースに形式化するLLMベースのコードエージェントについて検討する。
我々は人気のあるGitHubリポジトリに基づいた新しいベンチマークを提案し、現実世界の問題、地味なバグフィックス、ゴールデンテストを含む。
コード修復用に設計されたコードエージェントは,テスト生成用に設計されたシステムの性能を上回っている。
論文 参考訳（メタデータ） (2024-06-18T14:54:37Z) - TESTEVAL: Benchmarking Large Language Models for Test Case Generation [15.343859279282848]
大規模言語モデル(LLM)を用いたテストケース生成のための新しいベンチマークであるTESTEVALを提案する。
オンラインプログラミングプラットフォームLeetCodeから210のPythonプログラムを収集し、全体的なカバレッジ、ターゲットライン/ブランチカバレッジ、ターゲットパスカバレッジという3つの異なるタスクを設計します。
特定のプログラム行/ブランチ/パスをカバーするテストケースを生成することは、現在のLLMでは依然として困難である。
論文 参考訳（メタデータ） (2024-06-06T22:07:50Z) - Observation-based unit test generation at Meta [52.4716552057909]
TestGenは、アプリケーション実行中に観察された複雑なオブジェクトのシリアライズされた観察から作られたユニットテストを自動的に生成する。
TestGenは518のテストを本番環境に投入し、継続的統合で9,617,349回実行され、5,702の障害が見つかった。
評価の結果,信頼性の高い4,361のエンドツーエンドテストから,少なくとも86%のクラスでテストを生成することができた。
論文 参考訳（メタデータ） (2024-02-09T00:34:39Z) - Mind the Gap: The Difference Between Coverage and Mutation Score Can
Guide Testing Efforts [8.128730027609471]
テストスイートは、システムの要求/仕様と実装の間のすべての矛盾を効果的に見つけるべきです。
実践者は、しばしばコードカバレッジを使って精度を近似するが、学者は、突然変異スコアは真の(奇抜な)精度を近似する方がよいと主張している。
我々は、オラクルギャップと呼ばれるアイデアに基づいて、与えられたテストの規模、限界、性質を推論する新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2023-09-05T17:05:52Z) - Dynamic Causal Effects Evaluation in A/B Testing with a Reinforcement
Learning Framework [68.96770035057716]
A/Bテスト(A/B Testing)は、新しい製品を製薬、技術、伝統産業の古い製品と比較するビジネス戦略である。
本稿では,オンライン実験においてA/Bテストを実施するための強化学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-02-05T10:25:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。