論文の概要: End-to-End Test Coverage Metrics in Microservice Systems: An Automated
Approach
- arxiv url: http://arxiv.org/abs/2308.09257v1
- Date: Fri, 18 Aug 2023 02:30:19 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-23 13:36:33.690181
- Title: End-to-End Test Coverage Metrics in Microservice Systems: An Automated
Approach
- Title(参考訳): マイクロサービスシステムにおけるエンドツーエンドテストカバレッジメトリクスの自動化アプローチ
- Authors: Amr Elsayed, Tomas Cerny, Jorge Yero Salazar, Austin Lehman, Joshua
Hunter, Ashley Bickham and Davide Taibi
- Abstract要約: 本稿では、マイクロサービスエンドポイントのE2Eテストスイートカバレッジの範囲を評価するためのテストカバレッジメトリクスを紹介する。
次に、これらのメトリクスを計算してE2Eテストスイートの完全性に関するフィードバックを提供する自動化アプローチを提示します。
- 参考スコア(独自算出の注目度): 2.6245844272542027
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Microservice architecture gains momentum by fueling systems with cloud-native
benefits, scalability, and decentralized evolution. However, new challenges
emerge for end-to-end (E2E) testing. Testers who see the decentralized system
through the user interface might assume their tests are comprehensive, covering
all middleware endpoints scattered across microservices. However, they do not
have instruments to verify such assumptions. This paper introduces test
coverage metrics for evaluating the extent of E2E test suite coverage for
microservice endpoints. Next, it presents an automated approach to compute
these metrics to provide feedback on the completeness of E2E test suites.
Furthermore, a visual perspective is provided to highlight test coverage across
the system's microservices to guide on gaps in test suites. We implement a
proof-of-concept tool and perform a case study on a well-established system
benchmark showing it can generate conclusive feedback on test suite coverage
over system endpoints.
- Abstract(参考訳): マイクロサービスアーキテクチャは、クラウドネイティブのメリット、スケーラビリティ、分散進化によって、システムの勢いを高めます。
しかし、エンドツーエンド(E2E)テストには新たな課題が現れる。
ユーザインターフェースを通じて分散システムを見ているテスタは、テストが包括的なものであると仮定し、すべてのミドルウェアエンドポイントをマイクロサービスに分散させる。
しかし、そのような仮定を検証するための手段は存在しない。
本稿では、マイクロサービスエンドポイントのE2Eテストスイートカバレッジの範囲を評価するためのテストカバレッジメトリクスを紹介する。
次に、これらのメトリクスを計算してE2Eテストスイートの完全性に関するフィードバックを提供する自動化アプローチを提示します。
さらに、システム全体のテストカバレッジに注目して、テストスイートのギャップをガイドするための視覚的な視点も提供されている。
本稿では,概念実証ツールを実装し,システムエンドポイントに対するテストスイートカバレッジに関する決定的なフィードバックを生成することができることを示す。
関連論文リスト
- CATMA: Conformance Analysis Tool For Microservice Applications [17.02919511849072]
本稿では,システムデプロイメントと実装の非互換性を検出する自動ツールであるCATMAを提案する。
CATMAの評価は、性能の面で有望な結果を示し、有用な洞察を提供する。
論文 参考訳(メタデータ) (2024-01-18T09:53:22Z) - Selene: Pioneering Automated Proof in Software Verification [69.7891799471749]
我々は,seL4オペレーティングシステムマイクロカーネルの実際の産業レベルのプロジェクトに基づいて構築された,最初のプロジェクトレベルの自動証明ベンチマークであるSeleneを紹介する。
GPT-3.5-turbo や GPT-4 のような先進的な LLM による実験結果は,自動証明生成領域における大規模言語モデル (LLM) の機能を強調した。
論文 参考訳(メタデータ) (2024-01-15T13:08:38Z) - Towards Reliable AI: Adequacy Metrics for Ensuring the Quality of
System-level Testing of Autonomous Vehicles [5.634825161148484]
我々は、"Test suite Instance Space Adequacy"(TISA)メトリクスと呼ばれる一連のブラックボックステストの精度指標を紹介します。
TISAメトリクスは、テストスイートの多様性とカバレッジと、テスト中に検出されたバグの範囲の両方を評価する手段を提供する。
AVのシステムレベルのシミュレーションテストにおいて検出されたバグ数との相関を検証し,TISA測定の有効性を評価する。
論文 参考訳(メタデータ) (2023-11-14T10:16:05Z) - DeepfakeBench: A Comprehensive Benchmark of Deepfake Detection [55.70982767084996]
ディープフェイク検出の分野で見落とされがちな課題は、標準化され、統一され、包括的なベンチマークがないことである。
DeepfakeBenchと呼ばれる,3つの重要なコントリビューションを提供するディープフェイク検出のための,最初の包括的なベンチマークを提示する。
DeepfakeBenchには15の最先端検出方法、9CLデータセット、一連のDeepfake検出評価プロトコルと分析ツール、包括的な評価ツールが含まれている。
論文 参考訳(メタデータ) (2023-07-04T01:34:41Z) - Generalizable Metric Network for Cross-domain Person Re-identification [55.71632958027289]
クロスドメイン(ドメインの一般化)シーンは、Re-IDタスクにおいて課題となる。
既存のほとんどのメソッドは、すべてのドメインのドメイン不変またはロバストな機能を学ぶことを目的としています。
本稿では,サンプルペア空間における標本類似性を調べるために,GMN(Generalizable Metric Network)を提案する。
論文 参考訳(メタデータ) (2023-06-21T03:05:25Z) - Benchmarks for End-to-End Microservices Testing [2.6245844272542027]
確立された2つのオープンソースのマイクロサービスシステムの完全な機能テストカバレッジを含むテストベンチマークを作成しました。
また、テストの全カバレッジを検証するための最善のアプローチを特定するためのケーススタディも実施しました。
論文 参考訳(メタデータ) (2023-06-09T13:42:53Z) - Towards Interpretable and Efficient Automatic Reference-Based
Summarization Evaluation [160.07938471250048]
解釈可能性と効率性は、ニューラル自動メトリクスを採用する上で重要な2つの考慮事項である。
我々は,参照ベース要約評価のための高性能自動メトリクスを開発する。
論文 参考訳(メタデータ) (2023-03-07T02:49:50Z) - Overview of Test Coverage Criteria for Test Case Generation from Finite
State Machines Modelled as Directed Graphs [0.12891210250935145]
テストカバレッジ基準は、システムアンダーテストモデルからテストケースを生成する際に、テストエンジニアにとって不可欠な概念です。
テストカバレッジ基準は、システムがテストされるアクションや組み合わせの数を定義します。
本研究は、有限状態機械の一般的なテストカバレッジ基準をすべて要約し、それらの仮定、等価性、および非互換性について議論した。
論文 参考訳(メタデータ) (2022-03-17T20:30:14Z) - QAFactEval: Improved QA-Based Factual Consistency Evaluation for
Summarization [116.56171113972944]
QAベースのメトリクスのコンポーネントを慎重に選択することは、パフォーマンスにとって重要であることを示す。
提案手法は,最良性能のエンテーメントに基づく測定値を改善し,最先端の性能を実現する。
論文 参考訳(メタデータ) (2021-12-16T00:38:35Z) - Complete Agent-driven Model-based System Testing for Autonomous Systems [0.0]
複雑な自律輸送システムをテストするための新しいアプローチについて述べる。
検証と検証に関して最も重大な問題のいくつかを軽減することを目的としている。
論文 参考訳(メタデータ) (2021-10-25T01:55:24Z) - Improving Conversational Question Answering Systems after Deployment
using Feedback-Weighted Learning [69.42679922160684]
本稿では,二元的ユーザフィードバックを用いた初期教師付きシステムを改善するために,重要サンプリングに基づくフィードバック重み付き学習を提案する。
当社の作業は,実際のユーザとのインタラクションを活用し,デプロイ後の会話システムを改善する可能性を開くものだ。
論文 参考訳(メタデータ) (2020-11-01T19:50:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。