論文の概要: An approach for performance requirements verification and test
environments generation
- arxiv url: http://arxiv.org/abs/2403.00099v1
- Date: Thu, 29 Feb 2024 19:59:26 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-05 19:03:43.233671
- Title: An approach for performance requirements verification and test
environments generation
- Title（参考訳）: 性能要件検証とテスト環境生成のためのアプローチ
- Authors: Waleed Abdeen, Xingru Chen, Michael Unterkalmsteiner
- Abstract要約: モデルに基づく性能試験の系統的なマッピングを行った。
自然言語ソフトウェア要件の仕様について検討し、どの要件が典型的に規定されているか、そしてどのようにパフォーマンス要件が規定されているかを理解する。
MBT技術はいずれもモデリングの大きな利点を支えなかったため,本手法は性能要件を検証し,テスト環境のジェネラティオンアプローチを開発した。
- 参考スコア（独自算出の注目度）: 1.359087929215203
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Model-based testing (MBT) is a method that supports the design and execution
of test cases by models that specify the intended behaviors of a system under
test. While systematic literature reviews on MBT in general exist, the state of
the art on modeling and testing performance requirements has seen much less
attention. Therefore, we conducted a systematic mapping study on model-based
performance testing. Then, we studied natural language software requirements
specifications in order to understand which and how performance requirements
are typically specified. Since none of the identified MBT techniques supported
a major benefit of modeling, namely identifying faults in requirements
specifications, we developed the Performance Requirements verificatiOn and Test
EnvironmentS generaTion approach (PRO-TEST). Finally, we evaluated PRO-TEST on
149 requirements specifications. We found and analyzed 57 primary studies from
the systematic mapping study and extracted 50 performance requirements models.
However, those models don't achieve the goals of MBT, which are validating
requirements, ensuring their testability, and generating the minimum required
test cases. We analyzed 77 Software Requirements Specification (SRS) documents,
extracted 149 performance requirements from those SRS, and illustrate that with
PRO-TEST we can model performance requirements, find issues in those
requirements and detect missing ones. We detected three not-quantifiable
requirements, 43 not-quantified requirements, and 180 underspecified parameters
in the 149 modeled performance requirements. Furthermore, we generated 96 test
environments from those models. By modeling performance requirements with
PRO-TEST, we can identify issues in the requirements related to their
ambiguity, measurability, and completeness. Additionally, it allows to generate
parameters for test environments.
- Abstract（参考訳）: モデルベーステスト(MBT)は、テスト対象システムの意図した振る舞いを指定するモデルによるテストケースの設計と実行をサポートする手法である。
MBTに関する体系的な文献レビューは一般的に存在するが、性能要件のモデリングとテストに関する技術の現状は、あまり注目されていない。
そこで本研究では,モデルに基づくパフォーマンステストに関する体系的マッピングを行った。
次に,自然言語ソフトウェア要求仕様の検討を行い,性能要件の特定方法について検討した。
MBT技術が要求仕様の欠陥を識別するなどモデリングの大きな利点を支えなかったため,PRO-TEST(Performance Requirements verificatiOn and Test EnvironmentS generaTion approach)を開発した。
最後に、149の要件仕様でプロテストを評価した。
システムマッピング研究から57の基礎研究を発見し分析し,50の性能要求モデル抽出を行った。
しかし、これらのモデルは要件の検証、テスト容易性の確保、最小限のテストケースの生成であるmbtの目標を達成していない。
77のソフトウェア要件仕様書(srs)を解析し、それらのsrsから149のパフォーマンス要件を抽出し、テスト前ではパフォーマンス要件をモデル化し、それらの要件における問題を見つけ、欠落している要件を検出できることを示した。
149のモデル化性能要件において,3つの不定形要件,43の定型化要件,180の定型化パラメータが検出された。
さらに,これらのモデルから96種類のテスト環境を作成した。
プロテストでパフォーマンス要件をモデル化することで、あいまいさ、測定可能性、完全性に関連する要件の問題を特定できる。
さらに、テスト環境のパラメータを生成することもできる。
関連論文リスト
- Benchmarks as Microscopes: A Call for Model Metrology [76.64402390208576]
現代の言語モデル(LM)は、能力評価において新たな課題を提起する。
メトリクスに自信を持つためには、モデルミアロジの新たな規律が必要です。
論文 参考訳（メタデータ） (2024-07-22T17:52:12Z) - Using Quality Attribute Scenarios for ML Model Test Case Generation [3.9111051646728527]
機械学習(ML)モデルテストの現在のプラクティスは、モデルパフォーマンスのテストの優先順位付けである。
本稿では,品質属性(QA)のシナリオに基づいて,システムおよびモデル関連テストケースを抽出,定義する手法を提案する。
QAベースのアプローチはMLモデルテストと評価をサポートするプロセスとツールであるMLTEに統合されている。
論文 参考訳（メタデータ） (2024-06-12T18:26:42Z) - Coupled Requirements-driven Testing of CPS: From Simulation To Reality [5.7736484832934325]
CPS(Cyber-Physical Systems)の障害は、物理的なインフラや人間を傷つける深刻な事故を引き起こす可能性がある。
現在のシミュレーションとフィールドテストの実践、特に小型無人航空システム(sUAS)の領域では、アドホックであり、完全に構造化されたテストプロセスが欠如している。
我々はCPSを検証するための初期フレームワークを開発し、特にsUASとロボットアプリケーションに焦点を当てた。
論文 参考訳（メタデータ） (2024-03-24T20:32:12Z) - Can You Rely on Your Model Evaluation? Improving Model Evaluation with
Synthetic Test Data [75.20035991513564]
本稿では,モデル評価を容易にする深層生成モデリングフレームワークである3Sテストを紹介する。
私たちの実験では、3Sテストが従来のベースラインより優れていることが示されています。
これらの結果は、限られた実テストデータから合成テストデータへのパラダイムシフトが必要かどうかという問題を提起する。
論文 参考訳（メタデータ） (2023-10-25T10:18:44Z) - CiRA: An Open-Source Python Package for Automated Generation of Test
Case Descriptions from Natural Language Requirements [1.3082545468017672]
本稿では,条件付き自然言語要求を自動的に処理するCiRA(Causality In Requirements Artifacts)イニシアチブのツールを提案する。
我々は,このツールを,ドイツ・コロナ・ワーン・アプリ(Corona-Warn-App)の要件仕様から,61の要件の公開データセット上で評価する。
論文 参考訳（メタデータ） (2023-10-12T11:30:59Z) - Requirements' Characteristics: How do they Impact on Project Budget in a
Systems Engineering Context? [3.2872885101161318]
自然言語要求(NLR)の品質の制御と保証は困難である。
スウェーデン交通庁 (STA) と共同で, 要件の特性が変更要求や予算変更に与える影響について検討した。
論文 参考訳（メタデータ） (2023-10-02T17:53:54Z) - A Requirements-Driven Platform for Validating Field Operations of Small
Uncrewed Aerial Vehicles [48.67061953896227]
DroneReqValidator (DRV)は、sUAS開発者が運用コンテキストを定義し、複数のsUASミッション要件を設定し、安全性特性を指定し、独自のsUASアプリケーションを高忠実な3D環境にデプロイすることを可能にする。
DRVモニタリングシステムは、sUASと環境からランタイムデータを収集し、安全特性のコンプライアンスを分析し、違反をキャプチャする。
論文 参考訳（メタデータ） (2023-07-01T02:03:49Z) - From Static Benchmarks to Adaptive Testing: Psychometrics in AI Evaluation [60.14902811624433]
本稿では,静的評価手法から適応テストへのパラダイムシフトについて論じる。
これには、ベンチマークで各テスト項目の特性と価値を推定し、リアルタイムでアイテムを動的に調整することが含まれる。
我々は、AI評価にサイコメトリックを採用する現在のアプローチ、アドバンテージ、そして根底にある理由を分析します。
論文 参考訳（メタデータ） (2023-06-18T09:54:33Z) - Model-based Analysis and Specification of Functional Requirements and
Tests for Complex Automotive Systems [0.19837121116620585]
本稿では,利害関係者の観点からの検証対象の早期識別から始まる手法を提案する。
完全かつ一貫した要件とテスト仕様を保証するために,モデルベースシステム工学(MBSE)手法を開発した。
本研究は,我々の方法論が適用可能であること,既存の要件とテスト仕様プロセスを改善することを裏付けるものである。
論文 参考訳（メタデータ） (2022-09-03T18:24:32Z) - On the Limits of Evaluating Embodied Agent Model Generalization Using
Validation Sets [101.28658250723804]
本稿では,より広い視野を効果的に活用し,次のステップでナビゲーションや操作を行うかを選択するモジュールによるトランスフォーマーモデルの拡張実験を行う。
提案したモジュールは改良され,実際に,一般的なベンチマークデータセットであるALFREDの未確認検証セット上での最先端のパフォーマンスが向上した。
この結果は、機械学習タスクではより広い現象かもしれないが、主にテストスプリットの評価を制限するベンチマークでのみ顕著である、と我々は考えているので強調する。
論文 参考訳（メタデータ） (2022-05-18T23:52:21Z) - Quality meets Diversity: A Model-Agnostic Framework for Computerized
Adaptive Testing [60.38182654847399]
コンピュータ適応テスト(CAT)は多くのシナリオで有望なテストアプリケーションとして現れています。
CAT ソリューションのための新しいフレームワークである Model-Agnostic Adaptive Testing (MAAT) を提案する。
論文 参考訳（メタデータ） (2021-01-15T06:48:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。