論文の概要: Requirements Coverage-Guided Minimization for Natural Language Test Cases

• arxiv url: http://arxiv.org/abs/2505.20004v1
• Date: Mon, 26 May 2025 13:55:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:43.484269
• Title: Requirements Coverage-Guided Minimization for Natural Language Test Cases
• Title（参考訳）: 自然言語検査における要件範囲の最小化
• Authors: Rongqi Pan, Feifei Niu, Lionel C. Briand, Hanyang Hu,
• Abstract要約: テストスイートはサイズが大きくなる傾向があり、しばしば冗長なテストケースを含んでいる。 テストスイートの最小化は、要件カバレッジや障害検出機能といった重要な特性を維持しながら、そのような冗長性を取り除くことを目的としている。 要件ベーステスト用に設計された新しいTSMアプローチであるRTM(Requirement coverage-guided Test suite Minimization)を提案する。
• 参考スコア（独自算出の注目度）: 7.947774587906927
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As software systems evolve, test suites tend to grow in size and often contain redundant test cases. Such redundancy increases testing effort, time, and cost. Test suite minimization (TSM) aims to eliminate such redundancy while preserving key properties such as requirement coverage and fault detection capability. In this paper, we propose RTM (Requirement coverage-guided Test suite Minimization), a novel TSM approach designed for requirement-based testing (validation), which can effectively reduce test suite redundancy while ensuring full requirement coverage and a high fault detection rate (FDR) under a fixed minimization budget. Based on common practice in critical systems where functional safety is important, we assume test cases are specified in natural language and traced to requirements before being implemented. RTM preprocesses test cases using three different preprocessing methods, and then converts them into vector representations using seven text embedding techniques. Similarity values between vectors are computed utilizing three distance functions. A Genetic Algorithm, whose population is initialized by coverage-preserving initialization strategies, is then employed to identify an optimized subset containing diverse test cases matching the set budget. We evaluate RTM on an industrial automotive system dataset comprising $736$ system test cases and $54$ requirements. Experimental results show that RTM consistently outperforms baseline techniques in terms of FDR across different minimization budgets while maintaining full requirement coverage. Furthermore, we investigate the impact of test suite redundancy levels on the effectiveness of TSM, providing new insights into optimizing requirement-based test suites under practical constraints.
• Abstract（参考訳）: ソフトウェアシステムが進化するにつれて、テストスイートはサイズが大きくなる傾向にあり、しばしば冗長なテストケースを含んでいる。 このような冗長性は、テストの労力、時間、コストを増加させます。 テストスイートの最小化(TSM)は、要件カバレッジや障害検出機能といった重要な特性を維持しながら、そのような冗長性を取り除くことを目的としている。 本稿では,要求ベーステスト(検証)のための新しいTSMアプローチであるRTM(Requirement coverage-guided Test suite Minimization)を提案する。 機能的安全性が重要であるクリティカルシステムでは、テストケースが自然言語で指定され、実装前に要求に追従されていると仮定する。 RTMは3つの異なるプリプロセッシング手法を用いてテストケースを前処理し、7つのテキスト埋め込み技術を用いてベクター表現に変換する。 ベクトル間の類似度値を3つの距離関数を用いて計算する。 人口が初期化される遺伝的アルゴリズムは、設定された予算に適合する多様なテストケースを含む最適化されたサブセットを特定するために使用される。 産業用自動車システムデータセットのRTMは, システムテストケースが763ドル, 要件が54ドルであった。 実験結果から,RTMは要求条件を完全に満たしつつ,異なる最小化予算をまたいだFDRのベースライン技術より一貫して優れていたことが示唆された。 さらに,テストスイートの冗長性レベルがTSMの有効性に与える影響について検討し,要件ベースのテストスイートを実用的制約下で最適化するための新たな洞察を提供する。

関連論文リスト

• IT$^3$: Idempotent Test-Time Training [95.78053599609044]
  ディープラーニングモデルは、トレーニングデータとテストデータの間の分散シフトのために、現実世界の環境にデプロイする際に苦労することが多い。 Idempotent Test-Time Training (IT$3$) は、現在のテストインスタンスのみを使用して、分散シフトへのオンザフライ適応を可能にする新しいアプローチである。 この結果から,イデオポテンスはドメインやアーキテクチャをまたいで一般化するテスト時間適応の普遍的原理を提供すると考えられる。
  論文  参考訳（メタデータ） (2024-10-05T15:39:51Z)
• Scalable Similarity-Aware Test Suite Minimization with Reinforcement Learning [6.9290255098776425]
  TripRLは、多種多様なテストスイートを高いテスト効率で生成する新しい技術である。 本稿では,TripRLのランタイムは,Multi-Criteria Test Suite Minimization問題の規模と線形にスケール可能であることを示す。
  論文  参考訳（メタデータ） (2024-08-24T08:43:03Z)
• Active Test-Time Adaptation: Theoretical Analyses and An Algorithm [51.84691955495693]
  テスト時間適応(TTA)は、教師なし設定でストリーミングテストデータの分散シフトに対処する。 完全TTA設定内に能動学習を統合する能動テスト時間適応(ATTA)の新たな問題設定を提案する。
  論文  参考訳（メタデータ） (2024-04-07T22:31:34Z)
• Task-specific experimental design for treatment effect estimation [59.879567967089145]
  因果推論の標準は大規模ランダム化試験(RCT)である。 近年の研究では、RCTのよりサンプル効率の良い代替案が提案されているが、これらは因果効果を求める下流の応用には適用できない。 実験的な設計のためのタスク固有のアプローチを開発し、特定の下流アプリケーションにカスタマイズされたサンプリング戦略を導出する。
  論文  参考訳（メタデータ） (2023-06-08T18:10:37Z)
• On Pitfalls of Test-Time Adaptation [82.8392232222119]
  TTA(Test-Time Adaptation)は、分散シフトの下で堅牢性に取り組むための有望なアプローチとして登場した。 TTABは,10の最先端アルゴリズム,多種多様な分散シフト,および2つの評価プロトコルを含むテスト時間適応ベンチマークである。
  論文  参考訳（メタデータ） (2023-06-06T09:35:29Z)
• LTM: Scalable and Black-box Similarity-based Test Suite Minimization based on Language Models [0.6562256987706128]
  テストスイートはソフトウェアが進化するにつれて成長する傾向にあり、割り当てられたテスト予算ですべてのテストケースを実行することができないことが多い。 テストスイートの最小化(TSM)は、冗長なテストケースを削除することで、ソフトウェアテストの効率を改善するために使用される。 LTM(Language model-based Test suite Minimization)を提案する。
  論文  参考訳（メタデータ） (2023-04-03T22:16:52Z)
• Sequential Kernelized Independence Testing [77.237958592189]
  我々は、カーネル化依存度にインスパイアされたシーケンシャルなカーネル化独立試験を設計する。 シミュレーションデータと実データの両方にアプローチのパワーを実証する。
  論文  参考訳（メタデータ） (2022-12-14T18:08:42Z)
• Robust Continual Test-time Adaptation: Instance-aware BN and Prediction-balanced Memory [58.72445309519892]
  テストデータストリーム以外のデータストリームに対して堅牢な新しいテスト時間適応方式を提案する。 a)分布外サンプルの正規化を修正するIABN(Instance-Aware Batch Normalization)と、(b)クラスバランスのない方法で非i.d.ストリームからのデータストリームをシミュレートするPBRS(Predict- Balanced Reservoir Sampling)である。
  論文  参考訳（メタデータ） (2022-08-10T03:05:46Z)
• Prioritized Variable-length Test Cases Generation for Finite State Machines [0.09786690381850353]
  モデルベーステスト(MBT)は、システムアンダーテストの一部が有限状態マシン(FSM)の特性を持つ場合のテストに有効な手法である。 本稿では,これらの要件をすべて満たしたテスト生成戦略を提案する。 本論文では,FSMの適用状況に応じて,機能的および非機能的ソフトウェア要件のテストにも適用可能である。
  論文  参考訳（メタデータ） (2022-03-17T20:16:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。