論文の概要: Automated Test Oracles for Flaky Cyber-Physical System Simulators: Approach and Evaluation

• arxiv url: http://arxiv.org/abs/2508.20902v1
• Date: Thu, 28 Aug 2025 15:33:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-29 18:12:02.481223
• Title: Automated Test Oracles for Flaky Cyber-Physical System Simulators: Approach and Evaluation
• Title（参考訳）: フレキシブルサイバー物理システムシミュレータのための自動テストオラクル:アプローチと評価
• Authors: Baharin A. Jodat, Khouloud Gaaloul, Mehrdad Sabetzadeh, Shiva Nejati,
• Abstract要約: サイバー物理システム(CPS)のシミュレーションベースのテストは、CPSシミュレータの実行に時間を要するためコストがかかる。 CPSシミュレータは不安定で、一貫性のないテスト結果をもたらし、信頼性のあるテスト検証のために繰り返しテストを再実行する必要がある。 本稿では,テスト対象システムの入力上に定義された論理的および算術的述語集合として,CPSのアサーションに基づくテストオラクルを提案する。
• 参考スコア（独自算出の注目度）: 1.5821080783312833
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Simulation-based testing of cyber-physical systems (CPS) is costly due to the time-consuming execution of CPS simulators. In addition, CPS simulators may be flaky, leading to inconsistent test outcomes and requiring repeated test re-execution for reliable test verdicts. Automated test oracles that do not require system execution are therefore crucial for reducing testing costs. Ideally, such test oracles should be interpretable to facilitate human understanding of test verdicts, and they must be robust against the potential flakiness of CPS simulators. In this article, we propose assertion-based test oracles for CPS as sets of logical and arithmetic predicates defined over the inputs of the system under test. Given a test input, our assertion-based test oracle determines, without requiring test execution, whether the test passes, fails, or if the oracle is inconclusive in predicting a verdict. We describe two methods for generating assertion-based test oracles: one using genetic programming~(GP) that employs well-known spectrum-based fault localization (SBFL) ranking formulas, namely Ochiai, Tarantula, and Naish, as fitness functions; and the other using decision trees (DT) and decision rules (DR). We evaluate our assertion-based test oracles through case studies in the domains of aerospace, networking and autonomous driving. We show that test oracles generated using GP with Ochiai are significantly more accurate than those obtained using GP with Tarantula and Naish or using DT or DR. Moreover, this accuracy advantage remains even when accounting for the flakiness of the system under test. We further show that the assertion-based test oracles generated by GP with Ochiai are robust against flakiness with only 4% average variation in their accuracy results across four different network and autonomous driving systems with flaky behaviours.
• Abstract（参考訳）: サイバー物理システム(CPS)のシミュレーションベースのテストは、CPSシミュレータの実行に時間を要するためコストがかかる。 さらに、CPSシミュレータは不安定で、一貫性のないテスト結果をもたらし、信頼性のあるテスト検証のために繰り返しテストを再実行する必要がある。 したがって、システム実行を必要としない自動テストオラクルは、テストコストを削減するために不可欠である。 理想的には、このようなテストオラクルは、人間の検証の理解を促進するために解釈可能であり、CPSシミュレータの潜在的なフレキネスに対して堅牢でなければならない。 本稿では,テスト対象システムの入力上に定義された論理的述語と算術的述語の集合として,CPSのアサーションに基づくテストオラクルを提案する。 テスト入力が与えられた場合、アサーションベースのテストオラクルは、テストの実行を必要とせずに、テストが通ったか失敗したか、または、そのオラクルが判断を確定できないかどうかを判断します。 本稿では,アサーションベースのテストオラクルを生成する2つの方法について述べる。1つは,よく知られたスペクトルベースの障害ローカライゼーション(SBFL)ランキング式(オチアイ,タランチュラ,ナッシュ)を適合関数として用いる遺伝的プログラミング(GP)と,もう1つは決定木(DT)と決定規則(DR)を用いる。 我々は,空域,ネットワーク,自律運転の領域におけるケーススタディを通じて,アサーションに基づくテストオラクルを評価した。 GP と Ochiai を用いたテストオラクルは,Tarantula や Naish を用いた GP や DT や DR を用いた場合よりも有意に精度が高いことが確認された。 さらに,GP と Ochiai が生成したアサーションベースのテストオラクルは,フレーキ性に対して頑健であり,フレーキ性を有する4つのネットワークおよび自律運転システムで平均4%の精度変化が得られた。

関連論文リスト

• RBT4DNN: Requirements-based Testing of Neural Networks [16.90562395404293]
  ディープニューラルネットワーク(DNN)テストは、障害が深刻な結果をもたらすクリティカルシステムの信頼性と安全性に不可欠である。 本稿では, セマンティックな特徴空間で定式化された自然言語要求を用いて, テストスイートを作成するための要件ベースのテストスイート生成手法を提案する。 MNIST、CelebA-HQ、ImageNet、および自律運転データセットに関する我々の実験は、生成されたテストスイートが現実的で、多様性があり、事前条件と整合性があり、欠陥を明らかにすることができることを示した。
  論文  参考訳（メタデータ） (2025-04-03T16:24:49Z)
• Do Test and Environmental Complexity Increase Flakiness? An Empirical Study of SAP HANA [47.29324864511411]
  不安定なテストはコードの変更なしにランダムに失敗する。 テストの特徴と,テストのフレキネスに影響を与える可能性のあるテスト環境について検討する。
  論文  参考訳（メタデータ） (2024-09-16T07:52:09Z)
• FlaKat: A Machine Learning-Based Categorization Framework for Flaky Tests [3.0846824529023382]
  不安定なテストは、ソフトウェアシステムに変更を加えることなく、非決定的に通過または失敗する可能性がある。 State-of-the-art Researchは、機械学習ソリューションを不安定なテスト検出に取り入れ、合理的に優れた精度を達成する。
  論文  参考訳（メタデータ） (2024-03-01T22:00:44Z)
• Evaluating the Impact of Flaky Simulators on Testing Autonomous Driving Systems [2.291478393584594]
  シミュレーションに基づく自律運転システム(ADS)のテストにおけるフレキネスの検討 ADSにおけるテストフレキネスは一般的な現象であり,ランダム化アルゴリズムにより得られたテスト結果に大きな影響を及ぼす可能性が示唆された。 我々の機械学習(ML)分類器は、単一のテスト実行のみを使用して、脆弱なADSテストを効果的に識別する。
  論文  参考訳（メタデータ） (2023-11-30T18:08:02Z)
• Test Case Generation and Test Oracle Support for Testing CPSs using Hybrid Models [2.6166087473624313]
  サイバー物理システム(CPS)は、幅広い自律物理システムの振る舞いにおいて中心的な役割を果たす。 CPSはしばしば、シミュレーションシステムを介してテストできる異なるレベルのモデルのシーケンスとして反復的に指定される。 そのようなモデルの1つはハイブリッドオートマトンであり、これらはCPSアプリケーションで頻繁に使用され、連続したCPS動作と離散的なCPS動作の両方をカプセル化する利点がある。
  論文  参考訳（メタデータ） (2023-09-14T19:08:09Z)
• Near-Optimal Non-Parametric Sequential Tests and Confidence Sequences with Possibly Dependent Observations [44.71254888821376]
  我々は、一般的な非データ生成プロセスの下で、最初のタイプIエラーと予測リジェクション時間保証を提供する。 本研究では, 平均処理効果など, 方程式を推定することによって定義されるパラメータの推測に, 結果を適用する方法を示す。
  論文  参考訳（メタデータ） (2022-12-29T18:37:08Z)
• Sequential Kernelized Independence Testing [77.237958592189]
  我々は、カーネル化依存度にインスパイアされたシーケンシャルなカーネル化独立試験を設計する。 シミュレーションデータと実データの両方にアプローチのパワーを実証する。
  論文  参考訳（メタデータ） (2022-12-14T18:08:42Z)
• Noisy Adaptive Group Testing using Bayesian Sequential Experimental Design [63.48989885374238]
  病気の感染頻度が低い場合、Dorfman氏は80年前に、人のテストグループは個人でテストするよりも効率が良いことを示した。 本研究の目的は,ノイズの多い環境で動作可能な新しいグループテストアルゴリズムを提案することである。
  論文  参考訳（メタデータ） (2020-04-26T23:41:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。