論文の概要: Can Search-Based Testing with Pareto Optimization Effectively Cover Failure-Revealing Test Inputs?

• arxiv url: http://arxiv.org/abs/2410.11769v1
• Date: Tue, 15 Oct 2024 16:44:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-16 14:04:46.953746
• Title: Can Search-Based Testing with Pareto Optimization Effectively Cover Failure-Revealing Test Inputs?
• Title（参考訳）: Pareto Optimization を用いた探索ベーステストは、フェールリベリングテスト入力を効果的にカバーできるか?
• Authors: Lev Sorokin, Damir Safin, Shiva Nejati,
• Abstract要約: 我々は,検索領域内の障害発生領域をカバーするには,検索ベースソフトウェアテスト(SBST)が不十分であると主張している。 本研究では,入力空間におけるフェールリベリングテスト入力のカバレッジを,Coverage Inverted Distance品質指標と呼ぶ指標を用いて測定する。 その結果, NSGA-IIとMOPSOは, 故障を露呈するテストインプットを包含する無作為なランダム検索ベースラインよりも有効ではないことがわかった。
• 参考スコア（独自算出の注目度）: 2.038863628148453
• License:
• Abstract: Search-based software testing (SBST) is a widely adopted technique for testing complex systems with large input spaces, such as Deep Learning-enabled (DL-enabled) systems. Many SBST techniques focus on Pareto-based optimization, where multiple objectives are optimized in parallel to reveal failures. However, it is important to ensure that identified failures are spread throughout the entire failure-inducing area of a search domain and not clustered in a sub-region. This ensures that identified failures are semantically diverse and reveal a wide range of underlying causes. In this paper, we present a theoretical argument explaining why testing based on Pareto optimization is inadequate for covering failure-inducing areas within a search domain. We support our argument with empirical results obtained by applying two widely used types of Pareto-based optimization techniques, namely NSGA-II (an evolutionary algorithm) and MOPSO (a swarm-based algorithm), to two DL-enabled systems: an industrial Automated Valet Parking (AVP) system and a system for classifying handwritten digits. We measure the coverage of failure-revealing test inputs in the input space using a metric that we refer to as the Coverage Inverted Distance quality indicator. Our results show that NSGA-II and MOPSO are not more effective than a na\"ive random search baseline in covering test inputs that reveal failures. The replication package for this study is available in a GitHub repository.
• Abstract（参考訳）: 検索ベースソフトウェアテスト(英: Search-based software testing、SBST)は、ディープラーニング対応(DL対応)システムのような大きな入力空間を持つ複雑なシステムをテストするための広く採用されている手法である。 多くのSBST技術はParetoベースの最適化に重点を置いており、複数の目的を並列に最適化して失敗を明らかにする。 しかし、特定された障害が検索ドメインの障害発生領域全体に分散し、サブリージョンにクラスタ化されていないことを保証することが重要である。 これにより、特定された障害がセマンティックに多様であることを保証し、さまざまな根本原因を明らかにする。 本稿では,パレート最適化に基づくテストが,探索領域内の障害発生領域をカバーするのに不十分である理由を理論的に論じる。 我々は、産業用自動改ざんシステム(AVP)と手書き桁の分類システム(NSGA-II)とMOPSO(Swarm-based algorithm)の2種類のパレート最適化手法をDL対応システムに適用し、実験的な結果を得た。 本研究では,入力空間におけるフェールリベリングテスト入力のカバレッジを,Coverage Inverted Distance品質指標と呼ぶ指標を用いて測定する。 その結果, NSGA-IIとMOPSOは, 故障を露呈するテストインプットをカバーする場合に, na\\ive random search baseline よりも有効ではないことがわかった。 この研究のレプリケーションパッケージはGitHubリポジトリから入手できる。

関連論文リスト

• Test Generation Strategies for Building Failure Models and Explaining Spurious Failures [4.995172162560306]
  テスト入力は、テスト対象のシステムが故障している場合だけでなく、入力が無効または非現実的である場合も失敗する。 テストインプットに対して解釈可能なルールを推論し,重大な障害を引き起こす障害モデルを構築することを提案する。 提案手法は, 平均精度83%の故障モデルを生成する。
  論文  参考訳（メタデータ） (2023-12-09T18:36:15Z)
• Semi-DETR: Semi-Supervised Object Detection with Detection Transformers [105.45018934087076]
  半教師付き物体検出(SSOD)におけるDETRに基づくフレームワークの解析 本報告では,第1次変圧器を用いたエンド・ツー・エンド半教師対象検出器であるSemi-DETRについて述べる。 我々の手法は、最先端の手法をクリアマージンで上回る。
  論文  参考訳（メタデータ） (2023-07-16T16:32:14Z)
• On Pitfalls of Test-Time Adaptation [82.8392232222119]
  TTA(Test-Time Adaptation)は、分散シフトの下で堅牢性に取り組むための有望なアプローチとして登場した。 TTABは,10の最先端アルゴリズム,多種多様な分散シフト,および2つの評価プロトコルを含むテスト時間適応ベンチマークである。
  論文  参考訳（メタデータ） (2023-06-06T09:35:29Z)
• Towards Efficient and Domain-Agnostic Evasion Attack with High-dimensional Categorical Inputs [33.36532022853583]
  本研究の目的は,ドメインに依存しない領域において,高次元のカテゴリー入力を持つ摂動を攻撃可能な逆方向を探索することである。 提案手法は,マルチアームバンディットプログラミングにおいて,各カテゴリ機能の変更を腕を引くものとして扱う。 本研究は,高次元カテゴリ入力を用いた分類システムの逆脆弱性評価におけるFEATの適用性をさらに示唆するものである。
  論文  参考訳（メタデータ） (2022-12-13T18:45:00Z)
• DI-NIDS: Domain Invariant Network Intrusion Detection System [9.481792073140204]
  コンピュータビジョンなどの様々な応用において、ドメイン適応技術は成功している。 しかし、ネットワーク侵入検出の場合、最先端のドメイン適応アプローチは成功に留まっている。 本稿では,複数のネットワークドメインから対数領域適応を用いて,ドメイン不変な特徴を抽出する。
  論文  参考訳（メタデータ） (2022-10-15T10:26:22Z)
• $\beta$-DARTS: Beta-Decay Regularization for Differentiable Architecture Search [85.84110365657455]
  本研究では,DARTSに基づくNAS探索過程を正規化するために,ベータデカイと呼ばれるシンプルだが効率的な正規化手法を提案する。 NAS-Bench-201の実験結果から,提案手法は探索過程の安定化に有効であり,探索されたネットワークを異なるデータセット間で転送しやすくする。
  論文  参考訳（メタデータ） (2022-03-03T11:47:14Z)
• Regressive Domain Adaptation for Unsupervised Keypoint Detection [67.2950306888855]
  ドメイン適応(DA)は、ラベル付きソースドメインからラベル付きターゲットドメインに知識を転送することを目的とする。 本稿では,教師なしキーポイント検出のためのレグレッシブドメイン適応(RegDA)法を提案する。 提案手法は,異なるデータセット上のPCKにおいて,8%から11%の大幅な改善をもたらす。
  論文  参考訳（メタデータ） (2021-03-10T16:45:22Z)
• Global Optimization of Objective Functions Represented by ReLU Networks [77.55969359556032]
  ニューラルネットワークは複雑で非敵対的な関数を学ぶことができ、安全クリティカルな文脈でそれらの正しい振る舞いを保証することは困難である。 ネットワーク内の障害を見つけるための多くのアプローチ(例えば、敵の例)があるが、これらは障害の欠如を保証できない。 本稿では,最適化プロセスを検証手順に統合し,本手法よりも優れた性能を実現する手法を提案する。
  論文  参考訳（メタデータ） (2020-10-07T08:19:48Z)
• AP-Loss for Accurate One-Stage Object Detection [49.13608882885456]
  一段階の物体検出器は、分類損失と局所化損失を同時に最適化することによって訓練される。 前者は、多数のアンカーのため、非常に前景と後方のアンカーの不均衡に悩まされる。 本稿では,一段検知器の分類タスクをランキングタスクに置き換える新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2020-08-17T13:22:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。