論文の概要: Machine Learning Testing in an ADAS Case Study Using
Simulation-Integrated Bio-Inspired Search-Based Testing
- arxiv url: http://arxiv.org/abs/2203.12026v1
- Date: Tue, 22 Mar 2022 20:27:40 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-24 13:55:41.230900
- Title: Machine Learning Testing in an ADAS Case Study Using
Simulation-Integrated Bio-Inspired Search-Based Testing
- Title（参考訳）: シミュレーション統合型バイオインスパイアサーチベーステストを用いたadasの機械学習テスト
- Authors: Mahshid Helali Moghadam, Markus Borg, Mehrdad Saadatmand, Seyed
Jalaleddin Mousavirad, Markus Bohlin, Bj\"orn Lisper
- Abstract要約: Deeperは、ディープニューラルネットワークベースの車線保持システムをテストするための障害検出テストシナリオを生成する。
新たに提案されたバージョンでは、新しいバイオインスパイアされた検索アルゴリズム、遺伝的アルゴリズム(GA)、$(mu+lambda)$および$(mu,lambda)$進化戦略(ES)、およびParticle Swarm Optimization(PSO)を利用する。
評価の結果,Deeperで新たに提案したテストジェネレータは,以前のバージョンよりも大幅に改善されている。
- 参考スコア（独自算出の注目度）: 7.5828169434922
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper presents an extended version of Deeper, a search-based
simulation-integrated test solution that generates failure-revealing test
scenarios for testing a deep neural network-based lane-keeping system. In the
newly proposed version, we utilize a new set of bio-inspired search algorithms,
genetic algorithm (GA), $({\mu}+{\lambda})$ and $({\mu},{\lambda})$ evolution
strategies (ES), and particle swarm optimization (PSO), that leverage a quality
population seed and domain-specific cross-over and mutation operations tailored
for the presentation model used for modeling the test scenarios. In order to
demonstrate the capabilities of the new test generators within Deeper, we carry
out an empirical evaluation and comparison with regard to the results of five
participating tools in the cyber-physical systems testing competition at SBST
2021. Our evaluation shows the newly proposed test generators in Deeper not
only represent a considerable improvement on the previous version but also
prove to be effective and efficient in provoking a considerable number of
diverse failure-revealing test scenarios for testing an ML-driven lane-keeping
system. They can trigger several failures while promoting test scenario
diversity, under a limited test time budget, high target failure severity, and
strict speed limit constraints.
- Abstract（参考訳）: 本稿では,ディープニューラルネットワークを用いた車線維持システムをテストするためのフェールリベリングテストシナリオを生成する,サーチベースのシミュレーション統合テストソリューションであるDeeperの拡張版を提案する。
新たに提案されたバージョンでは、新しいバイオインスパイアされた検索アルゴリズム、遺伝的アルゴリズム(GA)、$({\mu}+{\lambda})$および$({\mu},{\lambda})$進化戦略(ES)、そして品質の高い集団種子とドメイン固有のクロスオーバーと突然変異操作を利用する粒子群最適化(PSO)を利用する。
SBST 2021のサイバー物理システムテストコンテストに参加する5つのツールについて,Deeper内の新しいテストジェネレータの能力を実証するため,実証的な評価と比較を行った。
評価の結果,新たに提案するテストジェネレータは,前バージョンの大幅な改善を示すだけでなく,ml駆動レーンキーピングシステムをテストする上で,多数の多様な障害回避テストシナリオを誘発する上で有効かつ効率的であることが判明した。
テストシナリオの多様性を促進しながら、テスト時間の予算の制限、高いターゲット障害の重大さ、厳格な速度制限の下で、いくつかの障害をトリガーすることができる。
関連論文リスト
- Many-Objective Search-Based Coverage-Guided Automatic Test Generation for Deep Neural Networks [2.141511605027007]
本稿では,多目的最適化アルゴリズムに基づくファジングテスト生成手法を提案する。
周波数ベースのファズサンプリング戦略は、初期データの選択頻度に基づいて優先順位を割り当てる。
アルゴリズムの局所探索能力を高めるため,モンテカルロ木探索に基づく局所探索戦略を提案する。
論文 参考訳（メタデータ） (2024-11-01T21:08:15Z) - Diversity-guided Search Exploration for Self-driving Cars Test
Generation through Frenet Space Encoding [4.135985106933988]
自動運転車(SDC)の台頭は、動的環境に対処する上で重要な安全上の課題を提示している。
フィールドテストは不可欠であるが、現在の手法では重要なSDCシナリオを評価するための多様性が欠如している。
本研究では, ディープラーニングバニラ変圧器モデルを用いて, アウトオブバウンド状態に導く可能性を示す。
論文 参考訳（メタデータ） (2024-01-26T06:57:00Z) - Test Generation Strategies for Building Failure Models and Explaining
Spurious Failures [4.995172162560306]
テスト入力は、テスト対象のシステムが故障している場合だけでなく、入力が無効または非現実的である場合も失敗する。
テストインプットに対して解釈可能なルールを推論し,重大な障害を引き起こす障害モデルを構築することを提案する。
提案手法は, 平均精度83%の故障モデルを生成する。
論文 参考訳（メタデータ） (2023-12-09T18:36:15Z) - From Static Benchmarks to Adaptive Testing: Psychometrics in AI Evaluation [60.14902811624433]
本稿では,静的評価手法から適応テストへのパラダイムシフトについて論じる。
これには、ベンチマークで各テスト項目の特性と価値を推定し、リアルタイムでアイテムを動的に調整することが含まれる。
我々は、AI評価にサイコメトリックを採用する現在のアプローチ、アドバンテージ、そして根底にある理由を分析します。
論文 参考訳（メタデータ） (2023-06-18T09:54:33Z) - TeST: Test-time Self-Training under Distribution Shift [99.68465267994783]
Test-Time Self-Training (TeST)は、あるソースデータとテスト時の新しいデータ分散に基づいてトレーニングされたモデルを入力する技術である。
また,TeSTを用いたモデルでは,ベースラインテスト時間適応アルゴリズムよりも大幅に改善されていることがわかった。
論文 参考訳（メタデータ） (2022-09-23T07:47:33Z) - TTAPS: Test-Time Adaption by Aligning Prototypes using Self-Supervision [70.05605071885914]
本研究では,単体テストサンプルに適用可能な自己教師付きトレーニングアルゴリズムSwaVの新たな改良を提案する。
ベンチマークデータセットCIFAR10-Cにおいて,本手法の有効性を示す。
論文 参考訳（メタデータ） (2022-05-18T05:43:06Z) - Efficient Test-Time Model Adaptation without Forgetting [60.36499845014649]
テストタイム適応は、トレーニングとテストデータの間の潜在的な分散シフトに取り組むことを目指している。
信頼性および非冗長なサンプルを同定するためのアクティブなサンプル選択基準を提案する。
また、重要なモデルパラメータを劇的な変化から制約するFisher regularizerを導入します。
論文 参考訳（メタデータ） (2022-04-06T06:39:40Z) - Listen, Adapt, Better WER: Source-free Single-utterance Test-time
Adaptation for Automatic Speech Recognition [65.84978547406753]
Test-time Adaptationは、ソースドメインでトレーニングされたモデルに適応して、テストサンプルの予測を改善することを目的としている。
単一発話テスト時間適応 (SUTA) は音声領域における最初のTTA研究である。
論文 参考訳（メタデータ） (2022-03-27T06:38:39Z) - Efficient and Effective Generation of Test Cases for Pedestrian
Detection -- Search-based Software Testing of Baidu Apollo in SVL [14.482670650074885]
本稿では,SVLシミュレータ内での自律走行プラットフォームであるBaidu Apolloの歩行者検出と緊急制動システムの試験について述べる。
本稿では,SVL環境におけるApolloの障害検出シナリオを生成する進化的自動テスト生成手法を提案する。
また,本手法の有効性と有効性を示すため,ベースラインランダム生成手法の結果も報告する。
論文 参考訳（メタデータ） (2021-09-16T13:11:53Z) - Online GANs for Automatic Performance Testing [0.10312968200748115]
GAN(Generative Adversarial Network)のオンライン版を利用した自動パフォーマンステストのための新しいアルゴリズムを提案する。
提案手法では、テスト中のシステムの事前のトレーニングセットやモデルを必要としない。
我々は,提案アルゴリズムが概念実証として機能し,GANの試験生成への応用に関する研究議論の火花となることを期待する。
論文 参考訳（メタデータ） (2021-04-21T06:03:27Z) - Noisy Adaptive Group Testing using Bayesian Sequential Experimental
Design [63.48989885374238]
病気の感染頻度が低い場合、Dorfman氏は80年前に、人のテストグループは個人でテストするよりも効率が良いことを示した。
本研究の目的は,ノイズの多い環境で動作可能な新しいグループテストアルゴリズムを提案することである。
論文 参考訳（メタデータ） (2020-04-26T23:41:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。