論文の概要: Efficient and Effective Generation of Test Cases for Pedestrian
Detection -- Search-based Software Testing of Baidu Apollo in SVL
- arxiv url: http://arxiv.org/abs/2109.07960v1
- Date: Thu, 16 Sep 2021 13:11:53 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-17 16:31:21.744365
- Title: Efficient and Effective Generation of Test Cases for Pedestrian
Detection -- Search-based Software Testing of Baidu Apollo in SVL
- Title（参考訳）: 歩行者検出のためのテストケースの効率的かつ効果的な生成 -- SVLにおけるBaidu Apolloの検索ベースソフトウェアテスト
- Authors: Hamid Ebadi, Mahshid Helali Moghadam, Markus Borg, Gregory Gay, Afonso
Fontes, Kasper Socha
- Abstract要約: 本稿では,SVLシミュレータ内での自律走行プラットフォームであるBaidu Apolloの歩行者検出と緊急制動システムの試験について述べる。
本稿では,SVL環境におけるApolloの障害検出シナリオを生成する進化的自動テスト生成手法を提案する。
また,本手法の有効性と有効性を示すため,ベースラインランダム生成手法の結果も報告する。
- 参考スコア（独自算出の注目度）: 14.482670650074885
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the growing capabilities of autonomous vehicles, there is a higher
demand for sophisticated and pragmatic quality assurance approaches for machine
learning-enabled systems in the automotive AI context. The use of
simulation-based prototyping platforms provides the possibility for early-stage
testing, enabling inexpensive testing and the ability to capture critical
corner-case test scenarios. Simulation-based testing properly complements
conventional on-road testing. However, due to the large space of test input
parameters in these systems, the efficient generation of effective test
scenarios leading to the unveiling of failures is a challenge. This paper
presents a study on testing pedestrian detection and emergency braking system
of the Baidu Apollo autonomous driving platform within the SVL simulator. We
propose an evolutionary automated test generation technique that generates
failure-revealing scenarios for Apollo in the SVL environment. Our approach
models the input space using a generic and flexible data structure and benefits
a multi-criteria safety-based heuristic for the objective function targeted for
optimization. This paper presents the results of our proposed test generation
technique in the 2021 IEEE Autonomous Driving AI Test Challenge. In order to
demonstrate the efficiency and effectiveness of our approach, we also report
the results from a baseline random generation technique. Our evaluation shows
that the proposed evolutionary test case generator is more effective at
generating failure-revealing test cases and provides higher diversity between
the generated failures than the random baseline.
- Abstract（参考訳）: 自動運転車の能力の増大に伴い、自動車AIのコンテキストにおける機械学習対応システムに対する高度な実用的品質保証アプローチへの需要が高まっている。
シミュレーションベースのプロトタイピングプラットフォームを使用することで、初期段階のテストが可能となり、安価なテストと重要なコーナーケーステストシナリオのキャプチャが可能になる。
シミュレーションベーステストは、従来のオンロードテストを適切に補完する。
しかし、これらのシステムにおけるテスト入力パラメータの空間が広いため、効率的なテストシナリオの生成が失敗の露呈につながることは困難である。
本稿では,SVLシミュレータ内での自律走行プラットフォームであるBaidu Apolloの歩行者検出と緊急制動システムをテストする。
本稿では,SVL環境におけるApolloの障害検出シナリオを生成する進化的自動テスト生成手法を提案する。
提案手法は,汎用的かつ柔軟なデータ構造を用いて入力空間をモデル化し,最適化を目標とした目的関数に対するマルチクリトリア安全性に基づくヒューリスティクスを有効活用する。
本稿では,2021年のIEEE Autonomous Driving AI Test Challengeで提案したテスト生成手法について述べる。
また,本手法の効率性と有効性を示すため,ベースライン乱数生成手法の結果を報告する。
評価の結果,提案する進化的テストケースジェネレータは,故障回避テストケース生成に有効であること,ランダムベースラインよりも生成した障害の多様性が高いことが判明した。
関連論文リスト
- The Future of Software Testing: AI-Powered Test Case Generation and Validation [0.0]
本稿では、テストケースの生成と検証を改善する上で、AIが持つ変革の可能性について考察する。
テストプロセスの効率性、正確性、スケーラビリティを高める能力に重点を置いている。
また、高品質なトレーニングデータの必要性など、テストにAIを適用する際の重要な課題にも対処している。
論文 参考訳（メタデータ） (2024-09-09T17:12:40Z) - Diversity-guided Search Exploration for Self-driving Cars Test
Generation through Frenet Space Encoding [4.135985106933988]
自動運転車(SDC)の台頭は、動的環境に対処する上で重要な安全上の課題を提示している。
フィールドテストは不可欠であるが、現在の手法では重要なSDCシナリオを評価するための多様性が欠如している。
本研究では, ディープラーニングバニラ変圧器モデルを用いて, アウトオブバウンド状態に導く可能性を示す。
論文 参考訳（メタデータ） (2024-01-26T06:57:00Z) - Test Generation Strategies for Building Failure Models and Explaining
Spurious Failures [4.995172162560306]
テスト入力は、テスト対象のシステムが故障している場合だけでなく、入力が無効または非現実的である場合も失敗する。
テストインプットに対して解釈可能なルールを推論し,重大な障害を引き起こす障害モデルを構築することを提案する。
提案手法は, 平均精度83%の故障モデルを生成する。
論文 参考訳（メタデータ） (2023-12-09T18:36:15Z) - From Static Benchmarks to Adaptive Testing: Psychometrics in AI Evaluation [60.14902811624433]
本稿では,静的評価手法から適応テストへのパラダイムシフトについて論じる。
これには、ベンチマークで各テスト項目の特性と価値を推定し、リアルタイムでアイテムを動的に調整することが含まれる。
我々は、AI評価にサイコメトリックを採用する現在のアプローチ、アドバンテージ、そして根底にある理由を分析します。
論文 参考訳（メタデータ） (2023-06-18T09:54:33Z) - AUTO: Adaptive Outlier Optimization for Online Test-Time OOD Detection [81.49353397201887]
オープンソースアプリケーションに機械学習モデルをデプロイするには、アウト・オブ・ディストリビューション(OOD)検出が不可欠だ。
我々は、未ラベルのオンラインデータをテスト時に直接利用してOOD検出性能を向上させる、テスト時OOD検出と呼ばれる新しいパラダイムを導入する。
本稿では,入出力フィルタ,IDメモリバンク,意味的に一貫性のある目的からなる適応外乱最適化(AUTO)を提案する。
論文 参考訳（メタデータ） (2023-03-22T02:28:54Z) - TTAPS: Test-Time Adaption by Aligning Prototypes using Self-Supervision [70.05605071885914]
本研究では,単体テストサンプルに適用可能な自己教師付きトレーニングアルゴリズムSwaVの新たな改良を提案する。
ベンチマークデータセットCIFAR10-Cにおいて,本手法の有効性を示す。
論文 参考訳（メタデータ） (2022-05-18T05:43:06Z) - Listen, Adapt, Better WER: Source-free Single-utterance Test-time
Adaptation for Automatic Speech Recognition [65.84978547406753]
Test-time Adaptationは、ソースドメインでトレーニングされたモデルに適応して、テストサンプルの予測を改善することを目的としている。
単一発話テスト時間適応 (SUTA) は音声領域における最初のTTA研究である。
論文 参考訳（メタデータ） (2022-03-27T06:38:39Z) - Machine Learning Testing in an ADAS Case Study Using
Simulation-Integrated Bio-Inspired Search-Based Testing [7.5828169434922]
Deeperは、ディープニューラルネットワークベースの車線保持システムをテストするための障害検出テストシナリオを生成する。
新たに提案されたバージョンでは、新しいバイオインスパイアされた検索アルゴリズム、遺伝的アルゴリズム(GA)、$(mu+lambda)$および$(mu,lambda)$進化戦略(ES)、およびParticle Swarm Optimization(PSO)を利用する。
評価の結果,Deeperで新たに提案したテストジェネレータは,以前のバージョンよりも大幅に改善されている。
論文 参考訳（メタデータ） (2022-03-22T20:27:40Z) - ALT-MAS: A Data-Efficient Framework for Active Testing of Machine
Learning Algorithms [58.684954492439424]
少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。
ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
論文 参考訳（メタデータ） (2021-04-11T12:14:04Z) - Generating and Characterizing Scenarios for Safety Testing of Autonomous
Vehicles [86.9067793493874]
最先端運転シミュレータを用いて,テストシナリオを特徴付け,生成するための効率的なメカニズムを提案する。
次世代シミュレーション(NGSIM)プロジェクトにおける実運転データの特徴付けに本手法を用いる。
事故回避の複雑さに基づいてメトリクスを定義してシナリオをランク付けし、事故発生の可能性を最小限に抑えるための洞察を提供します。
論文 参考訳（メタデータ） (2021-03-12T17:00:23Z) - Formal Scenario-Based Testing of Autonomous Vehicles: From Simulation to
the Real World [8.498542964344987]
自動運転車の安全性のシナリオベース自動テストに対する新しいアプローチを提案する。
提案手法は,シナリオの形式的仕様と安全性特性を組み合わせた形式的手法に基づいている。
論文 参考訳（メタデータ） (2020-03-17T14:17:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。