論文の概要: Few-Shot Scenario Testing for Autonomous Vehicles Based on Neighborhood
Coverage and Similarity
- arxiv url: http://arxiv.org/abs/2402.01795v1
- Date: Fri, 2 Feb 2024 04:47:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-07 01:50:30.466356
- Title: Few-Shot Scenario Testing for Autonomous Vehicles Based on Neighborhood
Coverage and Similarity
- Title(参考訳): 地域範囲と類似度に基づく自動運転車の少数シナリオテスト
- Authors: Shu Li, Jingxuan Yang, Honglin He, Yi Zhang, Jianming Hu, Shuo Feng
- Abstract要約: 大規模展開の前には、自律走行車(AV)の安全性能の試験と評価が不可欠である。
本稿では,この課題に対処するためのFST(Few-shot Testing)問題を初めて定式化し,体系的なFSTフレームワークを提案する。
FST法によるカットインシナリオの実験では,従来の試験法と比較して,テスト誤差と分散の顕著な低減が示されている。
- 参考スコア(独自算出の注目度): 9.51438685788858
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Testing and evaluating the safety performance of autonomous vehicles (AVs) is
essential before the large-scale deployment. Practically, the acceptable cost
of testing specific AV model can be restricted within an extremely small limit
because of testing cost or time. With existing testing methods, the limitations
imposed by strictly restricted testing numbers often result in significant
uncertainties or challenges in quantifying testing results. In this paper, we
formulate this problem for the first time the "few-shot testing" (FST) problem
and propose a systematic FST framework to address this challenge. To alleviate
the considerable uncertainty inherent in a small testing scenario set and
optimize scenario utilization, we frame the FST problem as an optimization
problem and search for a small scenario set based on neighborhood coverage and
similarity. By leveraging the prior information on surrogate models (SMs), we
dynamically adjust the testing scenario set and the contribution of each
scenario to the testing result under the guidance of better generalization
ability on AVs. With certain hypotheses on SMs, a theoretical upper bound of
testing error is established to verify the sufficiency of testing accuracy
within given limited number of tests. The experiments of the cut-in scenario
using FST method demonstrate a notable reduction in testing error and variance
compared to conventional testing methods, especially for situations with a
strict limitation on the number of scenarios.
- Abstract(参考訳): 大規模展開の前には、自律走行車(AV)の安全性能の試験と評価が不可欠である。
実際、特定のavモデルをテストする許容されるコストは、テストコストや時間のため、非常に小さな制限内で制限できる。
既存のテスト手法では、厳格に制限されたテスト番号によって課される制限は、テスト結果の定量化に重大な不確実性や課題をもたらすことが多い。
本稿では,FST(Few-shot Testing)問題を初めて定式化し,この問題に対処するための体系的なFSTフレームワークを提案する。
小規模なテストシナリオセットに固有のかなりの不確実性を緩和し、シナリオ利用を最適化するために、FST問題を最適化問題とみなし、近隣のカバレッジと類似性に基づく小さなシナリオセットを探索する。
surrogate model(sms)の事前情報を活用することで,avsの一般化能力向上のガイダンスの下で,テストシナリオセットと各シナリオのテスト結果への寄与を動的に調整する。
SMに対する特定の仮説により、限定されたテスト数内でのテスト精度の十分性を検証するために、理論上のテスト誤差の上限が確立される。
FST法によるカットインシナリオの実験は、従来のテスト手法と比較して、特にシナリオ数に厳格な制限がある状況において、テストエラーと分散の顕著な減少を示す。
関連論文リスト
- Towards Reliable AI: Adequacy Metrics for Ensuring the Quality of
System-level Testing of Autonomous Vehicles [5.634825161148484]
我々は、"Test suite Instance Space Adequacy"(TISA)メトリクスと呼ばれる一連のブラックボックステストの精度指標を紹介します。
TISAメトリクスは、テストスイートの多様性とカバレッジと、テスト中に検出されたバグの範囲の両方を評価する手段を提供する。
AVのシステムレベルのシミュレーションテストにおいて検出されたバグ数との相関を検証し,TISA測定の有効性を評価する。
論文 参考訳(メタデータ) (2023-11-14T10:16:05Z) - Deep anytime-valid hypothesis testing [29.273915933729057]
非パラメトリックなテスト問題に対する強力なシーケンシャルな仮説テストを構築するための一般的なフレームワークを提案する。
テスト・バイ・ベッティング・フレームワーク内で、機械学習モデルの表現能力を活用するための原則的なアプローチを開発する。
合成および実世界のデータセットに関する実証的な結果は、我々の一般的なフレームワークを用いてインスタンス化されたテストが、特殊なベースラインと競合することを示している。
論文 参考訳(メタデータ) (2023-10-30T09:46:19Z) - On Pitfalls of Test-Time Adaptation [82.8392232222119]
TTA(Test-Time Adaptation)は、分散シフトの下で堅牢性に取り組むための有望なアプローチとして登場した。
TTABは,10の最先端アルゴリズム,多種多様な分散シフト,および2つの評価プロトコルを含むテスト時間適応ベンチマークである。
論文 参考訳(メタデータ) (2023-06-06T09:35:29Z) - DELTA: degradation-free fully test-time adaptation [59.74287982885375]
テスト時間バッチ正規化(BN)や自己学習といった,一般的な適応手法では,2つの好ましくない欠陥が隠されていることがわかった。
まず、テスト時間BNにおける正規化統計は、現在受信されているテストサンプルに完全に影響され、その結果、不正確な推定結果が得られることを明らかにする。
第二に、テスト時間適応中にパラメータ更新が支配的なクラスに偏っていることを示す。
論文 参考訳(メタデータ) (2023-01-30T15:54:00Z) - Sequential Kernelized Independence Testing [101.22966794822084]
我々は、カーネル化依存度にインスパイアされたシーケンシャルなカーネル化独立試験を設計する。
シミュレーションデータと実データの両方にアプローチのパワーを実証する。
論文 参考訳(メタデータ) (2022-12-14T18:08:42Z) - Robust Continual Test-time Adaptation: Instance-aware BN and
Prediction-balanced Memory [58.72445309519892]
テストデータストリーム以外のデータストリームに対して堅牢な新しいテスト時間適応方式を提案する。
a)分布外サンプルの正規化を修正するIABN(Instance-Aware Batch Normalization)と、(b)クラスバランスのない方法で非i.d.ストリームからのデータストリームをシミュレートするPBRS(Predict- Balanced Reservoir Sampling)である。
論文 参考訳(メタデータ) (2022-08-10T03:05:46Z) - Efficient Test-Time Model Adaptation without Forgetting [60.36499845014649]
テストタイム適応は、トレーニングとテストデータの間の潜在的な分散シフトに取り組むことを目指している。
信頼性および非冗長なサンプルを同定するためのアクティブなサンプル選択基準を提案する。
また、重要なモデルパラメータを劇的な変化から制約するFisher regularizerを導入します。
論文 参考訳(メタデータ) (2022-04-06T06:39:40Z) - Machine Learning Testing in an ADAS Case Study Using
Simulation-Integrated Bio-Inspired Search-Based Testing [7.5828169434922]
Deeperは、ディープニューラルネットワークベースの車線保持システムをテストするための障害検出テストシナリオを生成する。
新たに提案されたバージョンでは、新しいバイオインスパイアされた検索アルゴリズム、遺伝的アルゴリズム(GA)、$(mu+lambda)$および$(mu,lambda)$進化戦略(ES)、およびParticle Swarm Optimization(PSO)を利用する。
評価の結果,Deeperで新たに提案したテストジェネレータは,以前のバージョンよりも大幅に改善されている。
論文 参考訳(メタデータ) (2022-03-22T20:27:40Z) - MixNorm: Test-Time Adaptation Through Online Normalization Estimation [35.65295482033232]
テスト期間中のバッチノーム統計を簡易かつ効果的に推定し、ソースモデルをテストサンプルのターゲットに迅速に適応させる方法を提案する。
テスト時間適応(Test-Time Adaptation)として知られるこのタスクの研究は、(1)テストサンプルが大きなバッチとして集まり、(2)テストの分布が1つであることを評価する上で、2つの前提に従っている。
論文 参考訳(メタデータ) (2021-10-21T21:04:42Z) - Noisy Adaptive Group Testing using Bayesian Sequential Experimental
Design [63.48989885374238]
病気の感染頻度が低い場合、Dorfman氏は80年前に、人のテストグループは個人でテストするよりも効率が良いことを示した。
本研究の目的は,ノイズの多い環境で動作可能な新しいグループテストアルゴリズムを提案することである。
論文 参考訳(メタデータ) (2020-04-26T23:41:33Z) - Efficient statistical validation with edge cases to evaluate Highly
Automated Vehicles [6.198523595657983]
自動運転車の大規模展開は、まだ解決されていない多くの安全上の課題にもかかわらず、差し迫っているようだ。
既存の標準は、検証が要求をカバーするテストケースのセットだけを必要とする決定論的プロセスに焦点を当てています。
本稿では, 自動生成テストケースを最悪のシナリオに偏り付け, システムの挙動の統計的特性を計算するための新しい手法を提案する。
論文 参考訳(メタデータ) (2020-03-04T04:35:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。