論文の概要: Few-Shot Scenario Testing for Autonomous Vehicles Based on Neighborhood Coverage and Similarity

• arxiv url: http://arxiv.org/abs/2402.01795v1
• Date: Fri, 2 Feb 2024 04:47:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-07 01:50:30.466356
• Title: Few-Shot Scenario Testing for Autonomous Vehicles Based on Neighborhood Coverage and Similarity
• Title（参考訳）: 地域範囲と類似度に基づく自動運転車の少数シナリオテスト
• Authors: Shu Li, Jingxuan Yang, Honglin He, Yi Zhang, Jianming Hu, Shuo Feng
• Abstract要約: 大規模展開の前には、自律走行車(AV)の安全性能の試験と評価が不可欠である。 本稿では,この課題に対処するためのFST(Few-shot Testing)問題を初めて定式化し,体系的なFSTフレームワークを提案する。 FST法によるカットインシナリオの実験では,従来の試験法と比較して,テスト誤差と分散の顕著な低減が示されている。
• 参考スコア（独自算出の注目度）: 9.51438685788858
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Testing and evaluating the safety performance of autonomous vehicles (AVs) is essential before the large-scale deployment. Practically, the acceptable cost of testing specific AV model can be restricted within an extremely small limit because of testing cost or time. With existing testing methods, the limitations imposed by strictly restricted testing numbers often result in significant uncertainties or challenges in quantifying testing results. In this paper, we formulate this problem for the first time the "few-shot testing" (FST) problem and propose a systematic FST framework to address this challenge. To alleviate the considerable uncertainty inherent in a small testing scenario set and optimize scenario utilization, we frame the FST problem as an optimization problem and search for a small scenario set based on neighborhood coverage and similarity. By leveraging the prior information on surrogate models (SMs), we dynamically adjust the testing scenario set and the contribution of each scenario to the testing result under the guidance of better generalization ability on AVs. With certain hypotheses on SMs, a theoretical upper bound of testing error is established to verify the sufficiency of testing accuracy within given limited number of tests. The experiments of the cut-in scenario using FST method demonstrate a notable reduction in testing error and variance compared to conventional testing methods, especially for situations with a strict limitation on the number of scenarios.
• Abstract（参考訳）: 大規模展開の前には、自律走行車(AV)の安全性能の試験と評価が不可欠である。 実際、特定のavモデルをテストする許容されるコストは、テストコストや時間のため、非常に小さな制限内で制限できる。 既存のテスト手法では、厳格に制限されたテスト番号によって課される制限は、テスト結果の定量化に重大な不確実性や課題をもたらすことが多い。 本稿では,FST(Few-shot Testing)問題を初めて定式化し,この問題に対処するための体系的なFSTフレームワークを提案する。 小規模なテストシナリオセットに固有のかなりの不確実性を緩和し、シナリオ利用を最適化するために、FST問題を最適化問題とみなし、近隣のカバレッジと類似性に基づく小さなシナリオセットを探索する。 surrogate model(sms)の事前情報を活用することで,avsの一般化能力向上のガイダンスの下で,テストシナリオセットと各シナリオのテスト結果への寄与を動的に調整する。 SMに対する特定の仮説により、限定されたテスト数内でのテスト精度の十分性を検証するために、理論上のテスト誤差の上限が確立される。 FST法によるカットインシナリオの実験は、従来のテスト手法と比較して、特にシナリオ数に厳格な制限がある状況において、テストエラーと分散の顕著な減少を示す。

関連論文リスト

• High-Dimensional Fault Tolerance Testing of Highly Automated Vehicles Based on Low-Rank Models [39.139025989575686]
  HAVの安全性を評価するために, フォールトインジェクション(FI)試験を実施している。 テストケースを完全にカバーするためには、さまざまな駆動シナリオと障害設定を検討する必要がある。 低ランクスムースネス正規化行列因子化フレームワークにおけるFI試験の高速化を提案する。
  論文  参考訳（メタデータ） (2024-07-28T14:27:13Z)
• Automatically Adaptive Conformal Risk Control [49.95190019041905]
  本稿では,テストサンプルの難易度に適応して,統計的リスクの近似的条件制御を実現する手法を提案する。 我々のフレームワークは、ユーザが提供するコンディショニングイベントに基づく従来のコンディショニングリスク制御を超えて、コンディショニングに適した関数クラスのアルゴリズム的、データ駆動決定を行う。
  論文  参考訳（メタデータ） (2024-06-25T08:29:32Z)
• Active Test-Time Adaptation: Theoretical Analyses and An Algorithm [51.84691955495693]
  テスト時間適応(TTA)は、教師なし設定でストリーミングテストデータの分散シフトに対処する。 完全TTA設定内に能動学習を統合する能動テスト時間適応(ATTA)の新たな問題設定を提案する。
  論文  参考訳（メタデータ） (2024-04-07T22:31:34Z)
• Deep anytime-valid hypothesis testing [29.273915933729057]
  非パラメトリックなテスト問題に対する強力なシーケンシャルな仮説テストを構築するための一般的なフレームワークを提案する。 テスト・バイ・ベッティング・フレームワーク内で、機械学習モデルの表現能力を活用するための原則的なアプローチを開発する。 合成および実世界のデータセットに関する実証的な結果は、我々の一般的なフレームワークを用いてインスタンス化されたテストが、特殊なベースラインと競合することを示している。
  論文  参考訳（メタデータ） (2023-10-30T09:46:19Z)
• From Static Benchmarks to Adaptive Testing: Psychometrics in AI Evaluation [60.14902811624433]
  本稿では,静的評価手法から適応テストへのパラダイムシフトについて論じる。 これには、ベンチマークで各テスト項目の特性と価値を推定し、リアルタイムでアイテムを動的に調整することが含まれる。 我々は、AI評価にサイコメトリックを採用する現在のアプローチ、アドバンテージ、そして根底にある理由を分析します。
  論文  参考訳（メタデータ） (2023-06-18T09:54:33Z)
• On Pitfalls of Test-Time Adaptation [82.8392232222119]
  TTA(Test-Time Adaptation)は、分散シフトの下で堅牢性に取り組むための有望なアプローチとして登場した。 TTABは,10の最先端アルゴリズム,多種多様な分散シフト,および2つの評価プロトコルを含むテスト時間適応ベンチマークである。
  論文  参考訳（メタデータ） (2023-06-06T09:35:29Z)
• Uncertainty-Driven Action Quality Assessment [67.20617610820857]
  本稿では,複数の判定スコアの多様性を捉えるために,不確実性駆動型AQA (UD-AQA) という新しい確率モデルを提案する。 我々は,AQA回帰損失の再重み付けに使用される各予測の不確かさを推定する。 提案手法は,オリンピックイベントMTL-AQAとFineDivingの3つのベンチマークと,手術スキルJIGSAWSデータセットの3つのベンチマークで比較結果を得た。
  論文  参考訳（メタデータ） (2022-07-29T07:21:15Z)
• Generalized Coverage Criteria for Combinatorial Sequence Testing [4.807321976136717]
  本稿では,アクションのシーケンスとアサーションをテストベクトルとして使用するテストシステムに対して,新しいモデルベースのアプローチを提案する。 我々のソリューションは、テスト品質の定量化方法、提案するカバレッジ基準に基づいて高品質なテストスイートを生成するツール、リスクを評価するフレームワークを含む。
  論文  参考訳（メタデータ） (2022-01-03T08:35:28Z)
• Pass-Fail Criteria for Scenario-Based Testing of Automated Driving Systems [0.0]
  本稿では,通常運転時の自動走行システムの動作安全性を評価するための枠組みを提案する。 リスクベースのルールは、1つのテストケースからパス/フェイルを決定できない。 これは、多くの個々のテストにおける統計的パフォーマンスを考慮に入れている。
  論文  参考訳（メタデータ） (2020-05-19T13:13:08Z)
• Efficient statistical validation with edge cases to evaluate Highly Automated Vehicles [6.198523595657983]
  自動運転車の大規模展開は、まだ解決されていない多くの安全上の課題にもかかわらず、差し迫っているようだ。 既存の標準は、検証が要求をカバーするテストケースのセットだけを必要とする決定論的プロセスに焦点を当てています。 本稿では, 自動生成テストケースを最悪のシナリオに偏り付け, システムの挙動の統計的特性を計算するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-03-04T04:35:22Z)
• Pitfalls of In-Domain Uncertainty Estimation and Ensembling in Deep Learning [70.72363097550483]
  本研究では,画像分類における領域内不確実性に着目した。 そこで本研究では,ディープアンサンブル等価スコア(DEE)を導入する。
  論文  参考訳（メタデータ） (2020-02-15T23:28:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。