論文の概要: Make Full Use of Testing Information: An Integrated Accelerated Testing and Evaluation Method for Autonomous Driving Systems

• arxiv url: http://arxiv.org/abs/2501.11924v1
• Date: Tue, 21 Jan 2025 06:59:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:22:56.243407
• Title: Make Full Use of Testing Information: An Integrated Accelerated Testing and Evaluation Method for Autonomous Driving Systems
• Title（参考訳）: テスト情報の完全活用:自律運転システムのための統合的加速テストと評価方法
• Authors: Xinzheng Wu, Junyi Chen, Jianfeng Wu, Longgao Zhang, Tian Xia, Yong Shen,
• Abstract要約: 本稿では、自律運転システム(ADS)の試験・評価のための統合的加速テスト・評価手法(ITEM)を提案する。 本稿では,テスト情報を完全に活用するために,統合的高速化テスト・評価手法(ITEM)を提案する。 実験結果から,ITEMは危険領域の形状に関わらず,低次元,高次元ともに危険領域を同定できることがわかった。
• 参考スコア（独自算出の注目度）: 6.065650382599096
• License:
• Abstract: Testing and evaluation is an important step before the large-scale application of the autonomous driving systems (ADSs). Based on the three level of scenario abstraction theory, a testing can be performed within a logical scenario, followed by an evaluation stage which is inputted with the testing results of each concrete scenario generated from the logical parameter space. During the above process, abundant testing information is produced which is beneficial for comprehensive and accurate evaluations. To make full use of testing information, this paper proposes an Integrated accelerated Testing and Evaluation Method (ITEM). Based on a Monte Carlo Tree Search (MCTS) paradigm and a dual surrogates testing framework proposed in our previous work, this paper applies the intermediate information (i.e., the tree structure, including the affiliation of each historical sampled point with the subspaces and the parent-child relationship between subspaces) generated during the testing stage into the evaluation stage to achieve accurate hazardous domain identification. Moreover, to better serve this purpose, the UCB calculation method is improved to allow the search algorithm to focus more on the hazardous domain boundaries. Further, a stopping condition is constructed based on the convergence of the search algorithm. Ablation and comparative experiments are then conducted to verify the effectiveness of the improvements and the superiority of the proposed method. The experimental results show that ITEM could well identify the hazardous domains in both low- and high-dimensional cases, regardless of the shape of the hazardous domains, indicating its generality and potential for the safety evaluation of ADSs.
• Abstract（参考訳）: テストと評価は、自律運転システム(ADS)の大規模適用に先立つ重要なステップである。 3段階のシナリオ抽象化理論に基づいて、論理的シナリオ内でテストを行うことができ、その後、論理的パラメータ空間から生成された各具体的なシナリオのテスト結果に入力される評価段階が続く。 この過程では、総合的かつ正確な評価に有益である豊富なテスト情報が生成される。 本稿では,テスト情報を完全に活用するために,統合的高速化テスト・評価手法(ITEM)を提案する。 本論文は,モンテカルロ木探索(MCTS)のパラダイムと,本研究で提案した2つのサロゲートテストフレームワークに基づいて,テスト段階で発生した各歴史的サンプル点とサブスペース間の親子関係を含む中間情報(木構造)を評価段階に適用し,正確な危険ドメイン識別を実現する。 さらに, この目的を達成するために, UCB計算法を改良し, 探索アルゴリズムが危険領域境界にもっと集中できるようにした。 さらに、探索アルゴリズムの収束に基づいて停止条件を構築する。 次に, アブレーションおよび比較実験を行い, 提案手法の有効性と優越性を検証した。 実験結果から, 危険領域の形状に関わらず, 低次元・高次元の両領域において, ITEMは危険領域を同定し, ADSの安全性評価の汎用性と可能性を示した。

関連論文リスト

• Dissecting Out-of-Distribution Detection and Open-Set Recognition: A Critical Analysis of Methods and Benchmarks [17.520137576423593]
  我々は,コミュニティ内の2つの大きなサブフィールドの総合的なビュー – アウト・オブ・ディストリビューション(OOD)検出とオープンセット認識(OSR) – を提供することを目指している。 我々は,OOD検出における最先端手法とOSR設定との厳密な相互評価を行い,それらの手法の性能の強い相関関係を同定する。 我々は,OOD検出とOSRによって取り組まれている問題を解消する,より大規模なベンチマーク設定を提案する。
  論文  参考訳（メタデータ） (2024-08-29T17:55:07Z)
• Unifying Unsupervised Graph-Level Anomaly Detection and Out-of-Distribution Detection: A Benchmark [73.58840254552656]
  近年,非教師付きグラフレベルの異常検出(GLAD)と教師なしグラフレベルのアウト・オブ・ディストリビューション(OOD)検出が注目されている。 教師なしグラフレベルのOODと異常検出のための統一ベンチマーク(我々の方法)を提案する。 我々のベンチマークでは、4つの実用的な異常とOOD検出シナリオにまたがる35のデータセットを網羅している。 我々は,既存手法の有効性,一般化性,堅牢性,効率性について多次元解析を行った。
  論文  参考訳（メタデータ） (2024-06-21T04:07:43Z)
• Few-Shot Scenario Testing for Autonomous Vehicles Based on Neighborhood Coverage and Similarity [8.97909097472183]
  大規模展開の前には、自律走行車(AV)の安全性能の試験と評価が不可欠である。 特定のAVに対して許容されるテストシナリオの数は、テスト予算と時間に対する厳格な制約によって著しく制限されています。 フェーショットテスト(FST)問題が初めてこの問題を定式化し、この問題に対処するための体系的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-02T04:47:14Z)
• Diversity-guided Search Exploration for Self-driving Cars Test Generation through Frenet Space Encoding [4.135985106933988]
  自動運転車(SDC)の台頭は、動的環境に対処する上で重要な安全上の課題を提示している。 フィールドテストは不可欠であるが、現在の手法では重要なSDCシナリオを評価するための多様性が欠如している。 本研究では, ディープラーニングバニラ変圧器モデルを用いて, アウトオブバウンド状態に導く可能性を示す。
  論文  参考訳（メタデータ） (2024-01-26T06:57:00Z)
• Beyond AUROC & co. for evaluating out-of-distribution detection performance [50.88341818412508]
  安全(r)AIとの関連性を考えると,OOD検出法の比較の基礎が実用的ニーズと整合しているかどうかを検討することが重要である。 我々は,IDとOODの分離が不十分なことを明示する新しい指標であるAUTC(Area Under the Threshold Curve)を提案する。
  論文  参考訳（メタデータ） (2023-06-26T12:51:32Z)
• From Static Benchmarks to Adaptive Testing: Psychometrics in AI Evaluation [60.14902811624433]
  本稿では,静的評価手法から適応テストへのパラダイムシフトについて論じる。 これには、ベンチマークで各テスト項目の特性と価値を推定し、リアルタイムでアイテムを動的に調整することが含まれる。 我々は、AI評価にサイコメトリックを採用する現在のアプローチ、アドバンテージ、そして根底にある理由を分析します。
  論文  参考訳（メタデータ） (2023-06-18T09:54:33Z)
• Plugin estimators for selective classification with out-of-distribution detection [67.28226919253214]
  現実世界の分類器は、信頼性の低いサンプルの予測を控えることの恩恵を受けることができる。 これらの設定は、選択分類(SC)とアウト・オブ・ディストリビューション(OOD)の検出文献において広範囲に研究されている。 OOD検出による選択分類に関する最近の研究は、これらの問題の統一的な研究を議論している。 本稿では,既存の手法を理論的に基礎づけ,有効かつ一般化したSCOD用プラグイン推定器を提案する。
  論文  参考訳（メタデータ） (2023-01-29T07:45:17Z)
• OpenOOD: Benchmarking Generalized Out-of-Distribution Detection [60.13300701826931]
  アウト・オブ・ディストリビューション(OOD)検出は、安全クリティカルな機械学習アプリケーションにとって不可欠である。 この分野では現在、統一的で厳格に定式化され、包括的なベンチマークが欠けている。 関連フィールドで開発された30以上のメソッドを実装したOpenOODという,統一的で構造化されたシステムを構築します。
  論文  参考訳（メタデータ） (2022-10-13T17:59:57Z)
• Efficient and Effective Generation of Test Cases for Pedestrian Detection -- Search-based Software Testing of Baidu Apollo in SVL [14.482670650074885]
  本稿では,SVLシミュレータ内での自律走行プラットフォームであるBaidu Apolloの歩行者検出と緊急制動システムの試験について述べる。 本稿では,SVL環境におけるApolloの障害検出シナリオを生成する進化的自動テスト生成手法を提案する。 また,本手法の有効性と有効性を示すため,ベースラインランダム生成手法の結果も報告する。
  論文  参考訳（メタデータ） (2021-09-16T13:11:53Z)
• SAMBA: Safe Model-Based & Active Reinforcement Learning [59.01424351231993]
  SAMBAは、確率論的モデリング、情報理論、統計学といった側面を組み合わせた安全な強化学習のためのフレームワークである。 我々は,低次元および高次元の状態表現を含む安全な力学系ベンチマークを用いて,アルゴリズムの評価を行った。 アクティブなメトリクスと安全性の制約を詳細に分析することで,フレームワークの有効性を直感的に評価する。
  論文  参考訳（メタデータ） (2020-06-12T10:40:46Z)
• Efficient statistical validation with edge cases to evaluate Highly Automated Vehicles [6.198523595657983]
  自動運転車の大規模展開は、まだ解決されていない多くの安全上の課題にもかかわらず、差し迫っているようだ。 既存の標準は、検証が要求をカバーするテストケースのセットだけを必要とする決定論的プロセスに焦点を当てています。 本稿では, 自動生成テストケースを最悪のシナリオに偏り付け, システムの挙動の統計的特性を計算するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-03-04T04:35:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。