論文の概要: Using Cooperative Co-evolutionary Search to Generate Metamorphic Test Cases for Autonomous Driving Systems

• arxiv url: http://arxiv.org/abs/2412.03843v1
• Date: Thu, 05 Dec 2024 03:17:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-06 14:43:03.415946
• Title: Using Cooperative Co-evolutionary Search to Generate Metamorphic Test Cases for Autonomous Driving Systems
• Title（参考訳）: 協調進化探索を用いた自律走行システムにおける変成テストケースの生成
• Authors: Hossein Yousefizadeh, Shenghui Gu, Lionel C. Briand, Ali Nasr,
• Abstract要約: 本稿では,自律運転システム(ADS)のシステムレベルの安全性評価を進めることを目的とした,新しい自動テストフレームワークCoCoMEGAを紹介する。 CoCoMEGAは、望ましくないシステム動作を示すテストシナリオの識別を強調し、最終的には、メタモルフィックリレーショナル(MR)によって取得される安全違反につながる可能性がある。 将来の研究の方向性には、さらなるシミュレーションプラットフォームへのアプローチの拡張、他の複雑なシステムに適用すること、サロゲートモデリングのようなテスト効率をさらに改善するための方法を模索することが含まれる。
• 参考スコア（独自算出の注目度）: 7.519606883700972
• License:
• Abstract: Autonomous Driving Systems (ADSs) rely on Deep Neural Networks, allowing vehicles to navigate complex, open environments. However, the unpredictability of these scenarios highlights the need for rigorous system-level testing to ensure safety, a task usually performed with a simulator in the loop. Though one important goal of such testing is to detect safety violations, there are many undesirable system behaviors, that may not immediately lead to violations, that testing should also be focusing on, thus detecting more subtle problems and enabling a finer-grained analysis. This paper introduces Cooperative Co-evolutionary MEtamorphic test Generator for Autonomous systems (CoCoMEGA), a novel automated testing framework aimed at advancing system-level safety assessments of ADSs. CoCoMEGA combines Metamorphic Testing (MT) with a search-based approach utilizing Cooperative Co-Evolutionary Algorithms (CCEA) to efficiently generate a diverse set of test cases. CoCoMEGA emphasizes the identification of test scenarios that present undesirable system behavior, that may eventually lead to safety violations, captured by Metamorphic Relations (MRs). When evaluated within the CARLA simulation environment on the Interfuser ADS, CoCoMEGA consistently outperforms baseline methods, demonstrating enhanced effectiveness and efficiency in generating severe, diverse MR violations and achieving broader exploration of the test space. These results underscore CoCoMEGA as a promising, more scalable solution to the inherent challenges in ADS testing with a simulator in the loop. Future research directions may include extending the approach to additional simulation platforms, applying it to other complex systems, and exploring methods for further improving testing efficiency such as surrogate modeling.
• Abstract（参考訳）: 自律運転システム(ADS)はディープニューラルネットワークに依存しており、複雑なオープン環境を走行することができる。 しかし、これらのシナリオの予測不可能さは、安全を確保するために厳密なシステムレベルのテストの必要性を強調している。 このようなテストの1つの重要な目標は、安全違反を検出することであるが、多くの望ましくないシステム動作があり、すぐに違反につながるわけではない。 本稿では,ADSのシステムレベルの安全性評価を促進することを目的とした,新しい自動テストフレームワークであるCoCoMEGAについて紹介する。 CoCoMEGAは、メタモルフィックテスト(MT)と協調共進化アルゴリズム(CCEA)を用いた検索ベースのアプローチを組み合わせて、多様なテストケースを効率的に生成する。 CoCoMEGAは、望ましくないシステム動作を示すテストシナリオの識別を強調し、最終的には、メタモルフィックリレーショナル(MR)によって取得される安全違反につながる可能性がある。 Interfuser ADS上でのCARLAシミュレーション環境での評価では、CoCoMEGAは一貫してベースライン法より優れており、重大かつ多様なMR違反の発生における効果と効率が向上し、より広範な試験空間の探索が達成されている。 これらの結果から、CoCoMEGAは、ループ内のシミュレーターによるADSテストの固有の課題に対する、より有望でスケーラブルなソリューションであると評価されている。 将来の研究の方向性には、さらなるシミュレーションプラットフォームへのアプローチの拡張、他の複雑なシステムに適用すること、サロゲートモデリングのようなテスト効率をさらに改善するための方法を模索することが含まれる。

関連論文リスト

• POGEMA: A Benchmark Platform for Cooperative Multi-Agent Navigation [76.67608003501479]
  主評価指標の基礎に基づいて計算された領域関連メトリクスの範囲を定義する評価プロトコルを導入・指定する。 このような比較の結果は、様々な最先端のMARL、検索ベース、ハイブリッド手法を含むものである。
  論文  参考訳（メタデータ） (2024-07-20T16:37:21Z)
• Automatically Adaptive Conformal Risk Control [49.95190019041905]
  本稿では,テストサンプルの難易度に適応して,統計的リスクの近似的条件制御を実現する手法を提案する。 我々のフレームワークは、ユーザが提供するコンディショニングイベントに基づく従来のコンディショニングリスク制御を超えて、コンディショニングに適した関数クラスのアルゴリズム的、データ駆動決定を行う。
  論文  参考訳（メタデータ） (2024-06-25T08:29:32Z)
• Diversity-guided Search Exploration for Self-driving Cars Test Generation through Frenet Space Encoding [4.135985106933988]
  自動運転車(SDC)の台頭は、動的環境に対処する上で重要な安全上の課題を提示している。 フィールドテストは不可欠であるが、現在の手法では重要なSDCシナリオを評価するための多様性が欠如している。 本研究では, ディープラーニングバニラ変圧器モデルを用いて, アウトオブバウンド状態に導く可能性を示す。
  論文  参考訳（メタデータ） (2024-01-26T06:57:00Z)
• DARTH: Holistic Test-time Adaptation for Multiple Object Tracking [87.72019733473562]
  複数物体追跡(MOT)は、自律運転における知覚システムの基本的構成要素である。 運転システムの安全性の追求にもかかわらず、テスト時間条件における領域シフトに対するMOT適応問題に対する解決策は提案されていない。 我々はMOTの総合的なテスト時間適応フレームワークであるDARTHを紹介する。
  論文  参考訳（メタデータ） (2023-10-03T10:10:42Z)
• Towards a Complete Metamorphic Testing Pipeline [56.75969180129005]
  システムアンダーテスト(SUT)の連続実行における入出力ペア間の関係を調べてテストオラクル問題に対処するメタモルフィックテスト(MT) これらの関係は、メタモルフィック関係 (MRs) と呼ばれ、特定の入力変化に起因する期待される出力変化を規定する。 本研究の目的は,MR の生成,制約の定義,MR 結果の説明可能性の提供を支援する手法とツールの開発である。
  論文  参考訳（メタデータ） (2023-09-30T10:49:22Z)
• Adaptive Failure Search Using Critical States from Domain Experts [9.93890332477992]
  フェールサーチは、シミュレーションまたは実世界のテストにおいて、かなりの走行距離をロギングすることで行うことができる。 ASTはマルコフ決定プロセスとして失敗探索の問題を提起する手法である。 ASTフレームワークにクリティカルステートを組み込むことで,安全性違反の増大を伴う障害シナリオが生成されることを示す。
  論文  参考訳（メタデータ） (2023-04-01T18:14:41Z)
• Machine Learning Testing in an ADAS Case Study Using Simulation-Integrated Bio-Inspired Search-Based Testing [7.5828169434922]
  Deeperは、ディープニューラルネットワークベースの車線保持システムをテストするための障害検出テストシナリオを生成する。 新たに提案されたバージョンでは、新しいバイオインスパイアされた検索アルゴリズム、遺伝的アルゴリズム(GA)、$(mu+lambda)$および$(mu,lambda)$進化戦略(ES)、およびParticle Swarm Optimization(PSO)を利用する。 評価の結果,Deeperで新たに提案したテストジェネレータは,以前のバージョンよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2022-03-22T20:27:40Z)
• A Survey on Scenario-Based Testing for Automated Driving Systems in High-Fidelity Simulation [26.10081199009559]
  道路上でシステムをテストすることは、現実世界と望ましいアプローチに最も近いが、非常にコストがかかる。 一般的な選択肢は、ADSのパフォーマンスを、よく設計されたシナリオ、すなわちシナリオベースのテストで評価することである。 高忠実度シミュレータはこの設定で、何のシナリオかをテストする際の柔軟性と利便性を最大化するために広く使われている。
  論文  参考訳（メタデータ） (2021-12-02T03:41:33Z)
• Efficient and Effective Generation of Test Cases for Pedestrian Detection -- Search-based Software Testing of Baidu Apollo in SVL [14.482670650074885]
  本稿では,SVLシミュレータ内での自律走行プラットフォームであるBaidu Apolloの歩行者検出と緊急制動システムの試験について述べる。 本稿では,SVL環境におけるApolloの障害検出シナリオを生成する進化的自動テスト生成手法を提案する。 また,本手法の有効性と有効性を示すため,ベースラインランダム生成手法の結果も報告する。
  論文  参考訳（メタデータ） (2021-09-16T13:11:53Z)
• Increasing the Confidence of Deep Neural Networks by Coverage Analysis [71.57324258813674]
  本稿では、異なる安全でない入力に対してモデルを強化するために、カバレッジパラダイムに基づく軽量な監視アーキテクチャを提案する。 実験結果から,提案手法は強力な対向例とアウト・オブ・ディストリビューション・インプットの両方を検出するのに有効であることが示唆された。
  論文  参考訳（メタデータ） (2021-01-28T16:38:26Z)
• A Hamiltonian Monte Carlo Method for Probabilistic Adversarial Attack and Learning [122.49765136434353]
  本稿では,HMCAM (Acumulated Momentum) を用いたハミルトニアンモンテカルロ法を提案する。 また, 対数的対数的対数的学習(Contrastive Adversarial Training, CAT)と呼ばれる新たな生成法を提案し, 対数的例の平衡分布にアプローチする。 いくつかの自然画像データセットと実用システムに関する定量的および定性的な解析により、提案アルゴリズムの優位性が確認された。
  論文  参考訳（メタデータ） (2020-10-15T16:07:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。