論文の概要: Testing Autonomous Driving Systems -- What Really Matters and What Doesn't
- arxiv url: http://arxiv.org/abs/2507.13661v1
- Date: Fri, 18 Jul 2025 05:09:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-21 20:43:26.191865
- Title: Testing Autonomous Driving Systems -- What Really Matters and What Doesn't
- Title（参考訳）: 自律運転システムをテストする - 何が本当に重要で、何がそうでないか
- Authors: Changwen Li, Joseph Sifakis, Rongjie Yan, Jian Zhang,
- Abstract要約: 本稿では,既存のテスト手法を本質的な妥当性と妥当性の観点から比較する枠組みを提案する。
多くの手法がこれらの要件を満たさないことを示している。
ほとんどの重要なテスト手法は、オートパイロットの専門的な運用能力を考慮していないことが示されている。
- 参考スコア（独自算出の注目度）: 6.229766691427486
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite extensive research, the testing of autonomous driving systems (ADS) landscape remains fragmented, and there is currently no basis for an informed technical assessment of the importance and contribution of the current state of the art. This paper attempts to address this problem by exploring two complementary aspects. First, it proposes a framework for comparing existing test methods in terms of their intrinsic effectiveness and validity. It shows that many methods do not meet both of these requirements. Either because they are based on criteria that do not allow for rapid, inexpensive, and comprehensive detection of failures, or because the degree of validity of the properties tested cannot be accurately estimated. In particular, it is shown that most critical test methods do not take into account the nominal operational capabilities of autopilots and generate scenarios that are impossible for the tested vehicles to handle, resulting in unjustified rejections. Secondly, the paper shows that test effectiveness and validity are highly dependent on how autopilots are designed: how they choose between different control policies to perform maneuvers, as well as on the reproducibility of the results. In fact, most test methods take for granted two principles underlying traditional methods, but do not generally apply to ADS. We maintain that the absence of rationality and determinacy significantly impairs the effectiveness and validity of test methods, and provide test results on eight open autopilots, in which most do not satisfy these properties, thereby illustrating this fact. We conclude that under the current state of the art, it is impossible to obtain strong enough guarantees for essential autopilot properties and recommend that autopilots be developed with a view to both rationality and determinacy.
- Abstract（参考訳）: 大規模な研究にもかかわらず、自律走行システム(ADS)の展望のテストは断片的であり、現在、最先端技術の重要性と貢献に関する技術評価の根拠は存在しない。
本稿では,2つの相補的な側面を探求することによってこの問題に対処する。
まず,本質的な妥当性と妥当性の観点から,既存のテスト手法を比較する枠組みを提案する。
多くの手法がこれらの要件を満たさないことを示している。
失敗の迅速かつ安価で包括的検出を許さない基準に基づくか、検査された特性の妥当性の程度を正確に推定できないためである。
特に、最も重要なテスト手法は、自動操縦の特異な運用能力を考慮しておらず、テスト車両が対処できないシナリオを生成し、不当な拒絶をもたらすことが示されている。
第2に、テストの有効性と妥当性は、自動操縦の設計方法に大きく依存していることを示し、操作を行うための異なる制御ポリシーをどのように選択するか、結果の再現性に大きく依存している。
実際、ほとんどのテストメソッドは、2つの原則を基本としていますが、一般的にはADSには当てはまりません。
我々は,合理性と決定性の欠如が試験方法の有効性と妥当性を著しく損なうこと,また,これらの特性を満たさない8つのオープンオートパイロットの試験結果を提供し,その事実を実証する。
我々は,現在最先端の状況下では,本質的なオートパイロット特性の十分な保証を得ることは不可能であり,合理性と決定性の両方の観点からオートパイロットを開発することを推奨する。
関連論文リスト
- AI-Augmented Metamorphic Testing for Comprehensive Validation of Autonomous Vehicles [7.237068561453082]
自動運転車は交通機関に革命をもたらす可能性があるが、安全を確保することは大きな課題だ。
従来のテスト手法では、システムの振る舞いが正しいかどうかを判断するオラクルの問題を含む、重要な制限に直面している。
我々は、安定拡散のようなAI駆動画像生成ツールを統合することで、メタモルフィックテスト(MT)を強化することを提案する。
論文 参考訳（メタデータ） (2025-02-16T23:31:59Z) - A Comprehensive Evaluation of Four End-to-End AI Autopilots Using CCTest and the Carla Leaderboard [6.229766691427486]
自動運転システムのためのエンドツーエンドのAIオートパイロットは、従来のモジュラーオートパイロットに代わる有望な選択肢として登場した。
彼らは、非決定性、非説明可能性、異常など、AIシステムのよく知られた問題に悩まされている。
本稿では,4つのオープンなモジュールオートパイロットに適用されたクリティカルな構成テスト手法について検討する。
論文 参考訳（メタデータ） (2025-01-21T12:33:32Z) - Towards Effective Evaluations and Comparisons for LLM Unlearning Methods [97.2995389188179]
本稿では,大規模言語モデルにおける機械学習評価の精度向上を図る。
評価指標の堅牢性と、競合する目標間のトレードオフという、2つの重要な課題に対処します。
論文 参考訳（メタデータ） (2024-06-13T14:41:00Z) - Rigorous Simulation-based Testing for Autonomous Driving Systems -- Targeting the Achilles' Heel of Four Open Autopilots [6.229766691427486]
本稿では,シナリオを単純なものに分割した厳密なテスト手法を提案する。
クリティカルな状況において、車両をテスト対象とするクリティカルな構成のテストケースを生成します。
テストケースでは、Apollo、Autoware、CarlaとLGSVLのオートパイロットに重大な欠陥が見られる。
論文 参考訳（メタデータ） (2024-05-27T08:06:21Z) - Predicting Safety Misbehaviours in Autonomous Driving Systems using Uncertainty Quantification [8.213390074932132]
本稿では, 深層学習領域と異なる不確実性定量化手法を, 安全クリティカルな誤動作の予測試験のために評価する。
車両が実施する不確実性スコアは、高い不確実性スコアがサポートされていない実行条件を示すという直感に従って計算する。
本研究では,MC-DropoutとDeep Ensemblesの2つの不確実な定量化手法,すなわち,誤動作回避のための有効性と計算オーバーヘッドの評価を行った。
論文 参考訳（メタデータ） (2024-04-29T10:28:28Z) - An Empirical Study of Uncertainty Estimation Techniques for Detecting
Drift in Data Streams [4.818865062632567]
本研究では,ドリフト検出における誤差率の代用として不確実性値を用いた総合的な実験的検討を行った。
実世界の7つのデータセットにまたがるADWIN検出器を用いた5つの不確実性推定手法について検討した。
その結果、SWAG法はキャリブレーションが優れているが、ドリフト検出の全体的な精度は不確実性推定法の選択によって顕著に影響しないことが明らかとなった。
論文 参考訳（メタデータ） (2023-11-22T13:17:55Z) - Position: AI Evaluation Should Learn from How We Test Humans [65.36614996495983]
人間の評価のための20世紀起源の理論である心理測定は、今日のAI評価における課題に対する強力な解決策になり得る、と我々は主張する。
論文 参考訳（メタデータ） (2023-06-18T09:54:33Z) - Conservative Prediction via Data-Driven Confidence Minimization [70.93946578046003]
機械学習の安全性クリティカルな応用においては、モデルが保守的であることが望ましいことが多い。
本研究では,不確実性データセットに対する信頼性を最小化するデータ駆動信頼性最小化フレームワークを提案する。
論文 参考訳（メタデータ） (2023-06-08T07:05:36Z) - On Pitfalls of Test-Time Adaptation [82.8392232222119]
TTA(Test-Time Adaptation)は、分散シフトの下で堅牢性に取り組むための有望なアプローチとして登場した。
TTABは,10の最先端アルゴリズム,多種多様な分散シフト,および2つの評価プロトコルを含むテスト時間適応ベンチマークである。
論文 参考訳（メタデータ） (2023-06-06T09:35:29Z) - Unsupervised Domain Adaptation for Speech Recognition via Uncertainty
Driven Self-Training [55.824641135682725]
WSJ をソースドメインとし,TED-Lium 3 とSWITCHBOARD を併用したドメイン適応実験を行った。
論文 参考訳（メタデータ） (2020-11-26T18:51:26Z) - Out-of-Distribution Detection for Automotive Perception [58.34808836642603]
ニューラルネットワーク(NN)は、自律運転におけるオブジェクト分類に広く使われている。
NNは、アウト・オブ・ディストリビューション(OOD)データとして知られるトレーニングデータセットで適切に表現されていない入力データでフェールすることができる。
本稿では,OODデータを必要としない入力がOODであるか否かを判定し,推論の計算コストを増大させる方法を提案する。
論文 参考訳（メタデータ） (2020-11-03T01:46:35Z) - Can Autonomous Vehicles Identify, Recover From, and Adapt to
Distribution Shifts? [104.04999499189402]
トレーニング外の配布(OOD)シナリオは、デプロイ時にエージェントを学ぶ上で一般的な課題である。
インプロバスト模倣計画(RIP)と呼ばれる不確実性を考慮した計画手法を提案する。
提案手法は,OODシーンにおける過信および破滅的な外挿を低減し,分布変化を検知し,回復することができる。
分散シフトを伴うタスク群に対する駆動エージェントのロバスト性を評価するために,自動走行車ノベルシーンベンチマークであるtexttCARNOVEL を導入する。
論文 参考訳（メタデータ） (2020-06-26T11:07:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。