論文の概要: Test Against High-Dimensional Uncertainties: Accelerated Evaluation of
Autonomous Vehicles with Deep Importance Sampling
- arxiv url: http://arxiv.org/abs/2204.02351v2
- Date: Wed, 6 Apr 2022 02:38:37 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-07 10:56:57.437262
- Title: Test Against High-Dimensional Uncertainties: Accelerated Evaluation of
Autonomous Vehicles with Deep Importance Sampling
- Title(参考訳): 高次元不確かさに対するテスト:深度重要度サンプリングによる自動運転車の高速化評価
- Authors: Mansur Arief, Zhepeng Cen, Zhenyuan Liu, Zhiyuang Huang, Henry Lam, Bo
Li, Ding Zhao
- Abstract要約: 本稿では、ディープニューラルネットワークを用いて効率的なISを得るディープ・コンパタンス・サンプリング(Deep Importance Smpling, ディープIS)フレームワークを提案する。
ディープISは、必要なサンプルサイズをナイーブサンプリング法よりも43倍小さくし、10%の相対誤差を達成できる。
我々の高次元実験は、最先端の交通標識分類器の1つの誤分類率を推定し、ターゲットが非常に小さい場合でも、この効率が真であることを明らかにする。
- 参考スコア(独自算出の注目度): 19.368482165961314
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Evaluating the performance of autonomous vehicles (AV) and their complex
subsystems to high precision under naturalistic circumstances remains a
challenge, especially when failure or dangerous cases are rare. Rarity does not
only require an enormous sample size for a naive method to achieve high
confidence estimation, but it also causes dangerous underestimation of the true
failure rate and it is extremely hard to detect. Meanwhile, the
state-of-the-art approach that comes with a correctness guarantee can only
compute an upper bound for the failure rate under certain conditions, which
could limit its practical uses. In this work, we present Deep Importance
Sampling (Deep IS) framework that utilizes a deep neural network to obtain an
efficient IS that is on par with the state-of-the-art, capable of reducing the
required sample size 43 times smaller than the naive sampling method to achieve
10% relative error and while producing an estimate that is much less
conservative. Our high-dimensional experiment estimating the misclassification
rate of one of the state-of-the-art traffic sign classifiers further reveals
that this efficiency still holds true even when the target is very small,
achieving over 600 times efficiency boost. This highlights the potential of
Deep IS in providing a precise estimate even against high-dimensional
uncertainties.
- Abstract(参考訳): 自律走行車(av)とその複雑なサブシステムの性能を自然環境下で高精度に評価することは、特に障害や危険な場合において、課題である。
rarityは,信頼性の高い推定を実現するために,膨大なサンプルサイズを必要とするだけでなく,真の障害率の危険な過小評価を引き起こし,検出が極めて困難である。
一方、正確性保証を備えた最先端のアプローチでは、特定の条件下での障害率の上限を計算するだけで、実用性を制限することができる。
本研究では,深層ニューラルネットワークを用いた深層重み付きサンプリング(deep is)フレームワークを提案する。これは最先端のisと同等の効率で,必要なサンプルサイズを平均サンプリング法より43倍小さくし,10%の相対誤差を達成し,より保守性の低い推定値を生成することができる。
我々は,最先端の交通標識分類器の誤分類率を推定する高次元実験により,目標が極めて小さい場合でもその効率は依然として持続し,600倍以上の効率向上を達成していることを明らかにした。
これはディープISが高次元の不確実性に対してさえ正確な見積もりを提供する可能性を強調している。
関連論文リスト
- Adversarial Robustness Overestimation and Instability in TRADES [4.063518154926961]
TRADES は多クラス分類タスクにおける AutoAttack テストの精度と比較して,PGD の検証精度が極めて高い場合が多い。
この矛盾は、勾配マスキングに結びつく可能性のある、これらのインスタンスに対するロバストネスのかなりの過大評価を浮き彫りにする。
論文 参考訳(メタデータ) (2024-10-10T07:32:40Z) - STBA: Towards Evaluating the Robustness of DNNs for Query-Limited Black-box Scenario [50.37501379058119]
本研究では,クエリ制限シナリオにおいて,悪意のある逆の例を作成するために,空間変換ブラックボックス攻撃(STBA)を提案する。
そこで本研究では,STBAが対向例の認識不能性を効果的に改善し,クエリ制限条件下での攻撃成功率を大幅に向上できることを示す。
論文 参考訳(メタデータ) (2024-03-30T13:28:53Z) - Revisiting Confidence Estimation: Towards Reliable Failure Prediction [53.79160907725975]
多くの信頼度推定法は誤分類誤りを検出するのに有害である。
本稿では, 最先端の故障予測性能を示す平坦な最小値を求めることにより, 信頼性ギャップを拡大することを提案する。
論文 参考訳(メタデータ) (2024-03-05T11:44:14Z) - Adaptive Uncertainty Estimation via High-Dimensional Testing on Latent
Representations [28.875819909902244]
不確実性推定は、訓練されたディープニューラルネットワークの信頼性を評価することを目的としている。
既存の不確実性推定アプローチは、低次元分布仮定に依存している。
本研究では,不確実性推定のためのデータ適応型高次元仮説テストを用いた新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2023-10-25T12:22:18Z) - On the Minimal Adversarial Perturbation for Deep Neural Networks with
Provable Estimation Error [65.51757376525798]
敵の摂動の存在は、証明可能な堅牢性に関する興味深い研究ラインを開いた。
検証可能な結果は、コミットしたエラーを見積り、バウンドするものではない。
本稿では,最小対向摂動を求めるための2つの軽量戦略を提案する。
その結果, 提案手法は, 分類に近い試料の理論的距離とロバスト性を近似し, 敵攻撃に対する確実な保証が得られた。
論文 参考訳(メタデータ) (2022-01-04T16:40:03Z) - Certifiable Deep Importance Sampling for Rare-Event Simulation of
Black-Box Systems [21.08822478107839]
ブラックボックス問題は効率の保証を損なう可能性があり、危険な過小評価につながる。
統計的に保証されたISを設計するためのDeep Probabilistic Accelerated Evaluation (Deep-PrAE) というフレームワークを提案する。
本稿では、支配点の概念と深層ニューラルネットワーク分類器による希少集合学習を組み合わせたDeep-PrAEの理論を提案する。
論文 参考訳(メタデータ) (2021-11-03T13:19:05Z) - Residual Error: a New Performance Measure for Adversarial Robustness [85.0371352689919]
ディープラーニングの広く普及を制限する大きな課題は、敵の攻撃に対する脆弱さである。
本研究は,ディープニューラルネットワークの対角強靭性を評価するための新しい性能尺度である残留誤差の概念を提示する。
画像分類を用いた実験結果から,提案手法の有効性と有効性を示した。
論文 参考訳(メタデータ) (2021-06-18T16:34:23Z) - Learning Uncertainty For Safety-Oriented Semantic Segmentation In
Autonomous Driving [77.39239190539871]
自律運転における安全クリティカル画像セグメンテーションを実現するために、不確実性推定をどのように活用できるかを示す。
相似性関数によって測定された不一致予測に基づく新しい不確実性尺度を導入する。
本研究では,提案手法が競合手法よりも推論時間において計算集約性が低いことを示す。
論文 参考訳(メタデータ) (2021-05-28T09:23:05Z) - Probabilistic Neighbourhood Component Analysis: Sample Efficient
Uncertainty Estimation in Deep Learning [25.8227937350516]
トレーニングデータの量が少ない場合,最先端のBNNとDeep Ensembleモデルの不確実性推定能力は著しく低下することを示す。
サンプル効率の高い非パラメトリックkNN手法の確率的一般化を提案する。
我々のアプローチは、深いkNNがその予測において根底にある不確かさを正確に定量化することを可能にする。
論文 参考訳(メタデータ) (2020-07-18T21:36:31Z) - Discriminative Jackknife: Quantifying Uncertainty in Deep Learning via
Higher-Order Influence Functions [121.10450359856242]
我々は、モデル損失関数の影響関数を利用して、予測信頼区間のジャックニフェ(または、アウト・ワン・アウト)推定器を構築する頻繁な手順を開発する。
1)および(2)を満たすDJは、幅広いディープラーニングモデルに適用可能であり、実装が容易であり、モデルトレーニングに干渉したり、精度を妥協したりすることなく、ポストホックな方法で適用することができる。
論文 参考訳(メタデータ) (2020-06-29T13:36:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。