論文の概要: Exploring Credibility Scoring Metrics of Perception Systems for
Autonomous Driving
- arxiv url: http://arxiv.org/abs/2112.11643v1
- Date: Wed, 22 Dec 2021 03:17:14 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-23 20:37:42.113329
- Title: Exploring Credibility Scoring Metrics of Perception Systems for
Autonomous Driving
- Title(参考訳): 自律運転における知覚システムの可視性評価指標の探索
- Authors: Viren Khandal, Arth Vidyarthi
- Abstract要約: オフラインメトリクスは、悪天候などの現実世界の汚職を考慮に入れるのに有効であることを示す。
これは、エラーのない自動運転車の認識と、より安全な時間クリティカルかつ安全クリティカルな意思決定を可能にするため、明らかな次のステップである。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Autonomous and semi-autonomous vehicles' perception algorithms can encounter
situations with erroneous object detection, such as misclassification of
objects on the road, which can lead to safety violations and potentially fatal
consequences. While there has been substantial work in the robustness of object
detection algorithms and online metric learning, there is little research on
benchmarking scoring metrics to determine any possible indicators of potential
misclassification. An emphasis is put on exploring the potential of taking
these scoring metrics online in order to allow the AV to make perception-based
decisions given real-time constraints. In this work, we explore which, if any,
metrics act as online indicators of when perception algorithms and object
detectors are failing. Our work provides insight on better design principles
and characteristics of online metrics to accurately evaluate the credibility of
object detectors. Our approach employs non-adversarial and realistic
perturbations to images, on which we evaluate various quantitative metrics. We
found that offline metrics can be designed to account for real-world
corruptions such as poor weather conditions and that the analysis of such
metrics can provide a segue into designing online metrics. This is a clear next
step as it can allow for error-free autonomous vehicle perception and safer
time-critical and safety-critical decision-making.
- Abstract(参考訳): 自動運転車と半自律車両の認識アルゴリズムは、道路上の物体の誤分類などの誤った物体検出の状況に遭遇し、安全違反や致命的な結果につながる可能性がある。
オブジェクト検出アルゴリズムとオンラインメトリック学習の堅牢性には大きな成果があるが、潜在的な誤分類の指標を決定するためにメトリクスをスコア付けする研究は少ない。
AVがリアルタイムの制約に応じて知覚に基づく意思決定を可能にするために、これらの評価指標をオンラインで取得する可能性を探ることに重点を置いている。
本研究では,知覚アルゴリズムと物体検出装置が故障した際のオンライン指標として機能する指標を探索する。
我々の研究は、オブジェクト検出器の信頼性を正確に評価するために、オンラインメトリクスの設計原則と特性に関する洞察を提供する。
提案手法では,画像に対する非敵対的かつ現実的な摂動を用いて,様々な定量的指標を評価する。
オフラインのメトリクスは、悪天候などの現実世界の腐敗を考慮し、そのようなメトリクスの分析がオンラインのメトリクスの設計に一役買うことができることが分かりました。
これは、エラーのない自動運転車の認識と、より安全な時間クリティカルかつ安全クリティカルな意思決定を可能にするため、明らかな次のステップである。
関連論文リスト
- Open-set object detection: towards unified problem formulation and benchmarking [2.4374097382908477]
統合VOC-COCO評価と,新しい評価指標の他に,明確な階層的オブジェクト定義を提供するOpenImagesRoadベンチマークの2つのベンチマークを紹介する。
提案したベンチマークで最先端の手法を広範囲に評価する。
この研究は、明確な問題定義を提供し、一貫した評価を保証し、OSOD戦略の有効性に関する新たな結論を導き出す。
論文 参考訳(メタデータ) (2024-11-08T13:40:01Z) - Uncertainty Estimation for 3D Object Detection via Evidential Learning [63.61283174146648]
本稿では,3次元検出器における鳥の視線表示における明らかな学習損失を利用して,3次元物体検出の不確かさを定量化するためのフレームワークを提案する。
本研究では,これらの不確実性評価の有効性と重要性を,分布外シーンの特定,局所化の不十分な物体の発見,および(偽陰性)検出の欠如について示す。
論文 参考訳(メタデータ) (2024-10-31T13:13:32Z) - Towards Building Self-Aware Object Detectors via Reliable Uncertainty
Quantification and Calibration [17.461451218469062]
本稿では,自己認識オブジェクト検出(SAOD)タスクを紹介する。
SAODタスクは、自律運転のような安全クリティカルな環境でオブジェクト検出器が直面する課題を尊重し、遵守する。
我々は、多数のオブジェクト検出器をテストするために、新しいメトリクスと大規模なテストデータセットを導入したフレームワークを広範囲に使用しています。
論文 参考訳(メタデータ) (2023-07-03T11:16:39Z) - Sensor Visibility Estimation: Metrics and Methods for Systematic
Performance Evaluation and Improvement [0.0]
可視性推定器の性能を評価するためのメトリクスとフレームワークを紹介する。
我々のメトリクスは、インフラレーダーやカメラからの実世界のラベルとシミュレーションデータで検証されます。
計測値を適用し,センサとオブジェクトの3次元標高をモデル化することにより,レーダとカメラの可視性の推定値を強化する。
論文 参考訳(メタデータ) (2022-11-11T16:17:43Z) - Perspective Aware Road Obstacle Detection [104.57322421897769]
道路障害物検出技術は,車間距離が大きくなるにつれて障害物の見かけの規模が減少するという事実を無視することを示す。
画像位置毎に仮想物体の見かけの大きさを符号化したスケールマップを演算することでこれを活用できる。
次に、この視点マップを利用して、遠近法に対応する大きさの道路合成物体に注入することで、トレーニングデータを生成する。
論文 参考訳(メタデータ) (2022-10-04T17:48:42Z) - A Quality Index Metric and Method for Online Self-Assessment of
Autonomous Vehicles Sensory Perception [164.93739293097605]
本稿では,検出品質指標(DQI)と呼ばれる新しい評価指標を提案し,カメラを用いた物体検出アルゴリズムの性能を評価する。
我々は,提案したDQI評価指標を予測するために,原画像画素とスーパーピクセルを入力として利用するスーパーピクセルベースのアテンションネットワーク(SPA-NET)を開発した。
論文 参考訳(メタデータ) (2022-03-04T22:16:50Z) - Injecting Planning-Awareness into Prediction and Detection Evaluation [42.228191984697006]
私たちは一歩後退して、現在の評価指標を批判的に評価し、タスク対応メトリクスを、デプロイされるシステムのパフォーマンスのより良い測定基準として提案します。
実世界の自律運転データとともに、実世界のシミュレーション実験により、提案したタスク認識メトリクスが結果非対称性を考慮でき、モデルのクローズドループ性能をよりよく推定できることを確認した。
論文 参考訳(メタデータ) (2021-10-07T08:52:48Z) - CertainNet: Sampling-free Uncertainty Estimation for Object Detection [65.28989536741658]
ニューラルネットワークの不確実性を推定することは、安全クリティカルな設定において基本的な役割を果たす。
本研究では,オブジェクト検出のための新しいサンプリング不要不確実性推定法を提案する。
私たちはそれをCertainNetと呼び、各出力信号に対して、オブジェクト性、クラス、位置、サイズという、別の不確実性を提供するのは、これが初めてです。
論文 参考訳(メタデータ) (2021-10-04T17:59:31Z) - Towards robust sensing for Autonomous Vehicles: An adversarial
perspective [82.83630604517249]
結果として得られる決定が摂動に対して堅牢であることは、最も重要なことです。
敵対的摂動は、意図的に環境や感覚測定の修正を施したものである。
より安全なシステムの構築とデプロイには,センサーシステムの脆弱性を慎重に評価する必要がある。
論文 参考訳(メタデータ) (2020-07-14T05:25:15Z) - Learning to Evaluate Perception Models Using Planner-Centric Metrics [104.33349410009161]
本稿では,自動運転のタスクに特化して,3次元物体検出の原理的基準を提案する。
私たちのメトリクスは、他のメトリクスが設計によって課す多くの間違いを罰します。
人間の評価では,基準基準値と基準値が一致しないシーンを生成し,基準値の79%が人間の側にあることがわかった。
論文 参考訳(メタデータ) (2020-04-19T02:14:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。