論文の概要: Learning to Evaluate Perception Models Using Planner-Centric Metrics

• arxiv url: http://arxiv.org/abs/2004.08745v1
• Date: Sun, 19 Apr 2020 02:14:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-12 00:24:39.616698
• Title: Learning to Evaluate Perception Models Using Planner-Centric Metrics
• Title（参考訳）: プランナー中心メトリクスを用いた知覚モデル評価の学習
• Authors: Jonah Philion, Amlan Kar, Sanja Fidler
• Abstract要約: 本稿では,自動運転のタスクに特化して,3次元物体検出の原理的基準を提案する。 私たちのメトリクスは、他のメトリクスが設計によって課す多くの間違いを罰します。 人間の評価では,基準基準値と基準値が一致しないシーンを生成し,基準値の79%が人間の側にあることがわかった。
• 参考スコア（独自算出の注目度）: 104.33349410009161
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Variants of accuracy and precision are the gold-standard by which the computer vision community measures progress of perception algorithms. One reason for the ubiquity of these metrics is that they are largely task-agnostic; we in general seek to detect zero false negatives or positives. The downside of these metrics is that, at worst, they penalize all incorrect detections equally without conditioning on the task or scene, and at best, heuristics need to be chosen to ensure that different mistakes count differently. In this paper, we propose a principled metric for 3D object detection specifically for the task of self-driving. The core idea behind our metric is to isolate the task of object detection and measure the impact the produced detections would induce on the downstream task of driving. Without hand-designing it to, we find that our metric penalizes many of the mistakes that other metrics penalize by design. In addition, our metric downweighs detections based on additional factors such as distance from a detection to the ego car and the speed of the detection in intuitive ways that other detection metrics do not. For human evaluation, we generate scenes in which standard metrics and our metric disagree and find that humans side with our metric 79% of the time. Our project page including an evaluation server can be found at https://nv-tlabs.github.io/detection-relevance.
• Abstract（参考訳）: 精度と精度のばらつきは、コンピュータビジョンコミュニティが知覚アルゴリズムの進歩を測定するゴールドスタンダードである。 これらの指標が多用される理由の1つは、それらは主にタスクに依存しないためである。 これらの指標の欠点は、最悪の場合、タスクやシーンを条件にすることなく、すべての誤った検出を等しくペナルティ化することです。 本稿では,自動運転のタスクに特化して3次元物体検出の原理的基準を提案する。 私たちのメトリクスの背後にある中核的な考え方は、オブジェクト検出のタスクを分離し、生成された検出が運転の下流タスクに与える影響を測定することです。 手動で設計することなく、私たちのメトリクスは、他のメトリクスが設計によって課す多くの間違いを罰します。 さらに,検出からエゴ車までの距離や,他の検出指標では検出できない直感的な検出速度といった,追加的な要因に基づいて検出を下方修正する。 人格評価では、標準メトリクスと測定基準が一致しないシーンを生成し、その79%が人間が私たちの測定基準に従っていると判断します。 評価サーバを含むプロジェクトページはhttps://nv-tlabs.github.io/detection-relevanceで見ることができる。

関連論文リスト

• Uncertainty Estimation for 3D Object Detection via Evidential Learning [63.61283174146648]
  本稿では,3次元検出器における鳥の視線表示における明らかな学習損失を利用して,3次元物体検出の不確かさを定量化するためのフレームワークを提案する。 本研究では,これらの不確実性評価の有効性と重要性を,分布外シーンの特定,局所化の不十分な物体の発見,および(偽陰性)検出の欠如について示す。
  論文  参考訳（メタデータ） (2024-10-31T13:13:32Z)
• Learning 3D Perception from Others' Predictions [64.09115694891679]
  本研究では,3次元物体検出装置を構築するための新たなシナリオについて検討する。 例えば、自動運転車が新しいエリアに入ると、その領域に最適化された検出器を持つ他の交通参加者から学ぶことができる。
  論文  参考訳（メタデータ） (2024-10-03T16:31:28Z)
• Navigating the Metrics Maze: Reconciling Score Magnitudes and Accuracies [24.26653413077486]
  10年前、単一のメトリクスBLEUが機械翻訳研究の進歩を支配した。 本稿では,現代のメトリクスの「ダイナミックレンジ」について考察する。
  論文  参考訳（メタデータ） (2024-01-12T18:47:40Z)
• On Offline Evaluation of 3D Object Detection for Autonomous Driving [33.16617625256519]
  我々は、検知器が完全な自動運転スタックに統合されたときに、予測的な異なる検出指標が、パフォーマンスを駆動するかどうかを測定する。 nuScenes Detection Scoreは、広く使われている平均精度測定値よりも駆動性能に高い相関関係があることが判明した。
  論文  参考訳（メタデータ） (2023-08-24T13:31:51Z)
• The Glass Ceiling of Automatic Evaluation in Natural Language Generation [60.59732704936083]
  ステップバックして、既存の自動メトリクスと人的メトリクスのボディを比較して、最近の進歩を分析します。 古いものや新しいものといった自動メトリクスは、人間よりもずっと似ています。
  論文  参考訳（メタデータ） (2022-08-31T01:13:46Z)
• Exploring Credibility Scoring Metrics of Perception Systems for Autonomous Driving [0.0]
  オフラインメトリクスは、悪天候などの現実世界の汚職を考慮に入れるのに有効であることを示す。 これは、エラーのない自動運転車の認識と、より安全な時間クリティカルかつ安全クリティカルな意思決定を可能にするため、明らかな次のステップである。
  論文  参考訳（メタデータ） (2021-12-22T03:17:14Z)
• Injecting Planning-Awareness into Prediction and Detection Evaluation [42.228191984697006]
  私たちは一歩後退して、現在の評価指標を批判的に評価し、タスク対応メトリクスを、デプロイされるシステムのパフォーマンスのより良い測定基準として提案します。 実世界の自律運転データとともに、実世界のシミュレーション実験により、提案したタスク認識メトリクスが結果非対称性を考慮でき、モデルのクローズドループ性能をよりよく推定できることを確認した。
  論文  参考訳（メタデータ） (2021-10-07T08:52:48Z)
• CertainNet: Sampling-free Uncertainty Estimation for Object Detection [65.28989536741658]
  ニューラルネットワークの不確実性を推定することは、安全クリティカルな設定において基本的な役割を果たす。 本研究では,オブジェクト検出のための新しいサンプリング不要不確実性推定法を提案する。 私たちはそれをCertainNetと呼び、各出力信号に対して、オブジェクト性、クラス、位置、サイズという、別の不確実性を提供するのは、これが初めてです。
  論文  参考訳（メタデータ） (2021-10-04T17:59:31Z)
• Rethinking Trajectory Forecasting Evaluation [42.228191984697006]
  私たちは一歩後退して、現在の軌跡予測指標を批判的に評価します。 本稿では,予測が展開されているシステムにおけるパフォーマンスの指標として,タスク対応メトリクスを提案する。
  論文  参考訳（メタデータ） (2021-07-21T18:20:03Z)
• Provably Robust Metric Learning [98.50580215125142]
  既存のメトリクス学習アルゴリズムは、ユークリッド距離よりもロバストなメトリクスをもたらすことを示す。 対向摂動に対して頑健なマハラノビス距離を求めるための新しい距離学習アルゴリズムを提案する。 実験結果から,提案アルゴリズムは証明済みの堅牢な誤りと経験的堅牢な誤りの両方を改善した。
  論文  参考訳（メタデータ） (2020-06-12T09:17:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。