論文の概要: Injecting Planning-Awareness into Prediction and Detection Evaluation

• arxiv url: http://arxiv.org/abs/2110.03270v1
• Date: Thu, 7 Oct 2021 08:52:48 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-08 15:49:18.733848
• Title: Injecting Planning-Awareness into Prediction and Detection Evaluation
• Title（参考訳）: 予測・検出評価への計画意識の注入
• Authors: Boris Ivanovic, Marco Pavone
• Abstract要約: 私たちは一歩後退して、現在の評価指標を批判的に評価し、タスク対応メトリクスを、デプロイされるシステムのパフォーマンスのより良い測定基準として提案します。 実世界の自律運転データとともに、実世界のシミュレーション実験により、提案したタスク認識メトリクスが結果非対称性を考慮でき、モデルのクローズドループ性能をよりよく推定できることを確認した。
• 参考スコア（独自算出の注目度）: 42.228191984697006
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Detecting other agents and forecasting their behavior is an integral part of the modern robotic autonomy stack, especially in safety-critical scenarios entailing human-robot interaction such as autonomous driving. Due to the importance of these components, there has been a significant amount of interest and research in perception and trajectory forecasting, resulting in a wide variety of approaches. Common to most works, however, is the use of the same few accuracy-based evaluation metrics, e.g., intersection-over-union, displacement error, log-likelihood, etc. While these metrics are informative, they are task-agnostic and outputs that are evaluated as equal can lead to vastly different outcomes in downstream planning and decision making. In this work, we take a step back and critically assess current evaluation metrics, proposing task-aware metrics as a better measure of performance in systems where they are deployed. Experiments on an illustrative simulation as well as real-world autonomous driving data validate that our proposed task-aware metrics are able to account for outcome asymmetry and provide a better estimate of a model's closed-loop performance.
• Abstract（参考訳）: 他のエージェントを検出し、その振る舞いを予測することは、特に自律運転のような人間とロボットの相互作用を含む安全クリティカルなシナリオにおいて、現代ロボット自律スタックの不可欠な部分である。 これらの要素の重要性から、知覚と軌道予測にかなりの関心と研究が行われており、様々なアプローチを生み出している。 しかし、ほとんどの研究でよく見られるのは、例えば交叉対ユニオン、変位誤差、対数類似度など、ほとんど精度に基づく評価指標を使用することである。 これらの指標は情報的だが、それらはタスクに依存しず、平等に評価されるアウトプットは、下流の計画と意思決定において、大きく異なる結果をもたらす可能性がある。 この作業では、ステップバックして、現在の評価指標を批判的に評価し、タスク対応メトリクスを、デプロイされるシステムのパフォーマンスのより良い測定基準として提案します。 実世界の自律運転データとともに、実世界のシミュレーション実験により、提案したタスク認識メトリクスが結果非対称性を考慮でき、モデルのクローズドループ性能をよりよく推定できることを確認した。

関連論文リスト

• JRDB-Traj: A Dataset and Benchmark for Trajectory Forecasting in Crowds [79.00975648564483]
  ロボット工学、自動運転車、ナビゲーションなどの分野で使用される軌道予測モデルは、現実のシナリオにおいて課題に直面している。 このデータセットは、ロボットの観点から、すべてのエージェント、シーンイメージ、ポイントクラウドの位置を含む包括的なデータを提供する。 本研究の目的は,ロボットに対するエージェントの将来の位置を,生の感覚入力データを用いて予測することである。
  論文  参考訳（メタデータ） (2023-11-05T18:59:31Z)
• From Static Benchmarks to Adaptive Testing: Psychometrics in AI Evaluation [60.14902811624433]
  本稿では,静的評価手法から適応テストへのパラダイムシフトについて論じる。 これには、ベンチマークで各テスト項目の特性と価値を推定し、リアルタイムでアイテムを動的に調整することが含まれる。 我々は、AI評価にサイコメトリックを採用する現在のアプローチ、アドバンテージ、そして根底にある理由を分析します。
  論文  参考訳（メタデータ） (2023-06-18T09:54:33Z)
• A Control-Centric Benchmark for Video Prediction [69.22614362800692]
  本稿では,アクション条件付きビデオ予測のベンチマークを,制御ベンチマークの形式で提案する。 私たちのベンチマークには、11のタスクカテゴリと310のタスクインスタンス定義を備えたシミュレーション環境が含まれています。 次に、ベンチマークを活用して、スケールするモデルサイズ、トレーニングデータの量、モデルアンサンブルの影響を調査します。
  論文  参考訳（メタデータ） (2023-04-26T17:59:45Z)
• Towards trustworthy multi-modal motion prediction: Holistic evaluation and interpretability of outputs [3.5240925434839054]
  我々は,アウトプットの評価基準,堅牢性,解釈可能性に焦点をあてる。 マルチモーダル動作予測モデルにアタッチ可能な意図予測層を提案する。
  論文  参考訳（メタデータ） (2022-10-28T14:14:22Z)
• Architectural patterns for handling runtime uncertainty of data-driven models in safety-critical perception [1.7616042687330642]
  不確実性推定に対処するためのアーキテクチャパターンを新たに提案する。 安全性と性能向上に関して,4つのパターンを質的,定量的に評価した。 筆者らは,運転状況の文脈情報を考慮することで,運転状況の固有のリスクに応じて,多かれ少なかれ不確実性を受け入れることができると結論付けた。
  論文  参考訳（メタデータ） (2022-06-14T13:31:36Z)
• Control-Aware Prediction Objectives for Autonomous Driving [78.19515972466063]
  本研究では,制御に対する予測の下流効果を評価するための制御認識予測目標(CAPOs)を提案する。 本稿では,エージェント間の注意モデルを用いた重み付けと,予測軌跡を接地真実軌跡に交換する際の制御変動に基づく重み付けの2つの方法を提案する。
  論文  参考訳（メタデータ） (2022-04-28T07:37:21Z)
• Rethinking Trajectory Forecasting Evaluation [42.228191984697006]
  私たちは一歩後退して、現在の軌跡予測指標を批判的に評価します。 本稿では,予測が展開されているシステムにおけるパフォーマンスの指標として,タスク対応メトリクスを提案する。
  論文  参考訳（メタデータ） (2021-07-21T18:20:03Z)
• Uncertainty-Aware Vehicle Orientation Estimation for Joint Detection-Prediction Models [12.56249869551208]
  オリエンテーションは、自律システムの下流モジュールにとって重要な特性である。 本稿では,既存のモデルを拡張し,共同物体検出と動き予測を行う手法を提案する。 さらに、この手法は予測の不確かさを定量化することができ、推定された向きが反転する確率を出力することができる。
  論文  参考訳（メタデータ） (2020-11-05T21:59:44Z)
• Modeling Perception Errors towards Robust Decision Making in Autonomous Vehicles [11.503090828741191]
  意思決定サブシステムが堅牢で安全な判断を下すのに十分な認識サブシステムは十分か? 自律システムの挙動に異なる種類の知覚・知覚誤差が与える影響を解析する方法を示す。
  論文  参考訳（メタデータ） (2020-01-31T08:02:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。