論文の概要: Per-frame mAP Prediction for Continuous Performance Monitoring of Object
Detection During Deployment
- arxiv url: http://arxiv.org/abs/2009.08650v2
- Date: Mon, 16 Nov 2020 07:11:29 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-17 03:07:35.881364
- Title: Per-frame mAP Prediction for Continuous Performance Monitoring of Object
Detection During Deployment
- Title(参考訳): 配置中の物体検出の連続的性能モニタリングのためのフレームごとのmAP予測
- Authors: Quazi Marufur Rahman and Niko S\"underhauf and Feras Dayoub
- Abstract要約: 本稿では,デプロイメント中のパフォーマンスモニタリングに対するイントロスペクションアプローチを提案する。
フレーム当たりの平均精度がクリティカルしきい値以下になると予測する。
我々は,誤った判断を下すことによってリスクを低減する手法の能力を定量的に評価し,実証する。
- 参考スコア(独自算出の注目度): 6.166295570030645
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Performance monitoring of object detection is crucial for safety-critical
applications such as autonomous vehicles that operate under varying and complex
environmental conditions. Currently, object detectors are evaluated using
summary metrics based on a single dataset that is assumed to be representative
of all future deployment conditions. In practice, this assumption does not
hold, and the performance fluctuates as a function of the deployment
conditions. To address this issue, we propose an introspection approach to
performance monitoring during deployment without the need for ground truth
data. We do so by predicting when the per-frame mean average precision drops
below a critical threshold using the detector's internal features. We
quantitatively evaluate and demonstrate our method's ability to reduce risk by
trading off making an incorrect decision by raising the alarm and absenting
from detection.
- Abstract(参考訳): オブジェクト検出のパフォーマンス監視は、様々な複雑な環境条件下で動作する自動運転車のような安全上重要なアプリケーションに不可欠である。
現在、オブジェクト検出器は、将来のすべてのデプロイメント条件を表すと仮定された単一のデータセットに基づいて、サマリメトリクスを使用して評価されている。
実際には、この仮定は成立せず、デプロイメント条件の関数としてパフォーマンスが変動する。
この問題に対処するため,本研究では,地上の真理データを必要とせずに,デプロイメント中のパフォーマンス監視に対するイントロスペクションアプローチを提案する。
我々は,検出器の内部特徴を用いてフレーム当たりの平均精度が臨界しきい値を下回るタイミングを予測した。
我々は,アラームを鳴らし,検出を欠くことによって誤った判断をすることでリスクを低減できる手法を定量的に評価し,実証する。
関連論文リスト
- Deployment Prior Injection for Run-time Calibratable Object Detection [58.636806402337776]
検出器に追加のグラフ入力を導入し、事前にグラフが配置コンテキストを表す。
テストフェーズでは、事前に適切なデプロイメントコンテキストをグラフ編集を通じて検出器に注入することができる。
事前の配置が分かっていない場合でも、検出器は独自の予測を用いて、事前に近似した配置を用いて自己校正を行うことができる。
論文 参考訳(メタデータ) (2024-02-27T04:56:04Z) - A Review of Uncertainty Calibration in Pretrained Object Detectors [5.440028715314566]
多クラス設定における事前訓練対象検出アーキテクチャの不確実性校正特性について検討する。
公平でバイアスのない,繰り返し可能な評価を実現するためのフレームワークを提案する。
検出器のキャリブレーションが低い理由について、新しい知見を提供する。
論文 参考訳(メタデータ) (2022-10-06T14:06:36Z) - Object Detection as Probabilistic Set Prediction [3.7599363231894176]
本稿では,確率的物体検出器の評価と訓練を行うための適切なスコアリングルールを提案する。
以上の結果から,既存の検出器のトレーニングは非確率的指標に最適化されていることが示唆された。
論文 参考訳(メタデータ) (2022-03-15T15:13:52Z) - Tracking the risk of a deployed model and detecting harmful distribution
shifts [105.27463615756733]
実際には、デプロイされたモデルのパフォーマンスが大幅に低下しないという、良心的なシフトを無視することは理にかなっている。
我々は,警告を発射する有効な方法は,(a)良性な警告を無視しながら有害なシフトを検知し,(b)誤報率を増大させることなく,モデル性能の連続的なモニタリングを可能にすることを論じる。
論文 参考訳(メタデータ) (2021-10-12T17:21:41Z) - CertainNet: Sampling-free Uncertainty Estimation for Object Detection [65.28989536741658]
ニューラルネットワークの不確実性を推定することは、安全クリティカルな設定において基本的な役割を果たす。
本研究では,オブジェクト検出のための新しいサンプリング不要不確実性推定法を提案する。
私たちはそれをCertainNetと呼び、各出力信号に対して、オブジェクト性、クラス、位置、サイズという、別の不確実性を提供するのは、これが初めてです。
論文 参考訳(メタデータ) (2021-10-04T17:59:31Z) - Learning Uncertainty For Safety-Oriented Semantic Segmentation In
Autonomous Driving [77.39239190539871]
自律運転における安全クリティカル画像セグメンテーションを実現するために、不確実性推定をどのように活用できるかを示す。
相似性関数によって測定された不一致予測に基づく新しい不確実性尺度を導入する。
本研究では,提案手法が競合手法よりも推論時間において計算集約性が低いことを示す。
論文 参考訳(メタデータ) (2021-05-28T09:23:05Z) - WSSOD: A New Pipeline for Weakly- and Semi-Supervised Object Detection [75.80075054706079]
弱機能および半教師付きオブジェクト検出フレームワーク(WSSOD)を提案する。
エージェント検出器は、まず関節データセット上でトレーニングされ、弱注釈画像上で擬似境界ボックスを予測するために使用される。
提案フレームワークはPASCAL-VOC と MSCOCO のベンチマークで顕著な性能を示し,完全教師付き環境で得られたものと同等の性能を達成している。
論文 参考訳(メタデータ) (2021-05-21T11:58:50Z) - Robust Object Detection via Instance-Level Temporal Cycle Confusion [89.1027433760578]
物体検出器の分布外一般化を改善するための補助的自己監視タスクの有効性を検討する。
最大エントロピーの原理に触発されて,新しい自己監督タスクであるインスタンスレベル時間サイクル混乱(cycconf)を導入する。
それぞれのオブジェクトに対して、タスクは、ビデオ内の隣接するフレームで最も異なるオブジェクトの提案を見つけ、自己スーパービジョンのために自分自身にサイクルバックすることです。
論文 参考訳(メタデータ) (2021-04-16T21:35:08Z) - Online Monitoring of Object Detection Performance During Deployment [6.166295570030645]
入力フレームのスライディングウィンドウ上での平均平均精度(mAP)を予測し,対象検出器の性能を監視するカスケードニューラルネットワークを提案する。
我々は、自律走行データセットと物体検出装置の異なる組み合わせを用いて、提案手法の評価を行った。
論文 参考訳(メタデータ) (2020-11-16T07:01:43Z) - Sequential Anomaly Detection using Inverse Reinforcement Learning [23.554584457413483]
逆強化学習(IRL)を用いた逐次異常検出のためのエンドツーエンドフレームワークを提案する。
我々はニューラルネットワークを用いて報酬関数を表現し、学習された報酬関数を用いて、ターゲットエージェントからの新しい観察が正常なパターンに従うかどうかを評価する。
公開されている実世界のデータに関する実証研究は,本手法が異常の同定に有効であることを示している。
論文 参考訳(メタデータ) (2020-04-22T05:17:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。