論文の概要: On Calibration of Object Detectors: Pitfalls, Evaluation and Baselines
- arxiv url: http://arxiv.org/abs/2405.20459v1
- Date: Thu, 30 May 2024 20:12:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-03 18:14:59.024442
- Title: On Calibration of Object Detectors: Pitfalls, Evaluation and Baselines
- Title（参考訳）: 物体検出器の校正について:落とし穴, 評価, ベースライン
- Authors: Selim Kuzucu, Kemal Oksuz, Jonathan Sadeghi, Puneet K. Dokania,
- Abstract要約: オブジェクト検出器の信頼性の高い使用には、それらを校正する必要がある。
最近のアプローチでは、スクラッチからそれらを訓練して校正された検出器を得るために、新しい損失関数を設計する。
対象検出器の校正と精度を共同で測定する原理的評価フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 15.306933156466522
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Reliable usage of object detectors require them to be calibrated -- a crucial problem that requires careful attention. Recent approaches towards this involve (1) designing new loss functions to obtain calibrated detectors by training them from scratch, and (2) post-hoc Temperature Scaling (TS) that learns to scale the likelihood of a trained detector to output calibrated predictions. These approaches are then evaluated based on a combination of Detection Expected Calibration Error (D-ECE) and Average Precision. In this work, via extensive analysis and insights, we highlight that these recent evaluation frameworks, evaluation metrics, and the use of TS have notable drawbacks leading to incorrect conclusions. As a step towards fixing these issues, we propose a principled evaluation framework to jointly measure calibration and accuracy of object detectors. We also tailor efficient and easy-to-use post-hoc calibration approaches such as Platt Scaling and Isotonic Regression specifically for object detection task. Contrary to the common notion, our experiments show that once designed and evaluated properly, post-hoc calibrators, which are extremely cheap to build and use, are much more powerful and effective than the recent train-time calibration methods. To illustrate, D-DETR with our post-hoc Isotonic Regression calibrator outperforms the recent train-time state-of-the-art calibration method Cal-DETR by more than 7 D-ECE on the COCO dataset. Additionally, we propose improved versions of the recently proposed Localization-aware ECE and show the efficacy of our method on these metrics as well. Code is available at: https://github.com/fiveai/detection_calibration.
- Abstract（参考訳）: 物検知器の信頼性の高い使用には校正が必要で、注意を要する重要な問題だ。
これに対する最近のアプローチは、(1)スクラッチから測定器を訓練して測定器を得るための新しい損失関数を設計すること、(2)訓練された検出器のキャリブレーション予測を出力する可能性のスケールを学習する熱後温度スケーリング(TS)を設計することである。
これらの手法は,検出期待校正誤差(D-ECE)と平均精度(Average Precision)の組み合わせに基づいて評価される。
本研究では,最近の評価フレームワーク,評価指標,TSの使用が,誤った結論につながる顕著な欠点があることを強調した。
これらの問題を解決するためのステップとして,物体検出器の校正と精度を共同で測定する基本的評価フレームワークを提案する。
また,Platt Scaling や Isotonic Regression などのポストホックキャリブレーション手法を,特にオブジェクト検出タスクに適応させる。
一般的な考え方とは対照的に, ポストホックキャリブレータを設計, 評価すると, 最近の列車時キャリブレーション法よりもはるかに安価で, 有効であることがわかった。
筆者らによるポストホックなイソトニック回帰キャリブレータを用いたD-DETRは,COCOデータセット上の7以上のD-ECEにより,最近の列車時状態キャリブレーション法であるCal-DETRより優れていた。
さらに,最近提案したローカライゼーション対応ECEの改良版も提案し,これらの指標に対する手法の有効性を示した。
コードは、https://github.com/fiveai/detection_calibration.comで入手できる。
関連論文リスト
- Beyond Classification: Definition and Density-based Estimation of
Calibration in Object Detection [15.71719154574049]
我々はディープニューラルネットワーク(DNN)の校正誤差の定義と推定に挑戦する。
特に,物体検出に伴うニュアンスに対処するため,分類校正誤差の定義に適応する。
カーネル密度推定を用いた検出校正誤差の一貫した微分可能な推定器を提案する。
論文 参考訳（メタデータ） (2023-12-11T18:57:05Z) - Cal-DETR: Calibrated Detection Transformer [67.75361289429013]
本稿では,Deformable-DETR,UP-DETR,DINOのキャリブレーション検出トランス(Cal-DETR)のメカニズムを提案する。
我々は、不確実性を利用してクラスロジットを変調する不確実性誘導ロジット変調機構を開発する。
その結果、Cal-DETRは、ドメイン内およびドメイン外の両方を校正する競合する列車時間法に対して有効であることがわかった。
論文 参考訳（メタデータ） (2023-11-06T22:13:10Z) - PseudoCal: A Source-Free Approach to Unsupervised Uncertainty
Calibration in Domain Adaptation [87.69789891809562]
非教師なしドメイン適応(UDA)は、未ラベルのターゲットドメインのモデルの精度を向上する顕著な進歩を目撃している。
UDAモデルの安全な配置の重要な側面であるターゲット領域における予測不確実性の校正は、あまり注目されていない。
PseudoCalは、ラベルのないターゲットデータにのみ依存するソースフリーキャリブレーション手法である。
論文 参考訳（メタデータ） (2023-07-14T17:21:41Z) - Bridging Precision and Confidence: A Train-Time Loss for Calibrating
Object Detection [58.789823426981044]
本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。
その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
論文 参考訳（メタデータ） (2023-03-25T08:56:21Z) - Sample-dependent Adaptive Temperature Scaling for Improved Calibration [95.7477042886242]
ニューラルネットワークの誤りを補うポストホックアプローチは、温度スケーリングを実行することだ。
入力毎に異なる温度値を予測し、信頼度と精度のミスマッチを調整することを提案する。
CIFAR10/100およびTiny-ImageNetデータセットを用いて,ResNet50およびWideResNet28-10アーキテクチャ上で本手法をテストする。
論文 参考訳（メタデータ） (2022-07-13T14:13:49Z) - Revisiting Calibration for Question Answering [16.54743762235555]
従来のキャリブレーション評価はモデル信頼性の有用性を反映していないと論じる。
モデルが誤った予測に低信頼を割り当て、正しい予測に高信頼を割り当てているかどうかをよりよく把握する新しい校正基準であるMacroCEを提案する。
論文 参考訳（メタデータ） (2022-05-25T05:49:56Z) - Localized Calibration: Metrics and Recalibration [133.07044916594361]
完全大域キャリブレーションと完全個別化キャリブレーションのギャップにまたがる細粒度キャリブレーション指標を提案する。
次に,局所再校正法であるLoReを導入し,既存の校正法よりもLCEを改善する。
論文 参考訳（メタデータ） (2021-02-22T07:22:12Z) - Mitigating Bias in Calibration Error Estimation [28.46667300490605]
本研究では,ECE_binが真の校正誤差を体系的に過小評価または過大評価できることを示すシミュレーションフレームワークを提案する。
ECE_sweep は、ビンの数をできるだけ多く選択する簡単な代替校正誤差メトリックを提案します。
論文 参考訳（メタデータ） (2020-12-15T23:28:06Z) - Uncertainty Quantification and Deep Ensembles [79.4957965474334]
ディープアンサンブルが必ずしもキャリブレーション特性の改善につながるとは限らないことを示す。
そこで本研究では,混成正規化などの現代的な手法と併用して標準アンサンブル法を用いることで,キャリブレーションの少ないモデルが得られることを示す。
このテキストは、データが不足しているときにディープラーニングを活用するために、最も単純で一般的な3つのアプローチの相互作用を調べる。
論文 参考訳（メタデータ） (2020-07-17T07:32:24Z) - Multivariate Confidence Calibration for Object Detection [7.16879432974126]
本稿では,物体検出手法の偏りのある信頼度推定を計測・校正するための新しい枠組みを提案する。
提案手法により,画像位置とボックススケールに対する補正された信頼度推定値が得られた。
提案手法は,物体検出タスクにおける最先端キャリブレーションモデルよりも優れていることを示す。
論文 参考訳（メタデータ） (2020-04-28T14:17:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。