論文の概要: Identifying Reliable Predictions in Detection Transformers
- arxiv url: http://arxiv.org/abs/2412.01782v1
- Date: Mon, 02 Dec 2024 18:34:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-04 15:49:49.905934
- Title: Identifying Reliable Predictions in Detection Transformers
- Title（参考訳）: 検出変圧器の信頼性予測
- Authors: Young-Jin Park, Carson Sobolewski, Navid Azizan,
- Abstract要約: 実際には、DETRは画像に存在するオブジェクトの実際の数よりはるかに多い数百の予測を生成する。
同一画像内の異なる予測が、どのように異なる役割を担い、その結果、これらの予測の信頼性レベルが変化するかを示す。
我々は、異なるモデルと特定のモデル内の様々な構成の両方でキャリブレーション品質を評価することができるオブジェクトレベルエラー(OCE)を提案する。
- 参考スコア（独自算出の注目度）: 6.209833978040362
- License:
- Abstract: DEtection TRansformer (DETR) has emerged as a promising architecture for object detection, offering an end-to-end prediction pipeline. In practice, however, DETR generates hundreds of predictions that far outnumber the actual number of objects present in an image. This raises the question: can we trust and use all of these predictions? Addressing this concern, we present empirical evidence highlighting how different predictions within the same image play distinct roles, resulting in varying reliability levels across those predictions. More specifically, while multiple predictions are often made for a single object, our findings show that most often one such prediction is well-calibrated, and the others are poorly calibrated. Based on these insights, we demonstrate identifying a reliable subset of DETR's predictions is crucial for accurately assessing the reliability of the model at both object and image levels. Building on this viewpoint, we first tackle the shortcomings of widely used performance and calibration metrics, such as average precision and various forms of expected calibration error. Specifically, they are inadequate for determining which subset of DETR's predictions should be trusted and utilized. In response, we present Object-level Calibration Error (OCE), which is capable of assessing the calibration quality both across different models and among various configurations within a specific model. As a final contribution, we introduce a post hoc Uncertainty Quantification (UQ) framework that predicts the accuracy of the model on a per-image basis. By contrasting the average confidence scores of positive (i.e., likely to be matched) and negative predictions determined by OCE, the framework assesses the reliability of the DETR model for each test image.
- Abstract（参考訳）: 検出TRansformer(DETR)は、オブジェクト検出のための有望なアーキテクチャとして登場し、エンドツーエンドの予測パイプラインを提供する。
しかし、実際には、DETRは画像に存在するオブジェクトの実際の数よりはるかに多い数百の予測を生成する。
これらすべての予測を信頼し、使用できますか?
この懸念に対処するために、同じ画像内の異なる予測がどのように異なる役割を果たすかを示す実証的な証拠を示し、その結果、これらの予測の信頼性レベルが変化する。
より具体的には、複数の予測は単一のオブジェクトに対して行われることが多いが、我々の発見は、ほとんどの場合、そのような予測はよく校正され、他の予測は十分に校正されていないことを示している。
これらの知見に基づき、オブジェクトレベルと画像レベルの両方でモデルの信頼性を正確に評価するために、DETRの予測の信頼性サブセットを特定することが重要であることを実証する。
この観点から、我々はまず、平均精度や様々な形態のキャリブレーション誤差など、広く使われている性能・キャリブレーション指標の欠点に対処する。
具体的には、DETRの予測のどのサブセットを信頼して利用すべきかを決定するには不十分である。
そこで本研究では,異なるモデル間のキャリブレーション品質を評価可能なオブジェクトレベルのキャリブレーション誤差(OCE)について述べる。
最後のコントリビューションとして、画像ごとにモデルの精度を予測するポストホック不確実性定量化(UQ)フレームワークを導入する。
OCEによって決定される平均信頼度スコア(すなわち、一致する可能性が高い)と負の予測とを対比することにより、このフレームワークは各テスト画像に対するDETRモデルの信頼性を評価する。
関連論文リスト
- Provably Reliable Conformal Prediction Sets in the Presence of Data Poisoning [53.42244686183879]
コンフォーマル予測は、モデルに依存しない、分布のない不確実性定量化を提供する。
しかし、敵が訓練データと校正データを操作した場合の毒殺攻撃では、共形予測は信頼性が低い。
信頼性予測セット (RPS): 汚染下での信頼性保証を証明可能な共形予測セットを構築するための最初の効率的な方法を提案する。
論文 参考訳（メタデータ） (2024-10-13T15:37:11Z) - Revisiting Confidence Estimation: Towards Reliable Failure Prediction [53.79160907725975]
多くの信頼度推定法は誤分類誤りを検出するのに有害である。
本稿では, 最先端の故障予測性能を示す平坦な最小値を求めることにより, 信頼性ギャップを拡大することを提案する。
論文 参考訳（メタデータ） (2024-03-05T11:44:14Z) - Multiclass Alignment of Confidence and Certainty for Network Calibration [10.15706847741555]
最近の研究では、ディープニューラルネットワーク(DNN)が過信的な予測を行う傾向があることが示されている。
予測平均信頼度と予測確実性(MACC)の多クラスアライメントとして知られる簡易なプラグアンドプレイ補助損失を特徴とする列車時キャリブレーション法を提案する。
本手法は,領域内および領域外両方のキャリブレーション性能を実現する。
論文 参考訳（メタデータ） (2023-09-06T00:56:24Z) - Confidence and Dispersity Speak: Characterising Prediction Matrix for
Unsupervised Accuracy Estimation [51.809741427975105]
この研究は、ラベルを使わずに、分散シフト下でのモデルの性能を評価することを目的としている。
我々は、両方の特性を特徴付けるのに有効であることが示されている核規範を用いる。
核の基準は既存の手法よりも正確で堅牢であることを示す。
論文 参考訳（メタデータ） (2023-02-02T13:30:48Z) - A Review of Uncertainty Calibration in Pretrained Object Detectors [5.440028715314566]
多クラス設定における事前訓練対象検出アーキテクチャの不確実性校正特性について検討する。
公平でバイアスのない,繰り返し可能な評価を実現するためのフレームワークを提案する。
検出器のキャリブレーションが低い理由について、新しい知見を提供する。
論文 参考訳（メタデータ） (2022-10-06T14:06:36Z) - Calibrated Selective Classification [34.08454890436067]
そこで我々は,「不確か」な不確実性のある例を拒否する手法を提案する。
本稿では,選択的校正モデル学習のためのフレームワークを提案する。そこでは,任意のベースモデルの選択的校正誤差を改善するために,個別のセレクタネットワークを訓練する。
われわれは,複数画像分類と肺癌リスク評価におけるアプローチの実証的効果を実証した。
論文 参考訳（メタデータ） (2022-08-25T13:31:09Z) - Usable Region Estimate for Assessing Practical Usability of Medical
Image Segmentation Models [32.56957759180135]
医療画像セグメンテーションモデルの実用的ユーザビリティを定量的に測定することを目的としている。
まず、予測者の信頼度がランクの正確度スコアとどのように相関しているかを推定する尺度であるCCRC(Correctness-Confidence Rank correlation)を提案する。
次に、予測の正しさと信頼度を同時に定量化するURE(Usable Region Estimate)を提案する。
論文 参考訳（メタデータ） (2022-07-01T02:33:44Z) - VisFIS: Visual Feature Importance Supervision with
Right-for-the-Right-Reason Objectives [84.48039784446166]
モデルFI監督は、VQAモデルの精度と、Right-to-the-Right-Reasonメトリクスの性能を有意義に向上させることができることを示す。
我々の最高のパフォーマンス手法であるVisual Feature Importance Supervision (VisFIS)は、ベンチマークVQAデータセットで強いベースラインを上回ります。
説明が妥当で忠実な場合には予測がより正確になる。
論文 参考訳（メタデータ） (2022-06-22T17:02:01Z) - Dense Uncertainty Estimation [62.23555922631451]
本稿では,ニューラルネットワークと不確実性推定手法について検討し,正確な決定論的予測と確実性推定の両方を実現する。
本研究では,アンサンブルに基づく手法と生成モデルに基づく手法の2つの不確実性推定法について検討し,それらの長所と短所を,完全/半端/弱度に制御されたフレームワークを用いて説明する。
論文 参考訳（メタデータ） (2021-10-13T01:23:48Z) - Learning Accurate Dense Correspondences and When to Trust Them [161.76275845530964]
2つの画像に関連する密度の高い流れ場と、堅牢な画素方向の信頼度マップの推定を目指しています。
フロー予測とその不確実性を共同で学習するフレキシブルな確率的アプローチを開発する。
本手法は,幾何学的マッチングと光フローデータセットに挑戦する最新の結果を得る。
論文 参考訳（メタデータ） (2021-01-05T18:54:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。