論文の概要: Learning for Transductive Threshold Calibration in Open-World Recognition
- arxiv url: http://arxiv.org/abs/2305.12039v2
- Date: Fri, 22 Mar 2024 23:39:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-27 03:48:07.946401
- Title: Learning for Transductive Threshold Calibration in Open-World Recognition
- Title(参考訳): オープンワールド認識におけるトランスダクティブ閾値校正の学習
- Authors: Qin Zhang, Dongsheng An, Tianjun Xiao, Tong He, Qingming Tang, Ying Nian Wu, Joseph Tighe, Yifan Xing, Stefano Soatto,
- Abstract要約: グラフニューラルネットワークを用いた高剛性と適応性を有するトランスダクティブしきい値キャリブレーション法であるOpenGCNを導入する。
オープンワールドの視覚認識ベンチマークにおける実験は、オープンワールドのしきい値校正のための既存のポストホック校正方法よりもOpenGCNの方が優れていることを検証する。
- 参考スコア(独自算出の注目度): 83.35320675679122
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In deep metric learning for visual recognition, the calibration of distance thresholds is crucial for achieving desired model performance in the true positive rates (TPR) or true negative rates (TNR). However, calibrating this threshold presents challenges in open-world scenarios, where the test classes can be entirely disjoint from those encountered during training. We define the problem of finding distance thresholds for a trained embedding model to achieve target performance metrics over unseen open-world test classes as open-world threshold calibration. Existing posthoc threshold calibration methods, reliant on inductive inference and requiring a calibration dataset with a similar distance distribution as the test data, often prove ineffective in open-world scenarios. To address this, we introduce OpenGCN, a Graph Neural Network-based transductive threshold calibration method with enhanced adaptability and robustness. OpenGCN learns to predict pairwise connectivity for the unlabeled test instances embedded in a graph to determine its TPR and TNR at various distance thresholds, allowing for transductive inference of the distance thresholds which also incorporates test-time information. Extensive experiments across open-world visual recognition benchmarks validate OpenGCN's superiority over existing posthoc calibration methods for open-world threshold calibration.
- Abstract(参考訳): 距離しきい値のキャリブレーションは, 真正レート(TPR)や真負レート(TNR)において, 所望のモデル性能を達成するために重要である。
しかしながら、このしきい値の校正は、テストクラスがトレーニング中に遭遇したクラスと完全に相容れないような、オープンワールドシナリオにおける課題を示す。
未確認のオープンワールドテストクラスに対する目標性能指標をオープンワールドしきい値キャリブレーションとして達成するために,トレーニング済み埋め込みモデルの距離しきい値を求める問題を定義する。
既存のポストホックしきい値のキャリブレーション法は、帰納的推論に依存し、テストデータと同じような距離分布のキャリブレーションデータセットを必要とするが、オープンワールドのシナリオでは効果がないことがしばしば証明される。
そこで我々は,適応性とロバスト性を高めたグラフニューラルネットワークを用いたトランスダクティブしきい値キャリブレーション手法OpenGCNを紹介する。
OpenGCNはグラフに埋め込まれた未ラベルのテストインスタンスのペアワイズ接続を予測して、そのTPRとTNRを様々な距離しきい値で決定し、テスト時間情報も含む距離しきい値のトランスダクティブ推論を可能にする。
オープンワールド視覚認識ベンチマークの広範な実験は、オープンワールドしきい値キャリブレーションのための既存のポストホックキャリブレーション法よりもOpenGCNの方が優れていることを証明している。
関連論文リスト
- Calibrating Deep Neural Network using Euclidean Distance [5.675312975435121]
機械学習では、Focal Lossは、サンプルの分類が難しいことを強調することで、誤分類率を減らすために一般的に使用される。
高校正誤差は予測確率と実際の結果との相違を示し、モデルの信頼性に影響を及ぼす。
本研究では,FCL (Focal Loss) と呼ばれる新しい損失関数を導入する。
論文 参考訳(メタデータ) (2024-10-23T23:06:50Z) - CALICO: Confident Active Learning with Integrated Calibration [11.978551396144532]
トレーニングプロセス中にサンプル選択に使用される信頼度を自己校正するALフレームワークを提案する。
ラベル付きサンプルが少ないソフトマックス分類器と比較して,分類性能が向上した。
論文 参考訳(メタデータ) (2024-07-02T15:05:19Z) - C-TPT: Calibrated Test-Time Prompt Tuning for Vision-Language Models via Text Feature Dispersion [54.81141583427542]
深層学習において,ラベル付きデータを必要としない微調整手法としてテスト時間適応が注目されている。
本稿では,CLIPの固有特性を利用したテスト時プロンプトチューニング時の校正について検討する。
そこで本研究では,C-TPT(Calibrated Test-time Prompt Tuning)という,キャリブレーションの強化によるテスト時間中のプロンプトの最適化手法を提案する。
論文 参考訳(メタデータ) (2024-03-21T04:08:29Z) - Threshold-Consistent Margin Loss for Open-World Deep Metric Learning [42.03620337000911]
画像検索にDeep Metric Learning (DML) で使われている既存の損失は、しばしば非均一なクラス内およびクラス間表現構造に繋がる。
不整合はしばしば、商用画像検索システムを展開する際のしきい値選択過程を複雑にする。
クラス間の動作特性の分散を定量化するOPIS(Operating-Point-Inconsistency-Score)と呼ばれる,新しい分散に基づく尺度を提案する。
論文 参考訳(メタデータ) (2023-07-08T21:16:41Z) - Calibration of Neural Networks [77.34726150561087]
本稿では,ニューラルネットワークの文脈における信頼性校正問題について調査する。
我々は,問題文,キャリブレーション定義,評価に対する異なるアプローチについて分析する。
実験実験では、様々なデータセットとモデルをカバーし、異なる基準に従って校正方法を比較する。
論文 参考訳(メタデータ) (2023-03-19T20:27:51Z) - OpenAUC: Towards AUC-Oriented Open-Set Recognition [151.5072746015253]
従来の機械学習は、トレーニングとテストセットが同じラベル空間を共有するという密接な前提に従っている。
Open-Set Recognition (OSR) は、クローズセットサンプルとオープンセットサンプルの両方で正確な予測を行うことを目的としている。
これらの問題を解決するために,OpenAUCという新しいメトリクスを提案する。
論文 参考訳(メタデータ) (2022-10-22T08:54:15Z) - Sample-dependent Adaptive Temperature Scaling for Improved Calibration [95.7477042886242]
ニューラルネットワークの誤りを補うポストホックアプローチは、温度スケーリングを実行することだ。
入力毎に異なる温度値を予測し、信頼度と精度のミスマッチを調整することを提案する。
CIFAR10/100およびTiny-ImageNetデータセットを用いて,ResNet50およびWideResNet28-10アーキテクチャ上で本手法をテストする。
論文 参考訳(メタデータ) (2022-07-13T14:13:49Z) - Evaluating Uncertainty Calibration for Open-Set Recognition [5.8022510096020525]
ディープニューラルネットワーク(DNN)は、アウト・オブ・ディストリビューション(OOD)データに過信的な確率を提供する。
我々は,OODデータに対する従来のキャリブレーション手法とは大きく異なる方法で,オープンセット条件に対する一般的なキャリブレーション手法を評価する。
論文 参考訳(メタデータ) (2022-05-15T02:08:35Z) - Calibrated neighborhood aware confidence measure for deep metric
learning [0.0]
深度メートル法学習は、数ショット学習、画像検索、およびオープンセット分類の問題にうまく適用されてきた。
深層学習モデルの信頼度を測定し、信頼できない予測を特定することは、まだオープンな課題です。
本稿では,その分類精度をよく反映した校正・解釈可能な信頼度尺度の定義に焦点をあてる。
論文 参考訳(メタデータ) (2020-06-08T21:05:38Z) - UC-Net: Uncertainty Inspired RGB-D Saliency Detection via Conditional
Variational Autoencoders [81.5490760424213]
データラベリングプロセスから学習することで、RGB-Dサリエンシ検出に不確実性を利用するための第1のフレームワーク(UCNet)を提案する。
そこで本研究では,サリエンシデータラベリングにヒントを得て,確率的RGB-Dサリエンシ検出ネットワークを提案する。
論文 参考訳(メタデータ) (2020-04-13T04:12:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。