論文の概要: Improving Classifier Confidence using Lossy Label-Invariant
Transformations
- arxiv url: http://arxiv.org/abs/2011.04182v1
- Date: Mon, 9 Nov 2020 04:33:48 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-28 01:34:54.459668
- Title: Improving Classifier Confidence using Lossy Label-Invariant
Transformations
- Title(参考訳): Lossy Label-Invariant Transformations を用いた分類信頼度の向上
- Authors: Sooyong Jang, Insup Lee, James Weimer
- Abstract要約: 多様体ベースの信頼度校正技術は一般に、大きな入力空間を持つモデルに適用した場合、スケールや高価なリトレーニングを必要としない。
本稿では,ReCalが複数のデータセット,特にImageNetのような大規模データセットにおいて,他のキャリブレーション手法よりも優れていることを示す。
- 参考スコア(独自算出の注目度): 7.4769019455423855
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Providing reliable model uncertainty estimates is imperative to enabling
robust decision making by autonomous agents and humans alike. While recently
there have been significant advances in confidence calibration for trained
models, examples with poor calibration persist in most calibrated models.
Consequently, multiple techniques have been proposed that leverage
label-invariant transformations of the input (i.e., an input manifold) to
improve worst-case confidence calibration. However, manifold-based confidence
calibration techniques generally do not scale and/or require expensive
retraining when applied to models with large input spaces (e.g., ImageNet). In
this paper, we present the recursive lossy label-invariant calibration (ReCal)
technique that leverages label-invariant transformations of the input that
induce a loss of discriminatory information to recursively group (and
calibrate) inputs - without requiring model retraining. We show that ReCal
outperforms other calibration methods on multiple datasets, especially, on
large-scale datasets such as ImageNet.
- Abstract(参考訳): 信頼できるモデル不確実性推定を提供することは、自律エージェントや人間による堅牢な意思決定を可能にする上で不可欠である。
近年、訓練モデルの信頼性校正は大幅に進歩しているが、ほとんどの校正モデルでは校正が不十分な例が続いている。
その結果、入力のラベル不変変換(例えば入力多様体)を利用して最悪のケースの信頼性校正を改善する複数の手法が提案されている。
しかし、多様体ベースの信頼度校正技術は一般に、大きな入力空間(例:imagenet)を持つモデルに適用する場合、スケールしたり、高価な再訓練が必要となる。
本稿では、モデル再訓練を必要とせず、再帰的にグループ化(および校正)するために識別情報の損失を誘導する入力のラベル不変変換を利用する再帰的損失ラベル不変キャリブレーション(ReCal)手法を提案する。
ReCalは複数のデータセット、特にImageNetのような大規模データセットにおいて、他のキャリブレーション手法よりも優れていることを示す。
関連論文リスト
- Confidence-Aware Multi-Field Model Calibration [40.92687117267034]
フィールド対応キャリブレーションは、異なる特徴フィールド値のモデル出力を調整することで、きめ細かい広告要求を満たすことができる。
本稿では,サンプル統計から得られた信頼度に基づいてキャリブレーション強度を適応的に調整する,信頼性を考慮したマルチフィールドキャリブレーション手法を提案する。
論文 参考訳(メタデータ) (2024-02-27T16:24:28Z) - Calibrating Large Language Models with Sample Consistency [76.23956851098598]
本稿では,複数サンプルモデル生成系の分布から信頼度を導出する可能性について,一貫性の3つの尺度を用いて検討する。
その結果、一貫性に基づくキャリブレーション手法は、既存のポストホック手法よりも優れていることがわかった。
種々のLMの特性に合わせて,キャリブレーションに適した整合性指標を選択するための実用的なガイダンスを提供する。
論文 参考訳(メタデータ) (2024-02-21T16:15:20Z) - Calibration by Distribution Matching: Trainable Kernel Calibration
Metrics [56.629245030893685]
カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。
これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。
決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
論文 参考訳(メタデータ) (2023-10-31T06:19:40Z) - Scaling of Class-wise Training Losses for Post-hoc Calibration [6.0632746602205865]
そこで本研究では,クラスレベルの学習損失を同期させるキャリブレーション手法を提案する。
複数のクラスワイドスケーリング因子を用いて、クラスワイドトレーニング損失の分散を軽減するために、新しいトレーニング損失を設計する。
種々のポストホックキャリブレーション手法を用いて,提案手法の有効性を検証した。
論文 参考訳(メタデータ) (2023-06-19T14:59:37Z) - Sharp Calibrated Gaussian Processes [58.94710279601622]
キャリブレーションされたモデルを設計するための最先端のアプローチは、ガウス過程の後方分散を膨らませることに依存している。
本稿では,バニラガウス過程の後方分散にインスパイアされた計算を用いて,予測量子化を生成するキャリブレーション手法を提案する。
我々のアプローチは合理的な仮定の下で校正されたモデルが得られることを示す。
論文 参考訳(メタデータ) (2023-02-23T12:17:36Z) - On Calibrating Semantic Segmentation Models: Analyses and An Algorithm [51.85289816613351]
セマンティックセグメンテーションキャリブレーションの問題について検討する。
モデルキャパシティ、作物サイズ、マルチスケールテスト、予測精度はキャリブレーションに影響を及ぼす。
我々は、単純で統一的で効果的なアプローチ、すなわち選択的スケーリングを提案する。
論文 参考訳(メタデータ) (2022-12-22T22:05:16Z) - Variable-Based Calibration for Machine Learning Classifiers [11.9995808096481]
モデルのキャリブレーション特性を特徴付けるために,変数ベースのキャリブレーションの概念を導入する。
ほぼ完全なキャリブレーション誤差を持つモデルでは,データの特徴の関数としてかなりの誤校正が期待できることがわかった。
論文 参考訳(メタデータ) (2022-09-30T00:49:31Z) - On the Dark Side of Calibration for Modern Neural Networks [65.83956184145477]
予測キャリブレーション誤差(ECE)を予測信頼度と改善度に分解する。
正規化に基づくキャリブレーションは、モデルの信頼性を損なうことのみに焦点を当てる。
ラベルの平滑化やミキサアップなど,多くのキャリブレーション手法により,DNNの精度を低下させることで,DNNの有用性を低下させることがわかった。
論文 参考訳(メタデータ) (2021-06-17T11:04:14Z) - Transferable Calibration with Lower Bias and Variance in Domain
Adaptation [139.4332115349543]
ドメイン適応(DA)は、ラベル付きソースドメインからラベル付きターゲットドメインへの学習マシンの転送を可能にする。
DAモデルの予測的不確実性を推定する方法は、安全クリティカルなシナリオにおける意思決定に不可欠である。
TransCalは既存のDAメソッドの校正に簡単に適用できる。
論文 参考訳(メタデータ) (2020-07-16T11:09:36Z) - Calibrating Structured Output Predictors for Natural Language Processing [8.361023354729731]
本稿では,ニューラルネットワークに基づく構造化予測モデルに注目する出力要素の一般的なキャリブレーション手法を提案する。
提案手法は,任意のバイナリクラスキャリブレーションスキームとニューラルネットワークモデルを用いて適用することができる。
提案手法は, 話者認識, パート・オブ・音声, 質問応答における現在のキャリブレーション手法より優れていることを示す。
論文 参考訳(メタデータ) (2020-04-09T04:14:46Z) - Quantile Regularization: Towards Implicit Calibration of Regression
Models [30.872605139672086]
2つのCDF間の累積KL分散として定義される新しい量子正規化器に基づく回帰モデルの校正法を提案する。
提案手法は,Dropout VI や Deep Ensembles といった手法を用いて学習した回帰モデルのキャリブレーションを大幅に改善することを示す。
論文 参考訳(メタデータ) (2020-02-28T16:53:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。