論文の概要: Sample-dependent Adaptive Temperature Scaling for Improved Calibration

• arxiv url: http://arxiv.org/abs/2207.06211v1
• Date: Wed, 13 Jul 2022 14:13:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-14 19:32:09.273948
• Title: Sample-dependent Adaptive Temperature Scaling for Improved Calibration
• Title（参考訳）: 改良キャリブレーションのためのサンプル依存適応温度スケーリング
• Authors: Tom Joy, Francesco Pinto, Ser-Nam Lim, Philip H. S. Torr, Puneet K. Dokania
• Abstract要約: ニューラルネットワークの誤りを補うポストホックアプローチは、温度スケーリングを実行することだ。 入力毎に異なる温度値を予測し、信頼度と精度のミスマッチを調整することを提案する。 CIFAR10/100およびTiny-ImageNetデータセットを用いて,ResNet50およびWideResNet28-10アーキテクチャ上で本手法をテストする。
• 参考スコア（独自算出の注目度）: 95.7477042886242
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: It is now well known that neural networks can be wrong with high confidence in their predictions, leading to poor calibration. The most common post-hoc approach to compensate for this is to perform temperature scaling, which adjusts the confidences of the predictions on any input by scaling the logits by a fixed value. Whilst this approach typically improves the average calibration across the whole test dataset, this improvement typically reduces the individual confidences of the predictions irrespective of whether the classification of a given input is correct or incorrect. With this insight, we base our method on the observation that different samples contribute to the calibration error by varying amounts, with some needing to increase their confidence and others needing to decrease it. Therefore, for each input, we propose to predict a different temperature value, allowing us to adjust the mismatch between confidence and accuracy at a finer granularity. Furthermore, we observe improved results on OOD detection and can also extract a notion of hardness for the data-points. Our method is applied post-hoc, consequently using very little computation time and with a negligible memory footprint and is applied to off-the-shelf pre-trained classifiers. We test our method on the ResNet50 and WideResNet28-10 architectures using the CIFAR10/100 and Tiny-ImageNet datasets, showing that producing per-data-point temperatures is beneficial also for the expected calibration error across the whole test set. Code is available at: https://github.com/thwjoy/adats.
• Abstract（参考訳）: 現在、ニューラルネットワークは予測に高い信頼を持って誤りを犯し、キャリブレーションの低下につながることが知られている。 これを補う最も一般的なポストホックなアプローチは、任意の入力に対する予測の信頼度を固定値でスケーリングすることで調整する温度スケーリングである。 このアプローチは通常、テストデータセット全体の平均キャリブレーションを改善するが、この改善は、与えられた入力の分類が正しいかどうかに関わらず、予測の個々の信頼性を低下させる。 そこで本研究では, 異なる試料がキャリブレーション誤差に寄与するのに対し, 信頼性を高める必要があるものや, 減らさなければならないものなどについて考察する。 そこで,各入力に対して異なる温度値を予測することを提案し,より微細な粒度で精度と信頼性のミスマッチを調整できるようにした。 さらに,OOD検出における改良された結果を観察し,データポイントの硬さの概念を抽出する。 提案手法は,計算時間が少なく,メモリフットプリントも無視できるので,市販の事前学習型分類器に適用できる。 我々は,CIFAR10/100およびTiny-ImageNetデータセットを用いてResNet50およびWideResNet28-10アーキテクチャ上でテストを行い,データ毎の温度生成がテストセット全体にわたって期待されるキャリブレーション誤差にも有用であることを示した。 コードはhttps://github.com/thwjoy/adats.com/。

関連論文リスト

• Calibrating Language Models with Adaptive Temperature Scaling [58.056023173579625]
  本稿では,各トークンの温度スケーリングパラメータを予測するポストホックキャリブレーション法であるAdaptive Temperature Scaling (ATS)を紹介する。 ATSは、以前のキャリブレーション法と比較して、3つの下流自然言語評価ベンチマークで10-50%以上のキャリブレーションを改善する。
  論文  参考訳（メタデータ） (2024-09-29T22:54:31Z)
• Improving Calibration by Relating Focal Loss, Temperature Scaling, and Properness [1.9055459597116435]
  クロスエントロピーは、訓練データに基づいてよく校正されたクラス確率を生成するために分類器をインセンティブ化する。 焦点損失を信頼性向上変換と適切な損失に分解できることを示す。 焦点温度のスケーリング - 焦点温度のキャリブレーションと温度のスケーリングを組み合わせた新しいポストホックキャリブレーション法を提案する。
  論文  参考訳（メタデータ） (2024-08-21T13:10:44Z)
• Domain-adaptive and Subgroup-specific Cascaded Temperature Regression for Out-of-distribution Calibration [16.930766717110053]
  本稿では, メタセットをベースとした新しい温度回帰法を提案し, ポストホックキャリブレーション法を提案する。 予測されたカテゴリと信頼度に基づいて,各メタセットをサブグループに分割し,多様な不確実性を捉える。 回帰ネットワークは、カテゴリ特化および信頼レベル特化スケーリングを導出し、メタセット間のキャリブレーションを達成するように訓練される。
  論文  参考訳（メタデータ） (2024-02-14T14:35:57Z)
• Delving into temperature scaling for adaptive conformal prediction [10.340903334800787]
  コンフォーマル予測は、新たな不確実性保証手法として、予め定義された確率で真のラベルを含むことが保証される予測セットを構築する。 温度スケーリングのような現在の信頼度校正法は、適応的等角予測において、通常より大きな予測セットをもたらすことを示す。 本稿では,適応型共形予測の効率向上を目的とした温度スケーリングの変種である$Conformal$$Temperature$$Scaling$ (ConfTS)を提案する。
  論文  参考訳（メタデータ） (2024-02-06T19:27:48Z)
• Calibration of Neural Networks [77.34726150561087]
  本稿では,ニューラルネットワークの文脈における信頼性校正問題について調査する。 我々は,問題文,キャリブレーション定義,評価に対する異なるアプローチについて分析する。 実験実験では、様々なデータセットとモデルをカバーし、異なる基準に従って校正方法を比較する。
  論文  参考訳（メタデータ） (2023-03-19T20:27:51Z)
• Revisiting Calibration for Question Answering [16.54743762235555]
  従来のキャリブレーション評価はモデル信頼性の有用性を反映していないと論じる。 モデルが誤った予測に低信頼を割り当て、正しい予測に高信頼を割り当てているかどうかをよりよく把握する新しい校正基準であるMacroCEを提案する。
  論文  参考訳（メタデータ） (2022-05-25T05:49:56Z)
• Parameterized Temperature Scaling for Boosting the Expressive Power in Post-Hoc Uncertainty Calibration [57.568461777747515]
  我々は新しいキャリブレーション手法であるパラメタライズド温度スケーリング(PTS)を導入する。 最新のポストホックキャリブレータの精度保持性能は、その本質的な表現力によって制限されることを実証します。 当社の新しい精度保存手法が,多数のモデルアーキテクチャやデータセット,メトリクスにおいて,既存のアルゴリズムを一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2021-02-24T10:18:30Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)
• Calibrating Deep Neural Networks using Focal Loss [77.92765139898906]
  ミススキャリブレーション(Miscalibration)は、モデルの信頼性と正しさのミスマッチである。 焦点損失は、既に十分に校正されたモデルを学ぶことができることを示す。 ほぼすべてのケースにおいて精度を損なうことなく,最先端のキャリブレーションを達成できることを示す。
  論文  参考訳（メタデータ） (2020-02-21T17:35:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。