論文の概要: Improving Calibration by Relating Focal Loss, Temperature Scaling, and Properness

• arxiv url: http://arxiv.org/abs/2408.11598v1
• Date: Wed, 21 Aug 2024 13:10:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-22 16:57:19.944677
• Title: Improving Calibration by Relating Focal Loss, Temperature Scaling, and Properness
• Title（参考訳）: 焦点損失, 温度スケーリング, 良さの関連による校正の改善
• Authors: Viacheslav Komisarenko, Meelis Kull,
• Abstract要約: クロスエントロピーは、訓練データに基づいてよく校正されたクラス確率を生成するために分類器をインセンティブ化する。 焦点損失を信頼性向上変換と適切な損失に分解できることを示す。 焦点温度のスケーリング - 焦点温度のキャリブレーションと温度のスケーリングを組み合わせた新しいポストホックキャリブレーション法を提案する。
• 参考スコア（独自算出の注目度）: 1.9055459597116435
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Proper losses such as cross-entropy incentivize classifiers to produce class probabilities that are well-calibrated on the training data. Due to the generalization gap, these classifiers tend to become overconfident on the test data, mandating calibration methods such as temperature scaling. The focal loss is not proper, but training with it has been shown to often result in classifiers that are better calibrated on test data. Our first contribution is a simple explanation about why focal loss training often leads to better calibration than cross-entropy training. For this, we prove that focal loss can be decomposed into a confidence-raising transformation and a proper loss. This is why focal loss pushes the model to provide under-confident predictions on the training data, resulting in being better calibrated on the test data, due to the generalization gap. Secondly, we reveal a strong connection between temperature scaling and focal loss through its confidence-raising transformation, which we refer to as the focal calibration map. Thirdly, we propose focal temperature scaling - a new post-hoc calibration method combining focal calibration and temperature scaling. Our experiments on three image classification datasets demonstrate that focal temperature scaling outperforms standard temperature scaling.
• Abstract（参考訳）: クロスエントロピーのような適切な損失は、訓練データに基づいてよく校正されたクラス確率を生成するために分類器をインセンティブ化する。 一般化のギャップのため、これらの分類器はテストデータに過信され、温度スケーリングのようなキャリブレーション法を強制する傾向にある。 焦点損失は適切なものではないが、それを用いたトレーニングは、テストデータでよりキャリブレーションされた分類器をもたらすことがしばしば示されている。 最初のコントリビューションは、焦点損失トレーニングがクロスエントロピートレーニングよりもキャリブレーションが優れている理由について、簡単な説明である。 このため、焦点損失は信頼性向上変換と適切な損失に分解できることを示す。 そのため、焦点損失はモデルにトレーニングデータに対する信頼度の低い予測を与えるように押し付け、その結果、一般化ギャップのため、テストデータに対するキャリブレーションが向上する。 第2に、温度スケーリングと、その信頼性上昇変換による焦点損失の強い関係を明らかにし、これを焦点校正写像と呼ぶ。 第3に、焦点温度のスケーリング - 焦点温度のキャリブレーションと温度のスケーリングを組み合わせた新しいポストホックキャリブレーション法を提案する。 3つの画像分類データセットに対する実験により、焦点温度のスケーリングは標準温度のスケーリングよりも優れていることが示された。

関連論文リスト

• Calibrating Language Models with Adaptive Temperature Scaling [58.056023173579625]
  本稿では,各トークンの温度スケーリングパラメータを予測するポストホックキャリブレーション法であるAdaptive Temperature Scaling (ATS)を紹介する。 ATSは、以前のキャリブレーション法と比較して、3つの下流自然言語評価ベンチマークで10-50%以上のキャリブレーションを改善する。
  論文  参考訳（メタデータ） (2024-09-29T22:54:31Z)
• On the Limitations of Temperature Scaling for Distributions with Overlaps [8.486166869140929]
  一般的な分布集合に対する経験的リスク最小化器の場合, 温度スケーリング性能は, クラス間の重なり合いによって低下することを示す。 そこで本研究では,Mixupデータ拡張手法によって引き起こされる経験的リスクの修正形式を最適化することで,キャリブレーション性能が良好であることが実証された。
  論文  参考訳（メタデータ） (2023-06-01T14:35:28Z)
• AdaFocal: Calibration-aware Adaptive Focal Loss [8.998525155518836]
  焦点損失のあるトレーニングは、クロスエントロピーよりもキャリブレーションが優れている。 AdaFocal と呼ばれる適応型焦点損失を校正する手法を提案する。
  論文  参考訳（メタデータ） (2022-11-21T20:19:24Z)
• A Close Look into the Calibration of Pre-trained Language Models [56.998539510508515]
  事前訓練された言語モデル(PLM)は、予測の不確かさを確実に見積もることに失敗する可能性がある。 トレーニングにおけるPLMの校正性能の動的変化について検討する。 最近提案された2つの学習可能な手法を拡張して、モデルを直接収集し、合理的な信頼度を推定する。
  論文  参考訳（メタデータ） (2022-10-31T21:31:07Z)
• Adaptive Temperature Scaling for Robust Calibration of Deep Neural Networks [0.7219077740523682]
  本研究では、信頼性スケーリングの課題、特に温度スケーリングを一般化するポストホック手法に焦点を当てる。 ニューラルネットワークのような複雑なデータモデルがたくさん存在すると、パフォーマンスは向上するが、データ量に制限がある場合には失敗する傾向にある。 本研究では,エントロピーに基づく温度スケーリングを提案し,そのエントロピーに応じて予測の信頼性を尺度化する。
  論文  参考訳（メタデータ） (2022-07-31T16:20:06Z)
• Sample-dependent Adaptive Temperature Scaling for Improved Calibration [95.7477042886242]
  ニューラルネットワークの誤りを補うポストホックアプローチは、温度スケーリングを実行することだ。 入力毎に異なる温度値を予測し、信頼度と精度のミスマッチを調整することを提案する。 CIFAR10/100およびTiny-ImageNetデータセットを用いて,ResNet50およびWideResNet28-10アーキテクチャ上で本手法をテストする。
  論文  参考訳（メタデータ） (2022-07-13T14:13:49Z)
• Parameterized Temperature Scaling for Boosting the Expressive Power in Post-Hoc Uncertainty Calibration [57.568461777747515]
  我々は新しいキャリブレーション手法であるパラメタライズド温度スケーリング(PTS)を導入する。 最新のポストホックキャリブレータの精度保持性能は、その本質的な表現力によって制限されることを実証します。 当社の新しい精度保存手法が,多数のモデルアーキテクチャやデータセット,メトリクスにおいて,既存のアルゴリズムを一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2021-02-24T10:18:30Z)
• Uncertainty Quantification and Deep Ensembles [79.4957965474334]
  ディープアンサンブルが必ずしもキャリブレーション特性の改善につながるとは限らないことを示す。 そこで本研究では,混成正規化などの現代的な手法と併用して標準アンサンブル法を用いることで,キャリブレーションの少ないモデルが得られることを示す。 このテキストは、データが不足しているときにディープラーニングを活用するために、最も単純で一般的な3つのアプローチの相互作用を調べる。
  論文  参考訳（メタデータ） (2020-07-17T07:32:24Z)
• Calibrating Deep Neural Networks using Focal Loss [77.92765139898906]
  ミススキャリブレーション(Miscalibration)は、モデルの信頼性と正しさのミスマッチである。 焦点損失は、既に十分に校正されたモデルを学ぶことができることを示す。 ほぼすべてのケースにおいて精度を損なうことなく,最先端のキャリブレーションを達成できることを示す。
  論文  参考訳（メタデータ） (2020-02-21T17:35:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。