論文の概要: A Uniform Confidence Phenomenon in Deep Learning and its Implications for Calibration

• arxiv url: http://arxiv.org/abs/2306.00740v1
• Date: Thu, 1 Jun 2023 14:35:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-02 15:36:11.408519
• Title: A Uniform Confidence Phenomenon in Deep Learning and its Implications for Calibration
• Title（参考訳）: 深層学習における一様信頼現象とその校正への応用
• Authors: Muthu Chidambaram and Rong Ge
• Abstract要約: ディープ・ニューラル・ネットワークは トレーニングポイントの周囲に ほぼ確実な自信を持つ大きな地区がある この欠陥を回避するために、Mixupデータ拡張技術に基づいて、修正された損失を使用するようにトレーニングプロセスを変更することで、この欠陥を回避することができる。
• 参考スコア（独自算出の注目度）: 10.742790543715966
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite the impressive generalization capabilities of deep neural networks, they have been repeatedly shown to poorly estimate their predictive uncertainty - in other words, they are frequently overconfident when they are wrong. Fixing this issue is known as model calibration, and has consequently received much attention in the form of modified training schemes and post-training calibration procedures. In this work, we present a significant hurdle to the calibration of modern models: deep neural networks have large neighborhoods of almost certain confidence around their training points. We demonstrate in our experiments that this phenomenon consistently arises (in the context of image classification) across many model and dataset pairs. Furthermore, we prove that when this phenomenon holds, for a large class of data distributions with overlaps between classes, it is not possible to obtain a model that is asymptotically better than random (with respect to calibration) even after applying the standard post-training calibration technique of temperature scaling. On the other hand, we also prove that it is possible to circumvent this defect by changing the training process to use a modified loss based on the Mixup data augmentation technique.
• Abstract（参考訳）: ディープニューラルネットワークの印象的な一般化能力にもかかわらず、予測の不確実性が低く見積もられていることが繰り返し示されている。 この問題の修正はモデルキャリブレーションと呼ばれ、改良されたトレーニングスキームや訓練後のキャリブレーション手順という形で多くの注目を集めた。 本研究では,最新のモデルのキャリブレーションにおいて大きなハードルを提示する。深層ニューラルネットワークは,そのトレーニングポイントに関する信頼性がほぼ確実である。 実験では、この現象が(画像分類の文脈で)多くのモデルとデータセットのペアで一貫して発生することを実証する。 さらに,この現象がクラス間の重なりを持つ大規模データ分布を持つ場合には,温度スケーリングの標準訓練後のキャリブレーション手法を適用した場合でも,ランダム(キャリブレーション)よりも漸近的に優れたモデルを得ることはできないことを証明した。 一方で,mixupデータ拡張手法に基づき,トレーニングプロセスを変更して修正損失を使用することで,この欠陥を回避することが可能であることを実証する。

関連論文リスト

• Calibration by Distribution Matching: Trainable Kernel Calibration Metrics [56.629245030893685]
  カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。 これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。 決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
  論文  参考訳（メタデータ） (2023-10-31T06:19:40Z)
• Dual-Branch Temperature Scaling Calibration for Long-Tailed Recognition [19.12557383199547]
  本稿では,二分岐温度スケーリングキャリブレーションモデル(Dual-TS)を提案する。 異なるカテゴリの温度パラメータの多様性と、少数クラスの稀なサンプルに対する温度パラメータの非一般化性を同時に検討する。 我々のモデルでは、従来のECEとEsbin-ECEメトリクスの両方で最先端のモデルが得られます。
  論文  参考訳（メタデータ） (2023-08-16T13:40:58Z)
• Set Learning for Accurate and Calibrated Models [17.187117466317265]
  Odd-$k$-out Learningは単一の例ではなく集合のクロスエントロピー誤差を最小限にする。 OKOは、ハードラベルでトレーニングしたり、追加のキャリブレーションパラメータチューニングを落としたりしても、キャリブレーションが良くなる。
  論文  参考訳（メタデータ） (2023-07-05T12:39:58Z)
• Multi-Head Multi-Loss Model Calibration [13.841172927454204]
  我々は,深層アンサンブルの訓練と推論に要する費用を省く,単純化されたアンサンブルの形式を導入する。 具体的には、各頭部は、重み付きクロスエントロピー損失を最小限に抑えるために訓練されるが、重みは異なる枝によって異なる。 その結果,2つの挑戦データセットにおいて精度を犠牲にすることなく,精度の高いキャリブレーションを達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-03-02T09:32:32Z)
• Sharp Calibrated Gaussian Processes [58.94710279601622]
  キャリブレーションされたモデルを設計するための最先端のアプローチは、ガウス過程の後方分散を膨らませることに依存している。 本稿では,バニラガウス過程の後方分散にインスパイアされた計算を用いて,予測量子化を生成するキャリブレーション手法を提案する。 我々のアプローチは合理的な仮定の下で校正されたモデルが得られることを示す。
  論文  参考訳（メタデータ） (2023-02-23T12:17:36Z)
• Adaptive Temperature Scaling for Robust Calibration of Deep Neural Networks [0.7219077740523682]
  本研究では、信頼性スケーリングの課題、特に温度スケーリングを一般化するポストホック手法に焦点を当てる。 ニューラルネットワークのような複雑なデータモデルがたくさん存在すると、パフォーマンスは向上するが、データ量に制限がある場合には失敗する傾向にある。 本研究では,エントロピーに基づく温度スケーリングを提案し,そのエントロピーに応じて予測の信頼性を尺度化する。
  論文  参考訳（メタデータ） (2022-07-31T16:20:06Z)
• Sample-dependent Adaptive Temperature Scaling for Improved Calibration [95.7477042886242]
  ニューラルネットワークの誤りを補うポストホックアプローチは、温度スケーリングを実行することだ。 入力毎に異なる温度値を予測し、信頼度と精度のミスマッチを調整することを提案する。 CIFAR10/100およびTiny-ImageNetデータセットを用いて,ResNet50およびWideResNet28-10アーキテクチャ上で本手法をテストする。
  論文  参考訳（メタデータ） (2022-07-13T14:13:49Z)
• Parameterized Temperature Scaling for Boosting the Expressive Power in Post-Hoc Uncertainty Calibration [57.568461777747515]
  我々は新しいキャリブレーション手法であるパラメタライズド温度スケーリング(PTS)を導入する。 最新のポストホックキャリブレータの精度保持性能は、その本質的な表現力によって制限されることを実証します。 当社の新しい精度保存手法が,多数のモデルアーキテクチャやデータセット,メトリクスにおいて,既存のアルゴリズムを一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2021-02-24T10:18:30Z)
• Uncertainty Quantification and Deep Ensembles [79.4957965474334]
  ディープアンサンブルが必ずしもキャリブレーション特性の改善につながるとは限らないことを示す。 そこで本研究では,混成正規化などの現代的な手法と併用して標準アンサンブル法を用いることで,キャリブレーションの少ないモデルが得られることを示す。 このテキストは、データが不足しているときにディープラーニングを活用するために、最も単純で一般的な3つのアプローチの相互作用を調べる。
  論文  参考訳（メタデータ） (2020-07-17T07:32:24Z)
• Unsupervised Calibration under Covariate Shift [92.02278658443166]
  ドメインシフト下でのキャリブレーションの問題を導入し、それに対処するための重要サンプリングに基づくアプローチを提案する。 実世界のデータセットと合成データセットの両方において,本手法の有効性を評価し検討した。
  論文  参考訳（メタデータ） (2020-06-29T21:50:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。