論文の概要: ESD: Expected Squared Difference as a Tuning-Free Trainable Calibration
Measure
- arxiv url: http://arxiv.org/abs/2303.02472v1
- Date: Sat, 4 Mar 2023 18:06:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-07 19:18:52.295517
- Title: ESD: Expected Squared Difference as a Tuning-Free Trainable Calibration
Measure
- Title（参考訳）: ESD: チューニング不要なトレーニング可能な校正尺度としての正方形差を期待
- Authors: Hee Suk Yoon, Joshua Tian Jin Tee, Eunseop Yoon, Sunjae Yoon, Gwangsu
Kim, Yingzhen Li, Chang D. Yoo
- Abstract要約: 期待される正方偏差(ESD)は、チューニング不要なトレーニング可能なキャリブレーション目標損失である。
従来の手法と比較して,ESDが最良の校正結果をもたらすことを示す。
ESDは、トレーニング中の校正に必要な計算コストを大幅に改善する。
- 参考スコア（独自算出の注目度）: 24.669774177013675
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Studies have shown that modern neural networks tend to be poorly calibrated
due to over-confident predictions. Traditionally, post-processing methods have
been used to calibrate the model after training. In recent years, various
trainable calibration measures have been proposed to incorporate them directly
into the training process. However, these methods all incorporate internal
hyperparameters, and the performance of these calibration objectives relies on
tuning these hyperparameters, incurring more computational costs as the size of
neural networks and datasets become larger. As such, we present Expected
Squared Difference (ESD), a tuning-free (i.e., hyperparameter-free) trainable
calibration objective loss, where we view the calibration error from the
perspective of the squared difference between the two expectations. With
extensive experiments on several architectures (CNNs, Transformers) and
datasets, we demonstrate that (1) incorporating ESD into the training improves
model calibration in various batch size settings without the need for internal
hyperparameter tuning, (2) ESD yields the best-calibrated results compared with
previous approaches, and (3) ESD drastically improves the computational costs
required for calibration during training due to the absence of internal
hyperparameter. The code is publicly accessible at
https://github.com/hee-suk-yoon/ESD.
- Abstract（参考訳）: 研究によると、現代のニューラルネットワークは過信の予測のために校正が不十分である傾向がある。
伝統的に、後処理法は訓練後のモデルの校正に使われてきた。
近年、トレーニングプロセスに直接組み込むための様々なトレーニング可能な校正策が提案されている。
しかし、これらの手法はすべて内部のハイパーパラメータを取り入れており、これらのキャリブレーション目標の性能はこれらのハイパーパラメータのチューニングに依存しており、ニューラルネットワークやデータセットのサイズが大きくなるにつれて計算コストが増大する。
そこで我々は,2つの期待値の2乗差の観点からキャリブレーション誤差を考慮し,チューニング不要な(ハイパーパラメータフリー)トレーニング可能なキャリブレーション目標損失である期待正方形差(ESD)を提示する。
複数のアーキテクチャ(CNN, Transformer)とデータセットの広範な実験により,(1)内部ハイパーパラメータチューニングを必要とせずに,トレーニングにESDを組み込むことで,各種バッチサイズ設定におけるモデルキャリブレーションが向上すること,(2)ESDが従来の手法と比較して最高のキャリブレーション結果が得られること,(3)内部ハイパーパラメータの欠如によるトレーニング中のキャリブレーションに要する計算コストが劇的に向上すること,などが示されている。
コードはhttps://github.com/hee-suk-yoon/esdで公開されている。
関連論文リスト
- Feature Clipping for Uncertainty Calibration [24.465567005078135]
現代のディープニューラルネットワーク(DNN)は、しばしば過剰な自信に悩まされ、誤校正につながる。
この問題に対処するために,特徴クリッピング(FC)と呼ばれるポストホックキャリブレーション手法を提案する。
FCは特定の閾値に特徴値をクリップし、高い校正誤差サンプルのエントロピーを効果的に増加させる。
論文 参考訳（メタデータ） (2024-10-16T06:44:35Z) - Decoupling Feature Extraction and Classification Layers for Calibrated Neural Networks [3.5284544394841117]
過度にパラメータ化されたDNNアーキテクチャにおける特徴抽出層と分類層の訓練を分離することで、モデルの校正が大幅に向上することを示す。
本稿では,複数の画像分類ベンチマークデータセットに対して,VTおよびWRNアーキテクチャ間のキャリブレーションを改善する手法を提案する。
論文 参考訳（メタデータ） (2024-05-02T11:36:17Z) - Probabilistic Calibration by Design for Neural Network Regression [2.3020018305241337]
本稿では,量子校正トレーニングと呼ばれる新しいエンドツーエンドモデルトレーニング手法を提案する。
57の回帰データセットを含む大規模実験において,本手法の性能を実証した。
論文 参考訳（メタデータ） (2024-03-18T17:04:33Z) - Cal-DETR: Calibrated Detection Transformer [67.75361289429013]
本稿では,Deformable-DETR,UP-DETR,DINOのキャリブレーション検出トランス(Cal-DETR)のメカニズムを提案する。
我々は、不確実性を利用してクラスロジットを変調する不確実性誘導ロジット変調機構を開発する。
その結果、Cal-DETRは、ドメイン内およびドメイン外の両方を校正する競合する列車時間法に対して有効であることがわかった。
論文 参考訳（メタデータ） (2023-11-06T22:13:10Z) - Bridging Precision and Confidence: A Train-Time Loss for Calibrating
Object Detection [58.789823426981044]
本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。
その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
論文 参考訳（メタデータ） (2023-03-25T08:56:21Z) - A Close Look into the Calibration of Pre-trained Language Models [56.998539510508515]
事前訓練された言語モデル(PLM)は、予測の不確かさを確実に見積もることに失敗する可能性がある。
トレーニングにおけるPLMの校正性能の動的変化について検討する。
最近提案された2つの学習可能な手法を拡張して、モデルを直接収集し、合理的な信頼度を推定する。
論文 参考訳（メタデータ） (2022-10-31T21:31:07Z) - Meta-Calibration: Learning of Model Calibration Using Differentiable
Expected Calibration Error [46.12703434199988]
我々は、キャリブレーション品質を直接最適化できる、期待キャリブレーション誤差(DECE)のための新しい微分可能なサロゲートを導入する。
また、DECEを用いて検証セットの校正を最適化するメタラーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2021-06-17T15:47:50Z) - On the Dark Side of Calibration for Modern Neural Networks [65.83956184145477]
予測キャリブレーション誤差(ECE)を予測信頼度と改善度に分解する。
正規化に基づくキャリブレーションは、モデルの信頼性を損なうことのみに焦点を当てる。
ラベルの平滑化やミキサアップなど,多くのキャリブレーション手法により,DNNの精度を低下させることで,DNNの有用性を低下させることがわかった。
論文 参考訳（メタデータ） (2021-06-17T11:04:14Z) - Parameterized Temperature Scaling for Boosting the Expressive Power in
Post-Hoc Uncertainty Calibration [57.568461777747515]
我々は新しいキャリブレーション手法であるパラメタライズド温度スケーリング(PTS)を導入する。
最新のポストホックキャリブレータの精度保持性能は、その本質的な表現力によって制限されることを実証します。
当社の新しい精度保存手法が,多数のモデルアーキテクチャやデータセット,メトリクスにおいて,既存のアルゴリズムを一貫して上回っていることを示す。
論文 参考訳（メタデータ） (2021-02-24T10:18:30Z) - Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。
本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文 参考訳（メタデータ） (2020-06-10T08:22:41Z) - On Calibration of Mixup Training for Deep Neural Networks [1.6242924916178283]
我々は、Mixupが必ずしも校正を改善していないという実証的な証拠を論じ、提示する。
我々の損失はベイズ決定理論にインスパイアされ、確率的モデリングの損失を設計するための新しいトレーニングフレームワークが導入された。
キャリブレーション性能を一貫した改善を施した最先端の精度を提供する。
論文 参考訳（メタデータ） (2020-03-22T16:54:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。