論文の概要: Annealing Double-Head: An Architecture for Online Calibration of Deep
Neural Networks
- arxiv url: http://arxiv.org/abs/2212.13621v1
- Date: Tue, 27 Dec 2022 21:21:58 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-29 14:17:09.729463
- Title: Annealing Double-Head: An Architecture for Online Calibration of Deep
Neural Networks
- Title(参考訳): annealing double-head: ディープニューラルネットワークのオンラインキャリブレーションのためのアーキテクチャ
- Authors: Erdong Guo, David Draper and Maria De Iorio
- Abstract要約: 現代のディープニューラルネットワークは、予測信頼度が過大評価されているため、概してキャリブレーションが不十分である。
本稿では,DNN を訓練中に校正するための簡易かつ高効率なアーキテクチャである Annealing Double-Head を提案する。
提案手法は, 後処理を伴わずに, 最先端モデル校正性能を達成できることを実証する。
- 参考スコア(独自算出の注目度): 1.1602089225841632
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Model calibration, which is concerned with how frequently the model predicts
correctly, not only plays a vital part in statistical model design, but also
has substantial practical applications, such as optimal decision-making in the
real world. However, it has been discovered that modern deep neural networks
are generally poorly calibrated due to the overestimation (or underestimation)
of predictive confidence, which is closely related to overfitting. In this
paper, we propose Annealing Double-Head, a simple-to-implement but highly
effective architecture for calibrating the DNN during training. To be precise,
we construct an additional calibration head-a shallow neural network that
typically has one latent layer-on top of the last latent layer in the normal
model to map the logits to the aligned confidence. Furthermore, a simple
Annealing technique that dynamically scales the logits by calibration head in
training procedure is developed to improve its performance. Under both the
in-distribution and distributional shift circumstances, we exhaustively
evaluate our Annealing Double-Head architecture on multiple pairs of
contemporary DNN architectures and vision and speech datasets. We demonstrate
that our method achieves state-of-the-art model calibration performance without
post-processing while simultaneously providing comparable predictive accuracy
in comparison to other recently proposed calibration methods on a range of
learning tasks.
- Abstract(参考訳): モデルキャリブレーションは、モデルがどの程度の頻度で予測されるかに関係しており、統計モデル設計において重要な役割を果たすだけでなく、現実世界における最適な意思決定のような実用的な応用も持っている。
しかし、現代のディープニューラルネットワークは、予測信頼の過大評価(あるいは過小評価)によって、概して調整が不十分であることが発見されている。
本稿では,訓練中のDNNの校正のための簡易かつ高効率なアーキテクチャであるAnnealing Double-Headを提案する。
正確には、通常モデルにおける最後の潜伏層の最上部に1つの潜伏層を持つ、キャリブレーションヘッド付き浅層ニューラルネットワークを構築し、ロジットを整列された信頼度にマッピングする。
さらに、訓練手順における校正ヘッドによるロジットを動的にスケールする簡易なアニーリング技術を開発し、その性能を向上させる。
分布的および分布的シフトの状況下では,複数のdnnアーキテクチャと視覚および音声データセットを用いたアニーリングダブルヘッドアーキテクチャを徹底的に評価する。
提案手法は,最近提案した様々な学習課題におけるキャリブレーション手法と同等の予測精度を同時に提供しながら,後処理を伴わない最先端モデルキャリブレーション性能を実現する。
関連論文リスト
- Decoupling Feature Extraction and Classification Layers for Calibrated Neural Networks [3.5284544394841117]
過度にパラメータ化されたDNNアーキテクチャにおける特徴抽出層と分類層の訓練を分離することで、モデルの校正が大幅に向上することを示す。
本稿では,複数の画像分類ベンチマークデータセットに対して,VTおよびWRNアーキテクチャ間のキャリブレーションを改善する手法を提案する。
論文 参考訳(メタデータ) (2024-05-02T11:36:17Z) - Towards Calibrated Robust Fine-Tuning of Vision-Language Models [97.19901765814431]
視覚言語モデル(VLM)におけるOOD精度と校正誤差の両方を改善する頑健な微調整法を提案する。
この知見に基づいて,最小の特異値を持つ制約付きマルチモーダルコントラスト損失を用いて微調整を行う新しいフレームワークを設計する。
論文 参考訳(メタデータ) (2023-11-03T05:41:25Z) - HCE: Improving Performance and Efficiency with Heterogeneously
Compressed Neural Network Ensemble [22.065904428696353]
最近のアンサンブルトレーニング手法では,同じモデルアーキテクチャを持つ複数のサブモデルの異なるトレーニングアルゴリズムや設定を探索している。
我々は、事前訓練されたDNNモデルから、切断された量子化された変種と効率的なアンサンブルを構築するヘテロジェネリー圧縮アンサンブル(HCE)を提案する。
論文 参考訳(メタデータ) (2023-01-18T21:47:05Z) - NCTV: Neural Clamping Toolkit and Visualization for Neural Network
Calibration [66.22668336495175]
ニューラルネットワークのキャリブレーションに対する考慮の欠如は、人間から信頼を得ることはないだろう。
我々はNeural Clamping Toolkitを紹介した。これは開発者が最先端のモデルに依存しないキャリブレーションモデルを採用するのを支援するために設計された最初のオープンソースフレームワークである。
論文 参考訳(メタデータ) (2022-11-29T15:03:05Z) - Meta-Calibration: Learning of Model Calibration Using Differentiable
Expected Calibration Error [46.12703434199988]
我々は、キャリブレーション品質を直接最適化できる、期待キャリブレーション誤差(DECE)のための新しい微分可能なサロゲートを導入する。
また、DECEを用いて検証セットの校正を最適化するメタラーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2021-06-17T15:47:50Z) - On the Dark Side of Calibration for Modern Neural Networks [65.83956184145477]
予測キャリブレーション誤差(ECE)を予測信頼度と改善度に分解する。
正規化に基づくキャリブレーションは、モデルの信頼性を損なうことのみに焦点を当てる。
ラベルの平滑化やミキサアップなど,多くのキャリブレーション手法により,DNNの精度を低下させることで,DNNの有用性を低下させることがわかった。
論文 参考訳(メタデータ) (2021-06-17T11:04:14Z) - DAIS: Automatic Channel Pruning via Differentiable Annealing Indicator
Search [55.164053971213576]
畳み込みニューラルネットワークは,計算オーバーヘッドが大きいにもかかわらず,コンピュータビジョンタスクの実行において大きな成功を収めている。
構造的(チャネル)プルーニングは、通常、ネットワーク構造を保ちながらモデルの冗長性を低減するために適用される。
既存の構造化プルーニング法では、手作りのルールが必要であり、これは大きなプルーニング空間に繋がる可能性がある。
論文 参考訳(メタデータ) (2020-11-04T07:43:01Z) - Calibrating Structured Output Predictors for Natural Language Processing [8.361023354729731]
本稿では,ニューラルネットワークに基づく構造化予測モデルに注目する出力要素の一般的なキャリブレーション手法を提案する。
提案手法は,任意のバイナリクラスキャリブレーションスキームとニューラルネットワークモデルを用いて適用することができる。
提案手法は, 話者認識, パート・オブ・音声, 質問応答における現在のキャリブレーション手法より優れていることを示す。
論文 参考訳(メタデータ) (2020-04-09T04:14:46Z) - Intra Order-preserving Functions for Calibration of Multi-Class Neural
Networks [54.23874144090228]
一般的なアプローチは、元のネットワークの出力をキャリブレーションされた信頼スコアに変換する、ポストホックキャリブレーション関数を学ぶことである。
以前のポストホックキャリブレーション技術は単純なキャリブレーション機能でしか機能しない。
本稿では,順序保存関数のクラスを表すニューラルネットワークアーキテクチャを提案する。
論文 参考訳(メタデータ) (2020-03-15T12:57:21Z) - Calibrating Deep Neural Networks using Focal Loss [77.92765139898906]
ミススキャリブレーション(Miscalibration)は、モデルの信頼性と正しさのミスマッチである。
焦点損失は、既に十分に校正されたモデルを学ぶことができることを示す。
ほぼすべてのケースにおいて精度を損なうことなく,最先端のキャリブレーションを達成できることを示す。
論文 参考訳(メタデータ) (2020-02-21T17:35:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。