論文の概要: Decoupling Feature Extraction and Classification Layers for Calibrated Neural Networks

• arxiv url: http://arxiv.org/abs/2405.01196v2
• Date: Fri, 3 May 2024 07:36:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-06 11:57:06.826140
• Title: Decoupling Feature Extraction and Classification Layers for Calibrated Neural Networks
• Title（参考訳）: 校正ニューラルネットワークの特徴抽出と分類層
• Authors: Mikkel Jordahn, Pablo M. Olmos,
• Abstract要約: 過度にパラメータ化されたDNNアーキテクチャにおける特徴抽出層と分類層の訓練を分離することで、モデルの校正が大幅に向上することを示す。 本稿では,複数の画像分類ベンチマークデータセットに対して,VTおよびWRNアーキテクチャ間のキャリブレーションを改善する手法を提案する。
• 参考スコア（独自算出の注目度）: 3.5284544394841117
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep Neural Networks (DNN) have shown great promise in many classification applications, yet are widely known to have poorly calibrated predictions when they are over-parametrized. Improving DNN calibration without comprising on model accuracy is of extreme importance and interest in safety critical applications such as in the health-care sector. In this work, we show that decoupling the training of feature extraction layers and classification layers in over-parametrized DNN architectures such as Wide Residual Networks (WRN) and Visual Transformers (ViT) significantly improves model calibration whilst retaining accuracy, and at a low training cost. In addition, we show that placing a Gaussian prior on the last hidden layer outputs of a DNN, and training the model variationally in the classification training stage, even further improves calibration. We illustrate these methods improve calibration across ViT and WRN architectures for several image classification benchmark datasets.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、多くの分類アプリケーションにおいて大きな可能性を示してきたが、過度にパラメータ化された場合、キャリブレーションが不十分であることが広く知られている。 モデル精度を犠牲にすることなくDNNキャリブレーションを改善することは極めて重要であり、医療分野などの安全クリティカルな応用への関心も高い。 本研究では,WRN (Wide Residual Networks) やVisual Transformer (ViT) などの過度にパラメータ化されたDNNアーキテクチャにおいて,特徴抽出層と分類層のトレーニングを分離することで,精度を維持しながらモデルのキャリブレーションを大幅に改善し,トレーニングコストを低減できることを示す。 さらに、DNNの最後の隠れ層出力にガウスを配置し、分類訓練段階においてモデルを変動的に訓練することで、キャリブレーションをさらに改善することを示す。 本稿では,複数の画像分類ベンチマークデータセットに対して,VTおよびWRNアーキテクチャ間のキャリブレーションを改善する手法を提案する。

関連論文リスト

• Cal-DETR: Calibrated Detection Transformer [67.75361289429013]
  本稿では,Deformable-DETR,UP-DETR,DINOのキャリブレーション検出トランス(Cal-DETR)のメカニズムを提案する。 我々は、不確実性を利用してクラスロジットを変調する不確実性誘導ロジット変調機構を開発する。 その結果、Cal-DETRは、ドメイン内およびドメイン外の両方を校正する競合する列車時間法に対して有効であることがわかった。
  論文  参考訳（メタデータ） (2023-11-06T22:13:10Z)
• Bridging Precision and Confidence: A Train-Time Loss for Calibrating Object Detection [58.789823426981044]
  本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。 その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
  論文  参考訳（メタデータ） (2023-03-25T08:56:21Z)
• ESD: Expected Squared Difference as a Tuning-Free Trainable Calibration Measure [35.996971010199196]
  期待される正方偏差(ESD)は、チューニング不要なトレーニング可能なキャリブレーション目標損失である。 従来の手法と比較して,ESDが最良の校正結果をもたらすことを示す。 ESDは、トレーニング中の校正に必要な計算コストを大幅に改善する。
  論文  参考訳（メタデータ） (2023-03-04T18:06:36Z)
• Annealing Double-Head: An Architecture for Online Calibration of Deep Neural Networks [1.1602089225841632]
  現代のディープニューラルネットワークは、予測信頼度が過大評価されているため、概してキャリブレーションが不十分である。 本稿では,DNN を訓練中に校正するための簡易かつ高効率なアーキテクチャである Annealing Double-Head を提案する。 提案手法は, 後処理を伴わずに, 最先端モデル校正性能を達成できることを実証する。
  論文  参考訳（メタデータ） (2022-12-27T21:21:58Z)
• NCTV: Neural Clamping Toolkit and Visualization for Neural Network Calibration [66.22668336495175]
  ニューラルネットワークのキャリブレーションに対する考慮の欠如は、人間から信頼を得ることはないだろう。 我々はNeural Clamping Toolkitを紹介した。これは開発者が最先端のモデルに依存しないキャリブレーションモデルを採用するのを支援するために設計された最初のオープンソースフレームワークである。
  論文  参考訳（メタデータ） (2022-11-29T15:03:05Z)
• What Makes Graph Neural Networks Miscalibrated? [48.00374886504513]
  グラフニューラルネットワーク(GNN)の校正特性に関する系統的研究を行う。 我々は,GNNのキャリブレーションに影響を与える5つの要因を同定する: 一般信頼度傾向, ノード単位の予測分布の多様性, 訓練ノード間距離, 相対信頼度, 近傍類似度。 我々は,グラフニューラルネットワークのキャリブレーションに適した新しいキャリブレーション手法であるグラフアテンション温度スケーリング(GATS)を設計する。
  論文  参考訳（メタデータ） (2022-10-12T16:41:42Z)
• On Calibration of Graph Neural Networks for Node Classification [29.738179864433445]
  グラフニューラルネットワークは、ノード分類やリンク予測といったタスクのためのエンティティとエッジの埋め込みを学ぶ。 これらのモデルは精度で優れた性能を発揮するが、予測に付随する信頼性スコアは校正されないかもしれない。 本稿では,近隣ノードを考慮に入れたトポロジ対応キャリブレーション手法を提案する。
  論文  参考訳（メタデータ） (2022-06-03T13:48:10Z)
• On the Dark Side of Calibration for Modern Neural Networks [65.83956184145477]
  予測キャリブレーション誤差(ECE)を予測信頼度と改善度に分解する。 正規化に基づくキャリブレーションは、モデルの信頼性を損なうことのみに焦点を当てる。 ラベルの平滑化やミキサアップなど,多くのキャリブレーション手法により,DNNの精度を低下させることで,DNNの有用性を低下させることがわかった。
  論文  参考訳（メタデータ） (2021-06-17T11:04:14Z)
• Improved Trainable Calibration Method for Neural Networks on Medical Imaging Classification [17.941506832422192]
  経験的に、ニューラルネットワークは、しばしば彼らの予測を誤解し、過度に信ずる。 本稿では,モデルキャリブレーションを大幅に改善しつつ,全体の分類精度を維持する新しいキャリブレーション手法を提案する。
  論文  参考訳（メタデータ） (2020-09-09T01:25:53Z)
• On Calibration of Mixup Training for Deep Neural Networks [1.6242924916178283]
  我々は、Mixupが必ずしも校正を改善していないという実証的な証拠を論じ、提示する。 我々の損失はベイズ決定理論にインスパイアされ、確率的モデリングの損失を設計するための新しいトレーニングフレームワークが導入された。 キャリブレーション性能を一貫した改善を施した最先端の精度を提供する。
  論文  参考訳（メタデータ） (2020-03-22T16:54:31Z)
• Intra Order-preserving Functions for Calibration of Multi-Class Neural Networks [54.23874144090228]
  一般的なアプローチは、元のネットワークの出力をキャリブレーションされた信頼スコアに変換する、ポストホックキャリブレーション関数を学ぶことである。 以前のポストホックキャリブレーション技術は単純なキャリブレーション機能でしか機能しない。 本稿では,順序保存関数のクラスを表すニューラルネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-03-15T12:57:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。