論文の概要: Neural Clamping: Joint Input Perturbation and Temperature Scaling for Neural Network Calibration

• arxiv url: http://arxiv.org/abs/2209.11604v1
• Date: Fri, 23 Sep 2022 14:18:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-26 17:08:24.188086
• Title: Neural Clamping: Joint Input Perturbation and Temperature Scaling for Neural Network Calibration
• Title（参考訳）: ニューラルクランプ:ニューラルネットワークキャリブレーションのためのジョイント入力摂動と温度スケーリング
• Authors: Yung-Chen Tang, Pin-Yu Chen, Tsung-Yi Ho
• Abstract要約: 我々はニューラルクランプ法と呼ばれる新しい後処理キャリブレーション法を提案する。 実験の結果,Neural Clampingは最先端の処理後のキャリブレーション法よりも優れていた。
• 参考スコア（独自算出の注目度）: 74.43215520371506
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural network calibration is an essential task in deep learning to ensure consistency between the confidence of model prediction and the true correctness likelihood. In this paper, we propose a new post-processing calibration method called Neural Clamping, which employs a simple joint input-output transformation on a pre-trained classifier via a learnable universal input perturbation and an output temperature scaling parameter. Moreover, we provide theoretical explanations on why Neural Clamping is provably better than temperature scaling. Evaluated on CIFAR-100 and ImageNet image recognition datasets and a variety of deep neural network models, our empirical results show that Neural Clamping significantly outperforms state-of-the-art post-processing calibration methods.
• Abstract（参考訳）: ニューラルネットワークキャリブレーションは、モデル予測の信頼性と真正性確率との整合性を確保するために、ディープラーニングにおいて不可欠なタスクである。 本稿では,学習可能な普遍的な入力摂動と出力温度スケーリングパラメータを用いて,事前学習した分類器に単純な結合入力出力変換を用いたニューラルクランプ方式を提案する。 さらに,ニューラルクランプが温度スケールよりも優れている理由を理論的に説明する。 CIFAR-100とImageNetの画像認識データセットと、さまざまなディープニューラルネットワークモデルに基づいて評価した結果、Neural Clampingは、最先端の処理後のキャリブレーション手法よりも大幅に優れていることが示された。

関連論文リスト

• Rolling bearing fault diagnosis method based on generative adversarial enhanced multi-scale convolutional neural network model [7.600902237804825]
  マルチスケール畳み込みニューラルネットワークモデルに基づく転がり軸受故障診断手法を提案する。 ResNet法と比較して,提案手法はより優れた一般化性能と反雑音性能を有することを示す。
  論文  参考訳（メタデータ） (2024-03-21T06:42:35Z)
• Neural Priming for Sample-Efficient Adaptation [92.14357804106787]
  ニューラルプライミング(Neural Priming)は、大規模な事前学習されたモデルを分散シフトや下流タスクに適応させる手法である。 ニューラルプライミングは、LAION-2Bほどの大きさの事前訓練であっても、テスト時に行うことができる。
  論文  参考訳（メタデータ） (2023-06-16T21:53:16Z)
• A Deep Learning-based in silico Framework for Optimization on Retinal Prosthetic Stimulation [3.870538485112487]
  シリコン網膜インプラントモデルパルス2パーセプションによってシミュレーションされた知覚を最適化するニューラルネットワークベースのフレームワークを提案する。 パイプラインは、トレーニング可能なエンコーダ、トレーニング済み網膜インプラントモデル、トレーニング済み評価器から構成される。
  論文  参考訳（メタデータ） (2023-02-07T16:32:05Z)
• NCTV: Neural Clamping Toolkit and Visualization for Neural Network Calibration [66.22668336495175]
  ニューラルネットワークのキャリブレーションに対する考慮の欠如は、人間から信頼を得ることはないだろう。 我々はNeural Clamping Toolkitを紹介した。これは開発者が最先端のモデルに依存しないキャリブレーションモデルを採用するのを支援するために設計された最初のオープンソースフレームワークである。
  論文  参考訳（メタデータ） (2022-11-29T15:03:05Z)
• Sample-dependent Adaptive Temperature Scaling for Improved Calibration [95.7477042886242]
  ニューラルネットワークの誤りを補うポストホックアプローチは、温度スケーリングを実行することだ。 入力毎に異なる温度値を予測し、信頼度と精度のミスマッチを調整することを提案する。 CIFAR10/100およびTiny-ImageNetデータセットを用いて,ResNet50およびWideResNet28-10アーキテクチャ上で本手法をテストする。
  論文  参考訳（メタデータ） (2022-07-13T14:13:49Z)
• Neuron-based Pruning of Deep Neural Networks with Better Generalization using Kronecker Factored Curvature Approximation [18.224344440110862]
  提案アルゴリズムは、ヘッセンのスペクトル半径を探索することにより、圧縮されたモデルのパラメータを平らな解へ向ける。 以上の結果から, ニューロン圧縮における最先端の結果が向上することが示唆された。 この手法は、異なるニューラルネットワークモデル間で小さな精度で、非常に小さなネットワークを実現することができる。
  論文  参考訳（メタデータ） (2021-11-16T15:55:59Z)
• Intra Order-preserving Functions for Calibration of Multi-Class Neural Networks [54.23874144090228]
  一般的なアプローチは、元のネットワークの出力をキャリブレーションされた信頼スコアに変換する、ポストホックキャリブレーション関数を学ぶことである。 以前のポストホックキャリブレーション技術は単純なキャリブレーション機能でしか機能しない。 本稿では,順序保存関数のクラスを表すニューラルネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-03-15T12:57:21Z)
• Calibrating Deep Neural Networks using Focal Loss [77.92765139898906]
  ミススキャリブレーション(Miscalibration)は、モデルの信頼性と正しさのミスマッチである。 焦点損失は、既に十分に校正されたモデルを学ぶことができることを示す。 ほぼすべてのケースにおいて精度を損なうことなく,最先端のキャリブレーションを達成できることを示す。
  論文  参考訳（メタデータ） (2020-02-21T17:35:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。