論文の概要: Layer-Stack Temperature Scaling

• arxiv url: http://arxiv.org/abs/2211.10193v1
• Date: Fri, 18 Nov 2022 12:34:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-21 15:27:03.369480
• Title: Layer-Stack Temperature Scaling
• Title（参考訳）: 層上温度スケーリング
• Authors: Amr Khalifa, Michael C. Mozer, Hanie Sedghi, Behnam Neyshabur, Ibrahim Alabdulmohsin
• Abstract要約: すべての層にわたる温度スケーリングがキャリブレーションと精度の両方を改善することを示す。 我々は,5つの一般的な畳み込みニューラルネットワークアーキテクチャについて,分布内および分布外の両方で評価した。 CIFAR10/100におけるLATESとMonte Carlo Dropoutの組み合わせは最先端の結果と一致した。
• 参考スコア（独自算出の注目度）: 39.24479669390653
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent works demonstrate that early layers in a neural network contain useful information for prediction. Inspired by this, we show that extending temperature scaling across all layers improves both calibration and accuracy. We call this procedure "layer-stack temperature scaling" (LATES). Informally, LATES grants each layer a weighted vote during inference. We evaluate it on five popular convolutional neural network architectures both in- and out-of-distribution and observe a consistent improvement over temperature scaling in terms of accuracy, calibration, and AUC. All conclusions are supported by comprehensive statistical analyses. Since LATES neither retrains the architecture nor introduces many more parameters, its advantages can be reaped without requiring additional data beyond what is used in temperature scaling. Finally, we show that combining LATES with Monte Carlo Dropout matches state-of-the-art results on CIFAR10/100.
• Abstract（参考訳）: 最近の研究は、ニューラルネットワークの初期層が予測に有用な情報を含んでいることを示した。 このことから,すべての層に温度スケーリングを拡大することでキャリブレーションと精度が向上することがわかった。 この手法を「レイヤスタック温度スケーリング(LATES)」と呼ぶ。 LATESは推論中に各層に重み付けされた投票を与える。 我々は,これらを,分布内と分布外の両方で一般的な5つの畳み込みニューラルネットワークアーキテクチャで評価し,精度,キャリブレーション,AUCの観点から温度スケーリングに対する一貫した改善を観察した。 すべての結論は包括的な統計分析によって支持される。 LATESはアーキテクチャを再トレーニングしたり、さらに多くのパラメータを導入したりしないため、その利点は温度スケーリングで使用される以上のデータを必要としない。 最後に, LATES と Monte Carlo Dropout の組合せが CIFAR10/100 の最先端結果と一致することを示す。

関連論文リスト

• Temperature Balancing, Layer-wise Weight Analysis, and Neural Network Training [58.20089993899729]
  本稿では,直感的で効果的な階層学習手法であるTempBalanceを提案する。 我々は、TempBalanceが通常のSGDと注意深く調整されたスペクトルノルム正規化より著しく優れていることを示す。 また、TempBalanceは最先端のメトリクスやスケジューラよりも優れています。
  論文  参考訳（メタデータ） (2023-12-01T05:38:17Z)
• Small Temperature is All You Need for Differentiable Architecture Search [8.93957397187611]
  微分可能なアーキテクチャサーチ(DARTS)は、高効率な勾配に基づくニューラルアーキテクチャサーチ(NAS)をもたらす そこで本研究では, トレーニングにおける緩和スーパーネットとプルーニングファイナネットとのギャップを, 低温利用による評価で埋めることを提案する。
  論文  参考訳（メタデータ） (2023-06-12T04:01:57Z)
• On the Limitations of Temperature Scaling for Distributions with Overlaps [8.486166869140929]
  一般的な分布集合に対する経験的リスク最小化器の場合, 温度スケーリング性能は, クラス間の重なり合いによって低下することを示す。 そこで本研究では,Mixupデータ拡張手法によって引き起こされる経験的リスクの修正形式を最適化することで,キャリブレーション性能が良好であることが実証された。
  論文  参考訳（メタデータ） (2023-06-01T14:35:28Z)
• Improved Convergence Guarantees for Shallow Neural Networks [91.3755431537592]
  勾配降下法により訓練された深度2ニューラルネットの収束度を世界最小とする。 我々のモデルには、二次損失関数による回帰、完全連結フィードフォワードアーキテクチャ、RelUアクティベーション、ガウスデータインスタンス、逆ラベルといった特徴がある。 彼らは、少なくとも我々のモデルでは、収束現象がNTK体制をはるかに超越していることを強く示唆している」。
  論文  参考訳（メタデータ） (2022-12-05T14:47:52Z)
• Neural Clamping: Joint Input Perturbation and Temperature Scaling for Neural Network Calibration [62.4971588282174]
  我々はニューラルクランプ法と呼ばれる新しい後処理キャリブレーション法を提案する。 実験の結果,Neural Clampingは最先端の処理後のキャリブレーション法よりも優れていた。
  論文  参考訳（メタデータ） (2022-09-23T14:18:39Z)
• Adaptive Temperature Scaling for Robust Calibration of Deep Neural Networks [0.7219077740523682]
  本研究では、信頼性スケーリングの課題、特に温度スケーリングを一般化するポストホック手法に焦点を当てる。 ニューラルネットワークのような複雑なデータモデルがたくさん存在すると、パフォーマンスは向上するが、データ量に制限がある場合には失敗する傾向にある。 本研究では,エントロピーに基づく温度スケーリングを提案し,そのエントロピーに応じて予測の信頼性を尺度化する。
  論文  参考訳（メタデータ） (2022-07-31T16:20:06Z)
• Sample-dependent Adaptive Temperature Scaling for Improved Calibration [95.7477042886242]
  ニューラルネットワークの誤りを補うポストホックアプローチは、温度スケーリングを実行することだ。 入力毎に異なる温度値を予測し、信頼度と精度のミスマッチを調整することを提案する。 CIFAR10/100およびTiny-ImageNetデータセットを用いて,ResNet50およびWideResNet28-10アーキテクチャ上で本手法をテストする。
  論文  参考訳（メタデータ） (2022-07-13T14:13:49Z)
• Parameterized Temperature Scaling for Boosting the Expressive Power in Post-Hoc Uncertainty Calibration [57.568461777747515]
  我々は新しいキャリブレーション手法であるパラメタライズド温度スケーリング(PTS)を導入する。 最新のポストホックキャリブレータの精度保持性能は、その本質的な表現力によって制限されることを実証します。 当社の新しい精度保存手法が,多数のモデルアーキテクチャやデータセット,メトリクスにおいて,既存のアルゴリズムを一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2021-02-24T10:18:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。