論文の概要: On Calibration of Mixup Training for Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2003.09946v4
• Date: Thu, 28 Jan 2021 11:39:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-21 05:15:15.990464
• Title: On Calibration of Mixup Training for Deep Neural Networks
• Title（参考訳）: 深部ニューラルネットワークの混合学習の校正について
• Authors: Juan Maro\~nas and Daniel Ramos and Roberto Paredes
• Abstract要約: 我々は、Mixupが必ずしも校正を改善していないという実証的な証拠を論じ、提示する。 我々の損失はベイズ決定理論にインスパイアされ、確率的モデリングの損失を設計するための新しいトレーニングフレームワークが導入された。 キャリブレーション性能を一貫した改善を施した最先端の精度を提供する。
• 参考スコア（独自算出の注目度）: 1.6242924916178283
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep Neural Networks (DNN) represent the state of the art in many tasks. However, due to their overparameterization, their generalization capabilities are in doubt and still a field under study. Consequently, DNN can overfit and assign overconfident predictions -- effects that have been shown to affect the calibration of the confidences assigned to unseen data. Data Augmentation (DA) strategies have been proposed to regularize these models, being Mixup one of the most popular due to its ability to improve the accuracy, the uncertainty quantification and the calibration of DNN. In this work however we argue and provide empirical evidence that, due to its fundamentals, Mixup does not necessarily improve calibration. Based on our observations we propose a new loss function that improves the calibration, and also sometimes the accuracy, of DNN trained with this DA technique. Our loss is inspired by Bayes decision theory and introduces a new training framework for designing losses for probabilistic modelling. We provide state-of-the-art accuracy with consistent improvements in calibration performance. Appendix and code are provided here: https://github.com/jmaronas/calibration_MixupDNN_ARCLoss.pytorch.git
• Abstract（参考訳）: ディープニューラルネットワーク(Deep Neural Networks, DNN)は、多くのタスクにおける最先端技術である。 しかし、その過度パラメータ化のため、それらの一般化能力は疑わしく、まだ研究中の分野である。 その結果、dnnは、信頼できないデータに割り当てられた信頼感のキャリブレーションに影響を与えることが示されているような、自信過剰な予測を過度に適合させ、割り当てることができる。 データ拡張(DA)戦略はこれらのモデルを標準化するために提案されており、Mixupは精度、不確かさの定量化、DNNの校正などにより最も人気がある。 しかし、本研究では、Mixupが必ずしも校正を改善していないという実証的な証拠を論じ、提示する。 我々は,このda手法を用いて訓練したdnnのキャリブレーションと精度を向上させる新たな損失関数を提案する。 我々の損失はベイズ決定理論に触発され、確率的モデリングの損失を設計するための新しいトレーニングフレームワークが導入された。 キャリブレーション性能を一貫して改善し,最先端の精度を提供する。 付録とコードはここで提供される。 https://github.com/jmaronas/calibration_mixupdnn_arcloss.pytorch.git

関連論文リスト

• Bridging Precision and Confidence: A Train-Time Loss for Calibrating Object Detection [58.789823426981044]
  本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。 その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
  論文  参考訳（メタデータ） (2023-03-25T08:56:21Z)
• DOMINO: Domain-aware Model Calibration in Medical Image Segmentation [51.346121016559024]
  現代のディープニューラルネットワークはキャリブレーションが不十分で、信頼性と信頼性を損なう。 本稿では,クラスラベル間のセマンティック・コンフューザビリティと階層的類似性を利用したドメイン認識モデルキャリブレーション手法であるDOMINOを提案する。 その結果,DOMINOを校正したディープニューラルネットワークは,頭部画像分割における非校正モデルや最先端形態計測法よりも優れていた。
  論文  参考訳（メタデータ） (2022-09-13T15:31:52Z)
• An Underexplored Dilemma between Confidence and Calibration in Quantized Neural Networks [0.0]
  現代の畳み込みニューラルネットワーク(CNN)は、目に見えない入力データのキャリブレーションに関して過信されていることが知られている。 予測される確率が下流の意思決定に使用される場合、これは望ましくない。 このロバスト性は、現代CNNの校正行動によって部分的に説明でき、過信によって改善される可能性がある。
  論文  参考訳（メタデータ） (2021-11-10T14:37:16Z)
• Improving Uncertainty Calibration of Deep Neural Networks via Truth Discovery and Geometric Optimization [22.57474734944132]
  本研究では,アンサンブルとポストホックの校正手法を統合するための真理発見フレームワークを提案する。 CIFARやImageNetなどの大規模データセットでは,最先端のキャリブレーション手法に対して一貫した改善が見られた。
  論文  参考訳（メタデータ） (2021-06-25T06:44:16Z)
• On the Dark Side of Calibration for Modern Neural Networks [65.83956184145477]
  予測キャリブレーション誤差(ECE)を予測信頼度と改善度に分解する。 正規化に基づくキャリブレーションは、モデルの信頼性を損なうことのみに焦点を当てる。 ラベルの平滑化やミキサアップなど,多くのキャリブレーション手法により,DNNの精度を低下させることで,DNNの有用性を低下させることがわかった。
  論文  参考訳（メタデータ） (2021-06-17T11:04:14Z)
• S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural Networks via Guided Distribution Calibration [74.5509794733707]
  本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。 提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。 提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
  論文  参考訳（メタデータ） (2021-02-17T18:59:28Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• Calibrating Deep Neural Networks using Focal Loss [77.92765139898906]
  ミススキャリブレーション(Miscalibration)は、モデルの信頼性と正しさのミスマッチである。 焦点損失は、既に十分に校正されたモデルを学ぶことができることを示す。 ほぼすべてのケースにおいて精度を損なうことなく,最先端のキャリブレーションを達成できることを示す。
  論文  参考訳（メタデータ） (2020-02-21T17:35:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。