論文の概要: Fixing Overconfidence in Dynamic Neural Networks
- arxiv url: http://arxiv.org/abs/2302.06359v1
- Date: Mon, 13 Feb 2023 13:45:50 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-14 15:19:51.705520
- Title: Fixing Overconfidence in Dynamic Neural Networks
- Title（参考訳）: 動的ニューラルネットワークにおける過信の固定
- Authors: Lassi Meronen, Martin Trapp, Andrea Pilzer, Le Yang, Arno Solin
- Abstract要約: 動的ニューラルネットワークは、入力サンプルの難易度に計算コストを動的に適応させる。
動的ニューラルネットワークにおけるポストホック不確実性定量化のための計算効率の良い手法を提案する。
CIFAR-100 と ImageNet は精度,不確実性,校正誤差の点で改善された。
- 参考スコア（独自算出の注目度）: 22.92115118814474
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Dynamic neural networks are a recent technique that promises a remedy for the
increasing size of modern deep learning models by dynamically adapting their
computational cost to the difficulty of the input samples. In this way, the
model can adjust to a limited computational budget. However, the poor quality
of uncertainty estimates in deep learning models makes it difficult to
distinguish between hard and easy samples. To address this challenge, we
present a computationally efficient approach for post-hoc uncertainty
quantification in dynamic neural networks. We show that adequately quantifying
and accounting for both aleatoric and epistemic uncertainty through a
probabilistic treatment of the last layers improves the predictive performance
and aids decision-making when determining the computational budget. In the
experiments, we show improvements on CIFAR-100 and ImageNet in terms of
accuracy, capturing uncertainty, and calibration error.
- Abstract（参考訳）: 動的ニューラルネットワークは、入力サンプルの難易度に計算コストを動的に適応させることにより、現代のディープラーニングモデルのサイズを拡大する対策を約束する最近の技術である。
このように、モデルは限られた計算予算に調整することができる。
しかしながら、ディープラーニングモデルにおける不確実性推定の質が低ければ、難しいサンプルと簡単なサンプルの区別が困難になる。
この課題に対処するために,動的ニューラルネットワークにおけるポストホック不確実性定量化のための計算効率の高い手法を提案する。
本稿では,最終層を確率論的に処理することで,アレテータ的不確実性と認識的不確実性の両方を適切に定量化し計算し,計算予算を決定する際の意思決定を支援することを示す。
実験では,CIFAR-100 と ImageNet の精度,不確かさの把握,校正誤差について改善点を示す。
関連論文リスト
- Randomized Forward Mode Gradient for Spiking Neural Networks in Scientific Machine Learning [4.178826560825283]
スパイキングニューラルネットワーク(SNN)は、ディープニューラルネットワークの階層的学習能力とスパイクベースの計算のエネルギー効率を組み合わせた、機械学習における有望なアプローチである。
SNNの伝統的なエンドツーエンドトレーニングは、しばしばバックプロパゲーションに基づいており、重み更新はチェーンルールによって計算された勾配から導かれる。
この手法は, 生体適合性に限界があり, ニューロモルフィックハードウェアの非効率性のため, 課題に遭遇する。
本研究では,SNNの代替トレーニング手法を導入する。後方伝搬の代わりに,前方モード内での重量摂動手法を活用する。
論文 参考訳（メタデータ） (2024-11-11T15:20:54Z) - Predicting Probabilities of Error to Combine Quantization and Early Exiting: QuEE [68.6018458996143]
本稿では,量子化と早期出口動的ネットワークを組み合わせたより一般的な動的ネットワークQuEEを提案する。
我々のアルゴリズムは、ソフトアーリーエグジットや入力依存圧縮の一形態と見なすことができる。
提案手法の重要な要素は、さらなる計算によって実現可能な潜在的な精度向上の正確な予測である。
論文 参考訳（メタデータ） (2024-06-20T15:25:13Z) - Learning Sample Difficulty from Pre-trained Models for Reliable
Prediction [55.77136037458667]
本稿では,大規模事前学習モデルを用いて,サンプル難易度を考慮したエントロピー正規化による下流モデルトレーニングを指導する。
我々は、挑戦的なベンチマークで精度と不確実性の校正を同時に改善する。
論文 参考訳（メタデータ） (2023-04-20T07:29:23Z) - Neural Networks with Quantization Constraints [111.42313650830248]
量子化学習における制約付き学習手法を提案する。
結果の問題は強い双対であり、勾配推定は不要であることを示す。
提案手法は画像分類タスクにおける競合性能を示す。
論文 参考訳（メタデータ） (2022-10-27T17:12:48Z) - Scalable computation of prediction intervals for neural networks via
matrix sketching [79.44177623781043]
既存の不確実性推定アルゴリズムでは、モデルアーキテクチャとトレーニング手順を変更する必要がある。
本研究では、与えられたトレーニングされたニューラルネットワークに適用し、近似予測間隔を生成できる新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-05-06T13:18:31Z) - On Efficient Uncertainty Estimation for Resource-Constrained Mobile
Applications [0.0]
予測の不確実性は、モデル予測を補完し、下流タスクの機能を改善します。
Axolotlフレームワークを用いてモンテカルロ・ドロップアウト(MCDO)モデルを構築することでこの問題に対処する。
我々は,(1)CIFAR10データセットを用いた多クラス分類タスク,(2)より複雑な人体セグメンテーションタスクについて実験を行った。
論文 参考訳（メタデータ） (2021-11-11T22:24:15Z) - Accurate and Reliable Forecasting using Stochastic Differential
Equations [48.21369419647511]
ディープラーニングモデルにとって、現実世界の環境に浸透する不確実性を適切に特徴付けることは、非常に困難である。
本論文では,HNNの予測平均と分散の相互作用を特徴づけるSDE-HNNを開発した。
本手法は,予測性能と不確実性定量化の両方の観点から,最先端のベースラインを著しく上回ることを示す。
論文 参考訳（メタデータ） (2021-03-28T04:18:11Z) - Simple and Principled Uncertainty Estimation with Deterministic Deep
Learning via Distance Awareness [24.473250414880454]
単一ディープニューラルネットワーク(DNN)のみを必要とする高品質不確実性推定の原理的アプローチについて検討する。
この不確実性定量化を最小限の学習問題として定式化することにより、まず入力空間内のトレーニングデータから試験例の距離を定量化する入力距離認識を同定する。
次に, スペクトル正規化ニューラルガウス過程 (SNGP) を提案する。
論文 参考訳（メタデータ） (2020-06-17T19:18:22Z) - Functional Space Variational Inference for Uncertainty Estimation in
Computer Aided Diagnosis [2.1940032945704817]
ディープニューラルネットワークは医療画像分析と病気の診断に革命をもたらした。
このようなネットワークに対して、よく校正された確率的出力を生成することは困難であり、解釈不能なブラックボックスとなる。
ベイズ予想を関数空間にシフトさせることにより、より低い計算コストでより良いキャリブレーションの不確実性推定を与える有意義な事前計算ができることを示す。
論文 参考訳（メタデータ） (2020-05-24T16:42:11Z) - Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。
我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
論文 参考訳（メタデータ） (2020-03-04T12:27:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。