論文の概要: Know Where To Drop Your Weights: Towards Faster Uncertainty Estimation

• arxiv url: http://arxiv.org/abs/2010.14019v1
• Date: Tue, 27 Oct 2020 02:56:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-02 11:21:17.313383
• Title: Know Where To Drop Your Weights: Towards Faster Uncertainty Estimation
• Title（参考訳）: 体重を下げる場所を知る - 迅速な不確実性推定に向けて
• Authors: Akshatha Kamath and Dwaraknath Gnaneshwar and Matias Valdenegro-Toro
• Abstract要約: 低レイテンシアプリケーションで使用されるモデルの不確かさを推定することは、不確実性推定技術が計算的に要求される性質のためである。 本稿では、ニューラルネットワークのサブセットを用いてMCDCの不確実性をモデル化するSelect-DCを提案する。 我々は,不確実性をモデル化するためにGFLOPSをモンテカルロDropConnectと比較して大幅に削減し,性能の限界トレードオフを示した。
• 参考スコア（独自算出の注目度）: 7.605814048051737
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Estimating epistemic uncertainty of models used in low-latency applications and Out-Of-Distribution samples detection is a challenge due to the computationally demanding nature of uncertainty estimation techniques. Estimating model uncertainty using approximation techniques like Monte Carlo Dropout (MCD), DropConnect (MCDC) requires a large number of forward passes through the network, rendering them inapt for low-latency applications. We propose Select-DC which uses a subset of layers in a neural network to model epistemic uncertainty with MCDC. Through our experiments, we show a significant reduction in the GFLOPS required to model uncertainty, compared to Monte Carlo DropConnect, with marginal trade-off in performance. We perform a suite of experiments on CIFAR 10, CIFAR 100, and SVHN datasets with ResNet and VGG models. We further show how applying DropConnect to various layers in the network with different drop probabilities affects the networks performance and the entropy of the predictive distribution.
• Abstract（参考訳）: 低レイテンシアプリケーションや分散サンプル検出に使用されるモデルの認識論的不確実性の推定は、不確実性推定手法の計算的要求による課題である。 モンテカルロドロップアウト(mcd)やドロップコネクト(mcdc)といった近似技術を用いたモデル不確実性の推定には、ネットワークを経由するフォワードパスが多数必要となる。 本稿では、ニューラルネットワークのサブセットを用いて、MCCによるてんかん不確実性をモデル化するSelect-DCを提案する。 実験により,不確実性をモデル化するGFLOPSはモンテカルロDropConnectに比べて大幅に減少し,性能の限界トレードオフが見られた。 我々は、CIFAR 10、CIFAR 100、SVHNデータセットをResNetおよびVGGモデルで一連の実験を行う。 さらに,ドロップ確率の異なるネットワークの様々な層にDropConnectを適用すると,ネットワーク性能と予測分布のエントロピーがどう影響するかを示す。

関連論文リスト

• Collapsed Inference for Bayesian Deep Learning [36.1725075097107]
  本稿では,崩壊サンプルを用いたベイズモデル平均化を行う新しい崩壊予測手法を提案する。 崩壊したサンプルは、近似後部から引き出された数え切れないほど多くのモデルを表す。 提案手法は, スケーラビリティと精度のバランスをとる。
  論文  参考訳（メタデータ） (2023-06-16T08:34:42Z)
• Learning Sample Difficulty from Pre-trained Models for Reliable Prediction [55.77136037458667]
  本稿では,大規模事前学習モデルを用いて,サンプル難易度を考慮したエントロピー正規化による下流モデルトレーニングを指導する。 我々は、挑戦的なベンチマークで精度と不確実性の校正を同時に改善する。
  論文  参考訳（メタデータ） (2023-04-20T07:29:23Z)
• Controlled Dropout for Uncertainty Estimation [11.225333867982359]
  ニューラルネットワークの不確実性は、安全クリティカルなアプリケーションに関する最も議論されたトピックの1つである。 従来のドロップアウトレイヤの新バージョンで、ドロップアウト構成の数を修正できます。
  論文  参考訳（メタデータ） (2022-05-06T09:48:11Z)
• Robust lEarned Shrinkage-Thresholding (REST): Robust unrolling for sparse recover [87.28082715343896]
  我々は、モデルミス特定を前進させるのに堅牢な逆問題を解決するためのディープニューラルネットワークについて検討する。 我々は,アルゴリズムの展開手法を根底にある回復問題のロバストバージョンに適用することにより,新しい堅牢なディープニューラルネットワークアーキテクチャを設計する。 提案したRESTネットワークは,圧縮センシングとレーダイメージングの両問題において,最先端のモデルベースおよびデータ駆動アルゴリズムを上回る性能を示す。
  論文  参考訳（メタデータ） (2021-10-20T06:15:45Z)
• Calibration and Uncertainty Quantification of Bayesian Convolutional Neural Networks for Geophysical Applications [0.0]
  このような地下モデルによる予測の不確実性は、キャリブレーションされた確率と関連する不確かさを予測に組み込むのが一般的である。 一般的なディープラーニングベースのモデルは、しばしば誤解され、決定論的性質のため、予測の不確実性を解釈する手段がないことが示されている。 ベイズ形式論における畳み込みニューラルネットワークに基づく確率モデルを得るための3つの異なるアプローチを比較した。
  論文  参考訳（メタデータ） (2021-05-25T17:54:23Z)
• Contextual Dropout: An Efficient Sample-Dependent Dropout Module [60.63525456640462]
  ドロップアウトは、ディープニューラルネットワークのトレーニングプロセスを正規化するシンプルで効果的なモジュールとして実証されています。 単純でスケーラブルなサンプル依存型ドロップアウトモジュールとして,効率的な構造設計によるコンテキスト型ドロップアウトを提案する。 提案手法は,不確実性推定の精度と品質の両面において,ベースライン法よりも優れていた。
  論文  参考訳（メタデータ） (2021-03-06T19:30:32Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
  本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。 そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。 最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
  論文  参考訳（メタデータ） (2020-03-10T03:10:41Z)
• Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
  本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。 我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
  論文  参考訳（メタデータ） (2020-03-04T12:27:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。