論文の概要: Dropout Prediction Variation Estimation Using Neuron Activation Strength
- arxiv url: http://arxiv.org/abs/2110.06435v1
- Date: Wed, 13 Oct 2021 01:40:33 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-14 15:25:59.436798
- Title: Dropout Prediction Variation Estimation Using Neuron Activation Strength
- Title（参考訳）: ニューロン活性化強度を用いたドロップアウト予測変動の推定
- Authors: Haichao Yu, Zhe Chen, Dong Lin, Gil Shamir, Jie Han
- Abstract要約: ドロップアウトは様々なアプリケーションで予測のバリエーションを定量化するためによく使われてきた。
資源効率のよい方法で降雨予測変動を推定する方法を示す。
- 参考スコア（独自算出の注目度）: 6.625915508197312
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: It is well-known DNNs would generate different prediction results even given
the same model configuration and training dataset. As a result, it becomes more
and more important to study prediction variation, i.e. the variation of the
predictions on a given input example, in neural network models. Dropout has
been commonly used in various applications to quantify prediction variations.
However, using dropout in practice can be expensive as it requires running
dropout inference many times to estimate prediction variation.
In this paper, we study how to estimate dropout prediction variation in a
resource-efficient manner. In particular, we demonstrate that we can use neuron
activation strength to estimate dropout prediction variation under different
dropout settings and on a variety of tasks using three large datasets,
MovieLens, Criteo, and EMNIST. Our approach provides an inference-once
alternative to estimate dropout prediction variation as an auxiliary task when
the main prediction model is served. Moreover, we show that using activation
strength features from a subset of neural network layers can be sufficient to
achieve similar variation estimation performance compared to using activation
features from all layers. This can provide further resource reduction for
variation estimation.
- Abstract（参考訳）: DNNは、同じモデル構成とトレーニングデータセットであっても、異なる予測結果を生成することはよく知られている。
その結果、ニューラルネットワークモデルにおいて、与えられた入力例における予測のばらつきなど、予測のばらつきを研究することがますます重要になる。
ドロップアウトは様々なアプリケーションで予測のバリエーションを定量化するためによく使われてきた。
しかし、実際にドロップアウトを使用することは、予測のばらつきを見積もるために何度もドロップアウト推論を実行する必要があるため、高価である。
本稿では,資源効率のよい方法で降雨予測変動を推定する方法を検討する。
特に,3つの大規模データセット,MovieLens,Criteo,EMNISTを用いて,異なるドロップアウト条件下でのドロップアウト予測変動を推定するために,ニューロン活性化強度を利用することを実証した。
提案手法は,主予測モデルが提供された場合の損失予測変動を補助タスクとして推定する推論・オンス代替手段を提供する。
さらに,ニューラルネットワークレイヤのサブセットからのアクティベーション強度特性を用いることで,すべてのレイヤのアクティベーション特性と比較して,同様の変動推定性能が得られることを示す。
これにより、さらなる資源削減が可能となる。
関連論文リスト
- Structured Radial Basis Function Network: Modelling Diversity for
Multiple Hypotheses Prediction [51.82628081279621]
多重モード回帰は非定常過程の予測や分布の複雑な混合において重要である。
構造的放射基底関数ネットワークは回帰問題に対する複数の仮説予測器のアンサンブルとして提示される。
この構造モデルにより, このテッセルレーションを効率よく補間し, 複数の仮説対象分布を近似することが可能であることが証明された。
論文 参考訳（メタデータ） (2023-09-02T01:27:53Z) - Quantification of Predictive Uncertainty via Inference-Time Sampling [57.749601811982096]
本稿では,データあいまいさの予測不確実性を推定するためのポストホックサンプリング手法を提案する。
この方法は与えられた入力に対して異なる可算出力を生成することができ、予測分布のパラメトリック形式を仮定しない。
論文 参考訳（メタデータ） (2023-08-03T12:43:21Z) - ASPEST: Bridging the Gap Between Active Learning and Selective
Prediction [56.001808843574395]
選択予測は、不確実な場合の予測を棄却する信頼性のあるモデルを学ぶことを目的としている。
アクティブラーニングは、最も有意義な例を問うことで、ラベリングの全体、すなわち人間の依存度を下げることを目的としている。
本研究では,移動対象領域からより情報のあるサンプルを検索することを目的とした,新たな学習パラダイムである能動的選択予測を導入する。
論文 参考訳（メタデータ） (2023-04-07T23:51:07Z) - Uncertainty Modeling for Out-of-Distribution Generalization [56.957731893992495]
特徴統計を適切に操作することで、ディープラーニングモデルの一般化能力を向上させることができると論じる。
一般的な手法では、特徴統計を学習した特徴から測定された決定論的値とみなすことが多い。
我々は、学習中に合成された特徴統計を用いて、領域シフトの不確かさをモデル化することにより、ネットワークの一般化能力を向上させる。
論文 参考訳（メタデータ） (2022-02-08T16:09:12Z) - A heteroencoder architecture for prediction of failure locations in
porous metals using variational inference [1.2722697496405462]
多孔質金属張力試験片の故障箇所を予測するために,エンコーダ・デコーダ畳み込みニューラルネットワークを用いた。
故障箇所の予測の目的は、標本中のほとんどの材料が故障しないため、クラス不均衡の極端なケースを示す。
得られた予測分散は、任意の標本において最も失敗する可能性のある位置のランク付けに有効であることを示す。
論文 参考訳（メタデータ） (2022-01-31T20:26:53Z) - Dense Uncertainty Estimation [62.23555922631451]
本稿では,ニューラルネットワークと不確実性推定手法について検討し,正確な決定論的予測と確実性推定の両方を実現する。
本研究では,アンサンブルに基づく手法と生成モデルに基づく手法の2つの不確実性推定法について検討し,それらの長所と短所を,完全/半端/弱度に制御されたフレームワークを用いて説明する。
論文 参考訳（メタデータ） (2021-10-13T01:23:48Z) - Set Prediction without Imposing Structure as Conditional Density
Estimation [40.86881969839325]
本研究では,学習を条件密度推定として見ることにより,設定損失による学習の代替を提案する。
本フレームワークは, 深部エネルギーモデルに適合し, 勾配誘導サンプリングによる難易度を近似する。
我々のアプローチは、標準ベンチマークの以前のセット予測モデルと競合する。
論文 参考訳（メタデータ） (2020-10-08T16:49:16Z) - Ramifications of Approximate Posterior Inference for Bayesian Deep
Learning in Adversarial and Out-of-Distribution Settings [7.476901945542385]
ベイジアン深層学習モデルが従来のニューラルネットワークよりわずかに優れていることを示す。
予備的な調査は、初期化、アーキテクチャ、アクティベーション関数の選択によるバイアスの潜在的固有の役割を示している。
論文 参考訳（メタデータ） (2020-09-03T16:58:15Z) - Beyond Point Estimate: Inferring Ensemble Prediction Variation from
Neuron Activation Strength in Recommender Systems [21.392694985689083]
Ensemble Methodは、予測不確実性推定のための最先端のベンチマークである。
予測のバリエーションは、様々なランダム性源から生じることを観察する。
本稿では,ニューロンの活性化強度の予測変動を推定し,活性化強度の特徴から強い予測力を示す。
論文 参考訳（メタデータ） (2020-08-17T00:08:27Z) - Estimation with Uncertainty via Conditional Generative Adversarial
Networks [3.829070379776576]
条件付き生成逆数ネットワーク(cGAN)におけるジェネレータの使い方が異なる予測確率型ニューラルネットワークモデルを提案する。
通常のcGANの入力と出力を反転させることで、モデルを予測モデルとしてうまく利用することができる。
さらに,予測の不確実性を測定するために,回帰問題や分類問題に対するエントロピーと相対エントロピーを導入する。
論文 参考訳（メタデータ） (2020-07-01T08:54:17Z) - Regularizing Class-wise Predictions via Self-knowledge Distillation [80.76254453115766]
類似サンプル間の予測分布を解析する新しい正規化法を提案する。
これにより、単一のネットワークの暗黒知識(すなわち誤った予測に関する知識)を規則化する。
画像分類タスクにおける実験結果から, 単純だが強力な手法が一般化能力を大幅に向上することを示した。
論文 参考訳（メタデータ） (2020-03-31T06:03:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。