論文の概要: Controlled Dropout for Uncertainty Estimation

• arxiv url: http://arxiv.org/abs/2205.03109v1
• Date: Fri, 6 May 2022 09:48:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-09 17:59:01.785131
• Title: Controlled Dropout for Uncertainty Estimation
• Title（参考訳）: 不確実性推定のための制御されたドロップアウト
• Authors: Mehedi Hasan, Abbas Khosravi, Ibrahim Hossain, Ashikur Rahman and Saeid Nahavandi
• Abstract要約: ニューラルネットワークの不確実性は、安全クリティカルなアプリケーションに関する最も議論されたトピックの1つである。 従来のドロップアウトレイヤの新バージョンで、ドロップアウト構成の数を修正できます。
• 参考スコア（独自算出の注目度）: 11.225333867982359
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Uncertainty quantification in a neural network is one of the most discussed topics for safety-critical applications. Though Neural Networks (NNs) have achieved state-of-the-art performance for many applications, they still provide unreliable point predictions, which lack information about uncertainty estimates. Among various methods to enable neural networks to estimate uncertainty, Monte Carlo (MC) dropout has gained much popularity in a short period due to its simplicity. In this study, we present a new version of the traditional dropout layer where we are able to fix the number of dropout configurations. As such, each layer can take and apply the new dropout layer in the MC method to quantify the uncertainty associated with NN predictions. We conduct experiments on both toy and realistic datasets and compare the results with the MC method using the traditional dropout layer. Performance analysis utilizing uncertainty evaluation metrics corroborates that our dropout layer offers better performance in most cases.
• Abstract（参考訳）: ニューラルネットワークにおける不確かさの定量化は、安全クリティカルな応用において最も議論されているトピックの1つである。 ニューラルネットワーク(nns)は多くのアプリケーションで最先端のパフォーマンスを達成しているが、不確実性推定に関する情報を欠いた信頼性の低いポイント予測を提供する。 ニューラルネットワークが不確かさを推定する様々な方法の中で、モンテカルロ(mc)のドロップアウトはその単純さのために短期間で大きな人気を集めている。 本研究では,従来のドロップアウト層の新バージョンを提案する。 したがって、各層はmc法に新しいドロップアウト層を取り込んで適用し、nn予測に関連する不確かさを定量化することができる。 玩具と現実のデータセットの両方で実験を行い,従来のドロップアウト層を用いたmc法と比較した。 不確実性評価メトリクスを利用したパフォーマンス分析は、ほとんどの場合、ドロップアウト層がより良いパフォーマンスを提供することを裏付けます。

関連論文リスト

• Improvements on Uncertainty Quantification for Node Classification via Distance-Based Regularization [4.121906004284458]
  ディープニューラルネットワークはここ数十年で大きな成功を収めてきたが、十分に校正されておらず、しばしば信頼性の低い予測を生み出している。 本稿では,クラスタ化された OOD ノードが潜時空間に留まることを奨励する距離ベース正規化を提案する。 我々は,8つの標準データセットに対する広範な比較実験を行い,提案手法がOOD検出と誤分類検出の両方において,最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-11-10T00:00:20Z)
• Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
  ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。 我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。 我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
  論文  参考訳（メタデータ） (2023-10-02T03:25:32Z)
• Single-shot Bayesian approximation for neural networks [0.0]
  ディープニューラルネットワーク(NN)はその高い予測性能で知られている。 NNは不確実性を示すことなく、全く新しい状況に遭遇すると信頼できない予測を下す傾向にある。 単発MCドロップアウト近似は,BNNの利点を保ちながら,NNと同じくらい高速であることを示す。
  論文  参考訳（メタデータ） (2023-08-24T13:40:36Z)
• Uncertainty Estimation by Fisher Information-based Evidential Deep Learning [61.94125052118442]
  不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。 漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。 特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
  論文  参考訳（メタデータ） (2023-03-03T16:12:59Z)
• Single Model Uncertainty Estimation via Stochastic Data Centering [39.71621297447397]
  私たちは、ディープニューラルネットワークの不確実性を見積もることに興味があります。 我々は、一定のバイアスによってシフトしたデータセットに基づいてトレーニングされた、同じ重み付きニューラルネットワークのアンサンブルが、わずかに一貫性のないトレーニングモデルを引き起こすという驚くべき新しい発見を提示する。 我々は、$Delta-$UQの不確実性推定が、様々なベンチマークにおける現在の多くの手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-07-14T23:54:54Z)
• NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural Networks [151.03112356092575]
  本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。 種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
  論文  参考訳（メタデータ） (2022-02-07T12:30:45Z)
• Residual Error: a New Performance Measure for Adversarial Robustness [85.0371352689919]
  ディープラーニングの広く普及を制限する大きな課題は、敵の攻撃に対する脆弱さである。 本研究は,ディープニューラルネットワークの対角強靭性を評価するための新しい性能尺度である残留誤差の概念を提示する。 画像分類を用いた実験結果から,提案手法の有効性と有効性を示した。
  論文  参考訳（メタデータ） (2021-06-18T16:34:23Z)
• Contextual Dropout: An Efficient Sample-Dependent Dropout Module [60.63525456640462]
  ドロップアウトは、ディープニューラルネットワークのトレーニングプロセスを正規化するシンプルで効果的なモジュールとして実証されています。 単純でスケーラブルなサンプル依存型ドロップアウトモジュールとして,効率的な構造設計によるコンテキスト型ドロップアウトを提案する。 提案手法は,不確実性推定の精度と品質の両面において,ベースライン法よりも優れていた。
  論文  参考訳（メタデータ） (2021-03-06T19:30:32Z)
• A Bayesian Neural Network based on Dropout Regulation [0.0]
  本稿では,自動学習に用いるコントローラを用いて,トレーニング中のドロップアウト率を自動的に調整する "Dropout Regulation" (DR) を提案する。 DRは、実装がシンプルでありながら、最先端技術に匹敵する不確実性を正確に見積もることができる。
  論文  参考訳（メタデータ） (2021-02-03T09:39:50Z)
• Know Where To Drop Your Weights: Towards Faster Uncertainty Estimation [7.605814048051737]
  低レイテンシアプリケーションで使用されるモデルの不確かさを推定することは、不確実性推定技術が計算的に要求される性質のためである。 本稿では、ニューラルネットワークのサブセットを用いてMCDCの不確実性をモデル化するSelect-DCを提案する。 我々は,不確実性をモデル化するためにGFLOPSをモンテカルロDropConnectと比較して大幅に削減し,性能の限界トレードオフを示した。
  論文  参考訳（メタデータ） (2020-10-27T02:56:27Z)
• Frequentist Uncertainty in Recurrent Neural Networks via Blockwise Influence Functions [121.10450359856242]
  リカレントニューラルネットワーク(RNN)は、シーケンシャルおよび時系列データのモデリングに有効である。 RNNにおける既存の不確実性定量化のアプローチは、主にベイズ法に基づいている。 a)モデルトレーニングに干渉せず、その精度を損なうことなく、(b)任意のRNNアーキテクチャに適用し、(c)推定不確かさ間隔に関する理論的カバレッジ保証を提供する。
  論文  参考訳（メタデータ） (2020-06-20T22:45:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。