論文の概要: Uncertainty Aware Neural Network from Similarity and Sensitivity

• arxiv url: http://arxiv.org/abs/2304.14925v1
• Date: Thu, 27 Apr 2023 02:05:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-01 13:42:34.790346
• Title: Uncertainty Aware Neural Network from Similarity and Sensitivity
• Title（参考訳）: 類似性と感度からニューラルネットワークを認識する不確実性
• Authors: H M Dipu Kabir, Subrota Kumar Mondal, Sadia Khanam, Abbas Khosravi, Shafin Rahman, Mohammad Reza Chalak Qazani, Roohallah Alizadehsani, Houshyar Asadi, Shady Mohamed, Saeid Nahavandi, U Rajendra Acharya
• Abstract要約: 感性認知を伴う類似サンプルを考慮したニューラルネットワーク学習手法を提案する。 感性を考慮した類似サンプルの分布を考慮した初期不確実性境界(UB)を構築する。 各サンプルに対してUBを見つけるためのすべてのステップに従うには、多くの計算とメモリアクセスが必要であるので、UB計算NNをトレーニングします。
• 参考スコア（独自算出の注目度）: 19.688986566942
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Researchers have proposed several approaches for neural network (NN) based uncertainty quantification (UQ). However, most of the approaches are developed considering strong assumptions. Uncertainty quantification algorithms often perform poorly in an input domain and the reason for poor performance remains unknown. Therefore, we present a neural network training method that considers similar samples with sensitivity awareness in this paper. In the proposed NN training method for UQ, first, we train a shallow NN for the point prediction. Then, we compute the absolute differences between prediction and targets and train another NN for predicting those absolute differences or absolute errors. Domains with high average absolute errors represent a high uncertainty. In the next step, we select each sample in the training set one by one and compute both prediction and error sensitivities. Then we select similar samples with sensitivity consideration and save indexes of similar samples. The ranges of an input parameter become narrower when the output is highly sensitive to that parameter. After that, we construct initial uncertainty bounds (UB) by considering the distribution of sensitivity aware similar samples. Prediction intervals (PIs) from initial uncertainty bounds are larger and cover more samples than required. Therefore, we train bound correction NN. As following all the steps for finding UB for each sample requires a lot of computation and memory access, we train a UB computation NN. The UB computation NN takes an input sample and provides an uncertainty bound. The UB computation NN is the final product of the proposed approach. Scripts of the proposed method are available in the following GitHub repository: github.com/dipuk0506/UQ
• Abstract（参考訳）: 研究者は、ニューラルネットワーク(NN)に基づく不確実性定量化(UQ)に対するいくつかのアプローチを提案している。 しかし、ほとんどのアプローチは強い仮定に基づいて開発されている。 不確かさの定量化アルゴリズムは入力領域ではしばしば性能が悪く、性能の悪い理由は不明である。 そこで本論文では,感性認識を伴う類似サンプルを考慮したニューラルネットワーク学習手法を提案する。 UQのためのNNトレーニング手法の提案では,まず,点予測のための浅いNNを訓練する。 そして、予測と目標の絶対差を計算し、その絶対差や絶対誤差を予測するために別のNNを訓練する。 平均絶対誤差の高い領域は高い不確実性を示す。 次のステップでは、トレーニングセットの各サンプルをひとつずつ選択し、予測とエラー感度の両方を計算する。 次に、感度を考慮した類似サンプルを選択し、類似サンプルの指標を保存する。 入力パラメータの出力がそのパラメータに高い感度を持つと、入力パラメータの範囲は狭くなる。 その後,類似標本に対する感度分布を考慮した初期不確実性境界(ub)を構築する。 初期不確実性境界からの予測間隔(PI)は、必要以上のサンプルをカバーする。 したがって、我々は境界補正NNを訓練する。 各サンプルに対してUBを見つけるためのすべてのステップに従うには、多くの計算とメモリアクセスが必要であるので、UB計算NNをトレーニングします。 ub計算nnは入力サンプルを取り、不確実性境界を提供する。 UB計算NNは提案手法の最終製品である。 提案されたメソッドのスクリプトは、以下のGitHubリポジトリで入手できる。

関連論文リスト

• Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
  ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。 我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。 我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
  論文  参考訳（メタデータ） (2023-10-02T03:25:32Z)
• Single-shot Bayesian approximation for neural networks [0.0]
  ディープニューラルネットワーク(NN)はその高い予測性能で知られている。 NNは不確実性を示すことなく、全く新しい状況に遭遇すると信頼できない予測を下す傾向にある。 単発MCドロップアウト近似は,BNNの利点を保ちながら,NNと同じくらい高速であることを示す。
  論文  参考訳（メタデータ） (2023-08-24T13:40:36Z)
• Guaranteed Approximation Bounds for Mixed-Precision Neural Operators [83.64404557466528]
  我々は、ニューラル演算子学習が本質的に近似誤差を誘導する直感の上に構築する。 提案手法では,GPUメモリ使用量を最大50%削減し,スループットを58%向上する。
  論文  参考訳（メタデータ） (2023-07-27T17:42:06Z)
• Improved uncertainty quantification for neural networks with Bayesian last layer [0.0]
  不確実性定量化は機械学習において重要な課題である。 本稿では,BLL を用いた NN の対数乗算可能性の再構成を行い,バックプロパゲーションを用いた効率的なトレーニングを実現する。
  論文  参考訳（メタデータ） (2023-02-21T20:23:56Z)
• The #DNN-Verification Problem: Counting Unsafe Inputs for Deep Neural Networks [94.63547069706459]
  #DNN-Verification問題は、DNNの入力構成の数を数えることによって安全性に反する結果となる。 違反の正確な数を返す新しい手法を提案する。 安全クリティカルなベンチマークのセットに関する実験結果を示す。
  論文  参考訳（メタデータ） (2023-01-17T18:32:01Z)
• Censored Quantile Regression Neural Networks [24.118509578363593]
  本稿では,ニューラルネットワーク(NN)を用いた検閲データに対する量子レグレッションの実施について考察する。 線形モデルで人気のあるアルゴリズムをNNに適用する方法を示す。 我々の主な貢献は、単一のNNによって出力される量子のグリッドを同時に最適化する新しいアルゴリズムである。
  論文  参考訳（メタデータ） (2022-05-26T17:10:28Z)
• A Simple Approach to Improve Single-Model Deep Uncertainty via Distance-Awareness [33.09831377640498]
  本研究では,1つの決定論的表現に基づく1つのネットワークの不確実性向上手法について検討する。 本稿では,現代のDNNにおける距離認識能力を向上させる簡易な手法として,スペクトル正規化ニューラルガウス過程(SNGP)を提案する。 ビジョンと言語理解のベンチマークスイートでは、SNGPは予測、キャリブレーション、ドメイン外検出において、他の単一モデルアプローチよりも優れている。
  論文  参考訳（メタデータ） (2022-05-01T05:46:13Z)
• On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
  ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。 特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
  論文  参考訳（メタデータ） (2022-03-27T15:22:19Z)
• NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural Networks [151.03112356092575]
  本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。 種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
  論文  参考訳（メタデータ） (2022-02-07T12:30:45Z)
• Simple and Principled Uncertainty Estimation with Deterministic Deep Learning via Distance Awareness [24.473250414880454]
  単一ディープニューラルネットワーク(DNN)のみを必要とする高品質不確実性推定の原理的アプローチについて検討する。 この不確実性定量化を最小限の学習問題として定式化することにより、まず入力空間内のトレーニングデータから試験例の距離を定量化する入力距離認識を同定する。 次に, スペクトル正規化ニューラルガウス過程 (SNGP) を提案する。
  論文  参考訳（メタデータ） (2020-06-17T19:18:22Z)
• Bandit Samplers for Training Graph Neural Networks [63.17765191700203]
  グラフ畳み込みネットワーク(GCN)の訓練を高速化するために, ばらつきを低減したサンプリングアルゴリズムが提案されている。 これらのサンプリングアルゴリズムは、グラフ注意ネットワーク(GAT)のような固定重みよりも学習重量を含む、より一般的なグラフニューラルネットワーク(GNN)には適用できない。
  論文  参考訳（メタデータ） (2020-06-10T12:48:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。