論文の概要: Frequentist Uncertainty in Recurrent Neural Networks via Blockwise Influence Functions

• arxiv url: http://arxiv.org/abs/2006.13707v2
• Date: Sat, 27 Jun 2020 21:10:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-18 22:19:42.185118
• Title: Frequentist Uncertainty in Recurrent Neural Networks via Blockwise Influence Functions
• Title（参考訳）: ブロックワイド影響関数によるリカレントニューラルネットワークの周波数不確かさ
• Authors: Ahmed M. Alaa, Mihaela van der Schaar
• Abstract要約: リカレントニューラルネットワーク(RNN)は、シーケンシャルおよび時系列データのモデリングに有効である。 RNNにおける既存の不確実性定量化のアプローチは、主にベイズ法に基づいている。 a)モデルトレーニングに干渉せず、その精度を損なうことなく、(b)任意のRNNアーキテクチャに適用し、(c)推定不確かさ間隔に関する理論的カバレッジ保証を提供する。
• 参考スコア（独自算出の注目度）: 121.10450359856242
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recurrent neural networks (RNNs) are instrumental in modelling sequential and time-series data. Yet, when using RNNs to inform decision-making, predictions by themselves are not sufficient; we also need estimates of predictive uncertainty. Existing approaches for uncertainty quantification in RNNs are based predominantly on Bayesian methods; these are computationally prohibitive, and require major alterations to the RNN architecture and training. Capitalizing on ideas from classical jackknife resampling, we develop a frequentist alternative that: (a) does not interfere with model training or compromise its accuracy, (b) applies to any RNN architecture, and (c) provides theoretical coverage guarantees on the estimated uncertainty intervals. Our method derives predictive uncertainty from the variability of the (jackknife) sampling distribution of the RNN outputs, which is estimated by repeatedly deleting blocks of (temporally-correlated) training data, and collecting the predictions of the RNN re-trained on the remaining data. To avoid exhaustive re-training, we utilize influence functions to estimate the effect of removing training data blocks on the learned RNN parameters. Using data from a critical care setting, we demonstrate the utility of uncertainty quantification in sequential decision-making.
• Abstract（参考訳）: リカレントニューラルネットワーク(RNN)は、シーケンシャルおよび時系列データのモデリングに有効である。 しかし, 意思決定にRNNを使う場合, 予測だけでは不十分であり, 予測の不確実性も予測する必要がある。 RNNにおける既存の不確実性定量化のアプローチは、主にベイズ的手法に基づいており、これらは計算的に禁止されており、RNNアーキテクチャとトレーニングに大きな変更を必要とする。 古典的なジャックニフェの再サンプリングのアイデアに乗じて、我々は頻繁な代替案を開発する。 (a)モデルの訓練に干渉したり、精度を損なわない。 (b)任意のRNNアーキテクチャに適用し、 (c)推定不確実区間に関する理論的カバレッジ保証を提供する。 本手法は,RNN出力の(時空間関連)トレーニングデータのブロックを繰り返し削除し,残りのデータに基づいて再学習したRNNの予測を収集することにより,(ジャッキニフェ)サンプリング分布のばらつきから予測の不確かさを導出する。 本研究では,学習したRNNパラメータに対する学習データブロックの除去効果を推定するために,影響関数を利用する。 批判的ケア環境からのデータを用いて, 逐次意思決定における不確実性定量化の有用性を示す。

関連論文リスト

• Uncertainty Quantification in Multivariable Regression for Material Property Prediction with Bayesian Neural Networks [37.69303106863453]
  物理インフォームドBNNにおける不確実性定量化(UQ)のアプローチを提案する。 本稿では, 鋼のクリープ破断寿命を予測するためのケーススタディを提案する。 クリープ寿命予測の最も有望なフレームワークは、マルコフ・チェイン・モンテカルロによるネットワークパラメータの後方分布の近似に基づくBNNである。
  論文  参考訳（メタデータ） (2023-11-04T19:40:16Z)
• A Benchmark on Uncertainty Quantification for Deep Learning Prognostics [0.0]
  診断学的な深層学習のための不確実性定量化の分野における最新の発展のいくつかを評価する。 これには、ベイズニューラルネットワーク(BNN)の最先端の変分推論アルゴリズムや、モンテカルロ・ドロップアウト(MCD)、ディープアンサンブル(DE)、ヘテロセダスティックニューラルネットワーク(HNN)などの一般的な代替品が含まれる。 この手法の性能は、NASA NCMAPSSの航空機エンジン用データセットのサブセットで評価される。
  論文  参考訳（メタデータ） (2023-02-09T16:12:47Z)
• The Unreasonable Effectiveness of Deep Evidential Regression [72.30888739450343]
  不確実性を考慮した回帰ベースニューラルネットワーク(NN)による新しいアプローチは、従来の決定論的手法や典型的なベイズ的NNよりも有望であることを示している。 我々は、理論的欠点を詳述し、合成および実世界のデータセットのパフォーマンスを分析し、Deep Evidential Regressionが正確な不確実性ではなく定量化であることを示す。
  論文  参考訳（メタデータ） (2022-05-20T10:10:32Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural Networks [151.03112356092575]
  本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。 種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
  論文  参考訳（メタデータ） (2022-02-07T12:30:45Z)
• Handling Missing Observations with an RNN-based Prediction-Update Cycle [10.478312054103975]
  追跡などのタスクでは、時系列データは必然的に観察を欠いている。 本稿では,動作状態推定のための全時間フィルタリングサイクルを提供するRNNベースのアプローチを提案する。
  論文  参考訳（メタデータ） (2021-03-22T11:55:10Z)
• Uncertainty Estimation and Calibration with Finite-State Probabilistic RNNs [29.84563789289183]
  不確かさの定量化は、信頼性と信頼性のある機械学習システムを構築するために不可欠である。 本稿では、リカレントニューラルネットワーク(RNN)における離散状態遷移による不確実性の推定を提案する。 モデルの不確実性は、繰り返し状態遷移分布からサンプリングするたびに、予測を数回実行することで定量化することができる。
  論文  参考訳（メタデータ） (2020-11-24T10:35:28Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• Continual Learning in Recurrent Neural Networks [67.05499844830231]
  リカレントニューラルネットワーク(RNN)を用いた逐次データ処理における連続学習手法の有効性を評価する。 RNNに弾性重み強化などの重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重 そこで本研究では,重み付け手法の性能が処理シーケンスの長さに直接的な影響を受けず,むしろ高動作メモリ要求の影響を受けていることを示す。
  論文  参考訳（メタデータ） (2020-06-22T10:05:12Z)
• Interval Neural Networks: Uncertainty Scores [11.74565957328407]
  我々は、事前訓練された深層ニューラルネットワーク(DNN)の出力における不確実性スコアを生成する高速で非ベイズ的手法を提案する。 このインターバルニューラルネットワーク(INN)は、インターバル値パラメータを持ち、インターバル演算を用いてその入力を伝搬する。 画像再構成タスクの数値実験において,予測誤差の代用としてINNの実用性を実証する。
  論文  参考訳（メタデータ） (2020-03-25T18:03:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。