Fugu-MT 論文翻訳(概要): Bayesian Deep Learning for Remaining Useful Life Estimation via Stein Variational Gradient Descent

論文の概要: Bayesian Deep Learning for Remaining Useful Life Estimation via Stein Variational Gradient Descent

arxiv url: http://arxiv.org/abs/2402.01098v1
Date: Fri, 2 Feb 2024 02:21:06 GMT
ステータス: 処理完了
システム内更新日: 2024-02-05 17:18:07.439380
Title: Bayesian Deep Learning for Remaining Useful Life Estimation via Stein Variational Gradient Descent
Title（参考訳）: 定常変分勾配Descenceを用いたベイズ深層学習による有用寿命推定
Authors: Luca Della Libera, Jacopo Andreoli, Davide Dalle Pezze, Mirco Ravanelli, Gian Antonio Susto
Abstract要約: 本研究では,スタイン変分勾配勾配を用いたベイズ学習モデルが収束速度と予測性能に対して一貫して優れていたことを示す。ベイズモデルが提供する不確実性情報に基づく性能向上手法を提案する。
参考スコア（独自算出の注目度）: 14.784809634505903
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: A crucial task in predictive maintenance is estimating the remaining useful life of physical systems. In the last decade, deep learning has improved considerably upon traditional model-based and statistical approaches in terms of predictive performance. However, in order to optimally plan maintenance operations, it is also important to quantify the uncertainty inherent to the predictions. This issue can be addressed by turning standard frequentist neural networks into Bayesian neural networks, which are naturally capable of providing confidence intervals around the estimates. Several methods exist for training those models. Researchers have focused mostly on parametric variational inference and sampling-based techniques, which notoriously suffer from limited approximation power and large computational burden, respectively. In this work, we use Stein variational gradient descent, a recently proposed algorithm for approximating intractable distributions that overcomes the drawbacks of the aforementioned techniques. In particular, we show through experimental studies on simulated run-to-failure turbofan engine degradation data that Bayesian deep learning models trained via Stein variational gradient descent consistently outperform with respect to convergence speed and predictive performance both the same models trained via parametric variational inference and their frequentist counterparts trained via backpropagation. Furthermore, we propose a method to enhance performance based on the uncertainty information provided by the Bayesian models. We release the source code at https://github.com/lucadellalib/bdl-rul-svgd.
Abstract（参考訳）: 予測メンテナンスにおける重要なタスクは、物理システムの残りの有用な寿命を推定することである。過去10年間で、ディープラーニングは予測性能の点で従来のモデルベースおよび統計的アプローチで大幅に改善された。しかし,保守作業の最適計画には,予測に固有の不確実性を定量化することも重要である。この問題は、標準の常習的ニューラルネットワークをベイズ型ニューラルネットワークに転換することで解決することができる。これらのモデルのトレーニングにはいくつかの方法が存在する。研究者は主にパラメトリックな変分推論とサンプリングに基づく手法に焦点を合わせており、それぞれが限定的な近似力と大きな計算負荷に悩まされている。本研究では,先述の手法の欠点を克服する難解な分布を近似するアルゴリズムであるstein variational gradient descentを用いた。特に,スタイン変分勾配で学習したベイジアン深層学習モデルが収束速度と予測性能に関して一貫して優れており,パラメトリック変分推論で訓練されたモデルとバックプロパゲーションで訓練された頻繁なモデルの両方がシミュレーションされたターボファンエンジン劣化データについて実験的に検討した。さらに,ベイズモデルが提供する不確実性情報に基づいて,性能を向上させる手法を提案する。ソースコードはhttps://github.com/lucadellalib/bdl-rul-svgdで公開しています。

関連論文リスト

Learning Sample Difficulty from Pre-trained Models for Reliable Prediction [55.77136037458667]
本稿では,大規模事前学習モデルを用いて,サンプル難易度を考慮したエントロピー正規化による下流モデルトレーニングを指導する。我々は、挑戦的なベンチマークで精度と不確実性の校正を同時に改善する。
論文参考訳（メタデータ） (2023-04-20T07:29:23Z)
Surrogate uncertainty estimation for your time series forecasting black-box: learn when to trust [2.0393477576774752]
本研究では不確実性推定手法を紹介する。妥当な不確実性推定を伴うベース回帰モデルを強化する。各種時系列予測データを用いて, 代理モデルに基づく手法により, 精度の高い信頼区間が得られることがわかった。
論文参考訳（メタデータ） (2023-02-06T14:52:56Z)
Training Discrete Deep Generative Models via Gapped Straight-Through Estimator [72.71398034617607]
再サンプリングのオーバーヘッドを伴わずに分散を低減するため, GST (Gapped Straight-Through) 推定器を提案する。この推定子は、Straight-Through Gumbel-Softmaxの本質的な性質に着想を得たものである。実験により,提案したGST推定器は,2つの離散的な深部生成モデリングタスクの強いベースラインと比較して,優れた性能を享受できることが示された。
論文参考訳（メタデータ） (2022-06-15T01:46:05Z)
Rethinking Bayesian Learning for Data Analysis: The Art of Prior and Inference in Sparsity-Aware Modeling [20.296566563098057]
信号処理と機械学習のためのスパースモデリングは、20年以上にわたって科学研究の焦点となっている。本稿では,3つの一般的なデータモデリングツールにスパーシティ・プロモーティング・プリエントを組み込むことの最近の進歩を概観する。
論文参考訳（メタデータ） (2022-05-28T00:43:52Z)
Deep Active Learning with Noise Stability [24.54974925491753]
ラベルのないデータの不確実性推定は、アクティブな学習に不可欠である。本稿では,雑音の安定性を利用して不確実性を推定する新しいアルゴリズムを提案する。本手法はコンピュータビジョン,自然言語処理,構造データ解析など,様々なタスクに適用可能である。
論文参考訳（メタデータ） (2022-05-26T13:21:01Z)
DeepBayes -- an estimator for parameter estimation in stochastic nonlinear dynamical models [11.917949887615567]
本研究では,DeepBayes推定器を提案する。ディープリカレントニューラルネットワークアーキテクチャはオフラインでトレーニングでき、推論中にかなりの時間を節約できる。提案手法の異なる実例モデルへの適用性を実証し, 最先端手法との詳細な比較を行う。
論文参考訳（メタデータ） (2022-05-04T18:12:17Z)
Uncertainty-Aware Time-to-Event Prediction using Deep Kernel Accelerated Failure Time Models [11.171712535005357]
本稿では,時間-時間予測タスクのためのDeep Kernel Accelerated Failure Timeモデルを提案する。我々のモデルは、2つの実世界のデータセットの実験において、繰り返しニューラルネットワークに基づくベースラインよりも良い点推定性能を示す。
論文参考訳（メタデータ） (2021-07-26T14:55:02Z)
Quantifying Uncertainty in Deep Spatiotemporal Forecasting [67.77102283276409]
本稿では,正規格子法とグラフ法という2種類の予測問題について述べる。我々はベイジアンおよび頻繁な視点からUQ法を解析し、統計的決定理論を通じて統一的な枠組みを提示する。実際の道路ネットワークのトラフィック、疫病、空気質予測タスクに関する広範な実験を通じて、異なるUQ手法の統計計算トレードオフを明らかにする。
論文参考訳（メタデータ） (2021-05-25T14:35:46Z)
A Bayesian Perspective on Training Speed and Model Selection [51.15664724311443]
モデルのトレーニング速度の測定値を用いて,その限界確率を推定できることを示す。線形モデルと深部ニューラルネットワークの無限幅限界に対するモデル選択タスクの結果を検証する。以上の結果から、勾配勾配勾配で訓練されたニューラルネットワークが、一般化する関数に偏りがある理由を説明するための、有望な新たな方向性が示唆された。
論文参考訳（メタデータ） (2020-10-27T17:56:14Z)
Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文参考訳（メタデータ） (2020-06-26T13:50:19Z)
Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。