論文の概要: Efficient Training of Probabilistic Neural Networks for Survival Analysis
- arxiv url: http://arxiv.org/abs/2404.06421v3
- Date: Wed, 19 Jun 2024 00:21:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-22 04:30:07.808623
- Title: Efficient Training of Probabilistic Neural Networks for Survival Analysis
- Title（参考訳）: 生存分析のための確率論的ニューラルネットワークの効率的な訓練
- Authors: Christian Marius Lillelund, Martin Magris, Christian Fischer Pedersen,
- Abstract要約: 変分推論(VI)は、ディープラーニングモデルにおけるベイズ推定と不確実性推定によく用いられる手法である。
これは、不確実性を表すためにトレーニング可能なパラメータの数を2倍にするため、計算コストがかかる。
本研究では,モデル複雑性のオーバーヘッドを増大させることなく,大規模データセットの深層確率的生存モデルをトレーニングする方法を検討する。
- 参考スコア（独自算出の注目度）: 0.6437284704257459
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Variational Inference (VI) is a commonly used technique for approximate Bayesian inference and uncertainty estimation in deep learning models, yet it comes at a computational cost, as it doubles the number of trainable parameters to represent uncertainty. This rapidly becomes challenging in high-dimensional settings and motivates the use of alternative techniques for inference, such as Monte Carlo Dropout (MCD) or Spectral-normalized Neural Gaussian Process (SNGP). However, such methods have seen little adoption in survival analysis, and VI remains the prevalent approach for training probabilistic neural networks. In this paper, we investigate how to train deep probabilistic survival models in large datasets without introducing additional overhead in model complexity. To achieve this, we adopt three probabilistic approaches, namely VI, MCD, and SNGP, and evaluate them in terms of their prediction performance, calibration performance, and model complexity. In the context of probabilistic survival analysis, we investigate whether non-VI techniques can offer comparable or possibly improved prediction performance and uncertainty calibration compared to VI. In the MIMIC-IV dataset, we find that MCD aligns with VI in terms of the concordance index (0.748 vs. 0.743) and mean absolute error (254.9 vs. 254.7) using hinge loss, while providing C-calibrated uncertainty estimates. Moreover, our SNGP implementation provides D-calibrated survival functions in all datasets compared to VI (4/4 vs. 2/4, respectively). Our work encourages the use of techniques alternative to VI for survival analysis in high-dimensional datasets, where computational efficiency and overhead are of concern.
- Abstract（参考訳）: 変分推論(VI)は、ディープラーニングモデルにおけるベイズ推定と不確実性推定を近似するために一般的に用いられる手法であるが、不確実性を表すためにトレーニング可能なパラメータの数を2倍にするため、計算コストがかかる。
これは高次元設定において急速に困難となり、モンテカルロ・ドロップアウト (MCD) やスペクトル正規化ニューラルガウス過程 (SNGP) などの代替手法の使用を動機付けている。
しかし、このような手法は生存分析にはほとんど採用されておらず、VIは確率的ニューラルネットワークをトレーニングするための一般的なアプローチである。
本稿では,大規模データセットの深層確率的生存モデルをモデル複雑性の付加的オーバーヘッドを伴わずにトレーニングする方法を検討する。
そこで我々は,VI,MCD,SNGPという3つの確率的アプローチを採用し,それらの予測性能,キャリブレーション性能,モデル複雑性の観点から評価する。
確率的生存分析の文脈において、非VI技術は、VIと比較して予測性能と不確実性校正を同等または改善できるかどうかを検討する。
MIMIC-IVデータセットでは、MCDは一致指数 (0.748 vs. 0.743) と、ヒンジ損失を用いた平均絶対誤差 (254.9 vs. 254.7) でVIと一致し、C校正された不確実性推定を提供する。
さらに、SNGP実装は、VI(4/4対2/4)と比較して、すべてのデータセットでD校正サバイバル機能を提供する。
我々の研究は、計算効率とオーバーヘッドが懸念される高次元データセットの生存分析にVIに代わる手法を使うことを奨励している。
関連論文リスト
- MCDFN: Supply Chain Demand Forecasting via an Explainable Multi-Channel Data Fusion Network Model [0.0]
CNN,Long Short-Term Memory Network (LSTM), Gated Recurrent Units (GRU)を統合したハイブリッドアーキテクチャであるMulti-Channel Data Fusion Network (MCDFN)を紹介する。
我々の厳密なベンチマークは、MCDFNが他の7つのディープラーニングモデルより優れていることを示している。
本研究は,需要予測手法を進歩させ,MCDFNをサプライチェーンシステムに統合するための実践的ガイドラインを提供する。
論文 参考訳（メタデータ） (2024-05-24T14:30:00Z) - Partially factorized variational inference for high-dimensional mixed
models [0.0]
変分推論(VI)法はそのような計算を行う一般的な方法である。
標準VI(平均場)は、高次元における後方の不確かさを劇的に過小評価していることを示す。
次に、平均場仮定を適切に緩和すると、不確かさの定量化が高次元で悪化しないVI法が得られることを示す。
論文 参考訳（メタデータ） (2023-12-20T16:12:37Z) - The effect of data augmentation and 3D-CNN depth on Alzheimer's Disease
detection [51.697248252191265]
この研究は、データハンドリング、実験設計、モデル評価に関するベストプラクティスを要約し、厳密に観察する。
我々は、アルツハイマー病(AD)の検出に焦点を当て、医療における課題のパラダイム的な例として機能する。
このフレームワークでは,3つの異なるデータ拡張戦略と5つの異なる3D CNNアーキテクチャを考慮し,予測15モデルを訓練する。
論文 参考訳（メタデータ） (2023-09-13T10:40:41Z) - Amortised Inference in Bayesian Neural Networks [0.0]
Amortized Pseudo-Observation Variational Inference Bayesian Neural Network (APOVI-BNN)を紹介する。
補正された推論は、従来の変分推論によって得られたものと類似または良好な品質であることが示される。
次に、APOVI-BNNをニューラルプロセスファミリーの新たなメンバーと見なす方法について論じる。
論文 参考訳（メタデータ） (2023-09-06T14:02:33Z) - Amortized Variational Inference: A Systematic Review [0.0]
変分推論(VI)の中核となる原理は、複雑な後続確率密度の統計的推論問題を、トラクタブルな最適化問題に変換することである。
従来のVIアルゴリズムは大規模データセットには拡張性がなく、データポイントのアウトオブバウンドを容易に推測できない。
ブラックボックスやアモールタイズVIのようなこの分野の最近の進歩は、これらの問題に対処するのに役立っている。
論文 参考訳（メタデータ） (2022-09-22T09:45:10Z) - Uncertainty Modeling for Out-of-Distribution Generalization [56.957731893992495]
特徴統計を適切に操作することで、ディープラーニングモデルの一般化能力を向上させることができると論じる。
一般的な手法では、特徴統計を学習した特徴から測定された決定論的値とみなすことが多い。
我々は、学習中に合成された特徴統計を用いて、領域シフトの不確かさをモデル化することにより、ネットワークの一般化能力を向上させる。
論文 参考訳（メタデータ） (2022-02-08T16:09:12Z) - NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural
Networks [151.03112356092575]
本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。
種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
論文 参考訳（メタデータ） (2022-02-07T12:30:45Z) - Missing Value Imputation on Multidimensional Time Series [16.709162372224355]
本稿では,多次元時系列データセットにおける深層学習手法DeepMVIを提案する。
DeepMVIは、時系列に沿った細粒度と粗粒度パターンと、カテゴリ次元にわたる関連するシリーズのトレンドを組み合わせる。
実験の結果、DeepMVIの精度は著しく向上し、半数以上のケースで50%以上のエラーが削減された。
論文 参考訳（メタデータ） (2021-03-02T09:55:05Z) - Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。
彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。
本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
論文 参考訳（メタデータ） (2021-02-22T07:02:37Z) - Meta-Learning Divergences of Variational Inference [49.164944557174294]
変分推論(VI)は、近似ベイズ推論において重要な役割を果たす。
本稿では,興味ある課題に適した分散度を学習するためのメタ学習アルゴリズムを提案する。
提案手法はガウス混合分布近似の標準VIより優れていることを示す。
論文 参考訳（メタデータ） (2020-07-06T17:43:01Z) - Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。
そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。
最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
論文 参考訳（メタデータ） (2020-03-10T03:10:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。