論文の概要: Rate-In: Information-Driven Adaptive Dropout Rates for Improved Inference-Time Uncertainty Estimation
- arxiv url: http://arxiv.org/abs/2412.07169v3
- Date: Tue, 14 Jan 2025 18:51:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-15 13:27:41.338731
- Title: Rate-In: Information-Driven Adaptive Dropout Rates for Improved Inference-Time Uncertainty Estimation
- Title(参考訳): Rate-In: 推論時間不確実性推定の改善のための情報駆動型適応型ドロップアウト率
- Authors: Tal Zeevi, Ravid Shwartz-Ziv, Yann LeCun, Lawrence H. Staib, John A. Onofrey,
- Abstract要約: 本稿では,各レイヤの特徴マップにおけるドロップアウトによって引き起こされる情報損失を定量化することにより,推論中のドロップアウト率を動的に調整するアルゴリズムであるRate-Inを提案する。
特徴マップにおける機能的情報損失を定量化することにより、様々な医用画像タスクや建築構成の知覚品質を維持するために、ドロップアウト率を適応的に調整する。
- 参考スコア(独自算出の注目度): 22.00767497425173
- License:
- Abstract: Accurate uncertainty estimation is crucial for deploying neural networks in risk-sensitive applications such as medical diagnosis. Monte Carlo Dropout is a widely used technique for approximating predictive uncertainty by performing stochastic forward passes with dropout during inference. However, using static dropout rates across all layers and inputs can lead to suboptimal uncertainty estimates, as it fails to adapt to the varying characteristics of individual inputs and network layers. Existing approaches optimize dropout rates during training using labeled data, resulting in fixed inference-time parameters that cannot adjust to new data distributions, compromising uncertainty estimates in Monte Carlo simulations. In this paper, we propose Rate-In, an algorithm that dynamically adjusts dropout rates during inference by quantifying the information loss induced by dropout in each layer's feature maps. By treating dropout as controlled noise injection and leveraging information-theoretic principles, Rate-In adapts dropout rates per layer and per input instance without requiring ground truth labels. By quantifying the functional information loss in feature maps, we adaptively tune dropout rates to maintain perceptual quality across diverse medical imaging tasks and architectural configurations. Our extensive empirical study on synthetic data and real-world medical imaging tasks demonstrates that Rate-In improves calibration and sharpens uncertainty estimates compared to fixed or heuristic dropout rates without compromising predictive performance. Rate-In offers a practical, unsupervised, inference-time approach to optimizing dropout for more reliable predictive uncertainty estimation in critical applications.
- Abstract(参考訳): 医療診断などのリスクに敏感なアプリケーションにニューラルネットワークをデプロイするには、正確な不確実性推定が不可欠である。
モンテカルロ・ドロップアウト(Monte Carlo Dropout)は、推論中に確率的前方通過を行い、予測の不確かさを近似する手法である。
しかしながら、全ての層と入力の静的なドロップアウトレートを使用することで、個々の入力とネットワーク層の異なる特性に適応できないため、最適以下の不確実性推定につながる可能性がある。
既存のアプローチでは、ラベル付きデータを用いたトレーニング中のドロップアウト率を最適化し、新しいデータ分布に適応できない固定された推論時間パラメータを生成し、モンテカルロシミュレーションで不確実性の推定を妥協する。
本稿では,各レイヤの特徴マップにおけるドロップアウトによって引き起こされる情報損失を定量化することにより,推論中のドロップアウト率を動的に調整するアルゴリズムであるRate-Inを提案する。
ドロップアウトを制御されたノイズ注入として扱い、情報理論の原則を活用することにより、Rate-Inは、基礎的な真理ラベルを必要とせずに、レイヤごとのドロップアウト率と入力インスタンス毎のドロップアウト率を適用する。
特徴マップにおける機能的情報損失を定量化することにより、様々な医用画像タスクや建築構成の知覚品質を維持するために、ドロップアウト率を適応的に調整する。
人工データと実世界の医療画像タスクに関する広範な実証研究により、Rate-Inはキャリブレーションを改善し、予測性能を損なうことなく、固定的またはヒューリスティックなドロップアウトレートと比較して不確実性の推定を鋭くすることを示した。
Rate-Inは、重要なアプリケーションにおけるより信頼性の高い予測の不確実性推定のために、ドロップアウトを最適化するための実用的で教師なしの推論時間アプローチを提供する。
関連論文リスト
- SepsisLab: Early Sepsis Prediction with Uncertainty Quantification and Active Sensing [67.8991481023825]
セプシスは米国での院内死亡の主な原因である。
既存の予測モデルは通常、情報不足の少ない高品質なデータで訓練される。
限られた観察により信頼性の低い高リスク患者に対して,ロバストな能動センシングアルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-07-24T04:47:36Z) - Quantification of Predictive Uncertainty via Inference-Time Sampling [57.749601811982096]
本稿では,データあいまいさの予測不確実性を推定するためのポストホックサンプリング手法を提案する。
この方法は与えられた入力に対して異なる可算出力を生成することができ、予測分布のパラメトリック形式を仮定しない。
論文 参考訳(メタデータ) (2023-08-03T12:43:21Z) - Uncertainty Estimation by Fisher Information-based Evidential Deep
Learning [61.94125052118442]
不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。
漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。
特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
論文 参考訳(メタデータ) (2023-03-03T16:12:59Z) - Dropout Injection at Test Time for Post Hoc Uncertainty Quantification
in Neural Networks [5.487511963603429]
本研究では, ドロップアウト注入が, 競合するポストホック不確実性定量化技術として効果的に動作することを示す。
本研究の主な貢献は、注入液滴の有効利用に関するガイドラインを提供することで、現在の組込み液滴の実用的代替となるようにすることである。
論文 参考訳(メタデータ) (2023-02-06T16:56:53Z) - Towards Reliable Medical Image Segmentation by utilizing Evidential Calibrated Uncertainty [52.03490691733464]
本稿では,医療画像セグメンテーションネットワークにシームレスに統合可能な,実装が容易な基礎モデルであるDEviSを紹介する。
主観的論理理論を利用して、医用画像分割の問題に対する確率と不確実性を明示的にモデル化する。
DeviSには不確実性を考慮したフィルタリングモジュールが組み込まれている。
論文 参考訳(メタデータ) (2023-01-01T05:02:46Z) - Training Uncertainty-Aware Classifiers with Conformalized Deep Learning [7.837881800517111]
ディープニューラルネットワークは、データ内の隠れパターンを検出し、それらを活用して予測する強力なツールであるが、不確実性を理解するように設計されていない。
我々は予測力を犠牲にすることなく、より信頼性の高い不確実性推定を導出できる新しいトレーニングアルゴリズムを開発した。
論文 参考訳(メタデータ) (2022-05-12T05:08:10Z) - Improving accuracy and uncertainty quantification of deep learning based
quantitative MRI using Monte Carlo dropout [2.290218701603077]
ドロップアウトは、通常、トレーニングフェーズ中に正規化方法として使われ、ディープラーニングにおける不確実性の定量化に使用される。
我々は,トレーニング中のドロップアウトと推論ステップを用いて,不確実性を低減・定量化しながら,精度を向上させるために平均的な複数の予測を行うことを提案する。
論文 参考訳(メタデータ) (2021-12-02T20:04:40Z) - Advanced Dropout: A Model-free Methodology for Bayesian Dropout
Optimization [62.8384110757689]
ディープニューラルネットワーク(DNN)の現実的応用において、ユビキタスなオーバーフィッティングが存在する
先進的なドロップアウト手法は、パラメトリック先行でモデルフリーで容易に実装された分布を適用し、ドロップアウト率を適応的に調整する。
7つのコンピュータビジョンデータセットにおける9つのドロップアウト手法に対する高度なドロップアウトの有効性を評価する。
論文 参考訳(メタデータ) (2020-10-11T13:19:58Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳(メタデータ) (2020-06-26T13:50:19Z) - Uncertainty-Aware Variational-Recurrent Imputation Network for Clinical
Time Series [5.485209961772906]
本稿では,命令と予測ネットワークを統一する新しい変分再帰型計算ネットワークを提案する。
具体的には,変数間の分布に基づく計算モデルと,時間的関係を利用する再帰的計算ネットワークを利用する。
論文 参考訳(メタデータ) (2020-03-02T05:12:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。