論文の概要: Monte Carlo Stochastic Depth for Uncertainty Estimation in Deep Learning

• arxiv url: http://arxiv.org/abs/2604.12719v1
• Date: Tue, 14 Apr 2026 13:33:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-15 19:11:32.459266
• Title: Monte Carlo Stochastic Depth for Uncertainty Estimation in Deep Learning
• Title（参考訳）: ディープラーニングにおける不確かさ推定のためのモンテカルロ確率深さ
• Authors: Adam T. Müller, Tobias Rögelein, Nicolaj C. Stache,
• Abstract要約: 安全クリティカルシステムにおけるディープニューラルネットワークは、信頼性と効率的な不確実性定量化(UQ)を必要とする UQの実用的な戦略は、モンテカルロ・ドロップアウト(MCD)やMC-DropBlock(MCDB)のようなスケーラブルな近似ベイズ推論手法として正規化器を再開発することである。 MCSDは,現代ディープラーニングにおけるベイズ近似の効率化のための理論的基礎と実証的検証ツールとして確立されている。
• 参考スコア（独自算出の注目度）: 0.6117371161379207
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The deployment of deep neural networks in safety-critical systems necessitates reliable and efficient uncertainty quantification (UQ). A practical and widespread strategy for UQ is repurposing stochastic regularizers as scalable approximate Bayesian inference methods, such as Monte Carlo Dropout (MCD) and MC-DropBlock (MCDB). However, this paradigm remains under-explored for Stochastic Depth (SD), a regularizer integral to the residual-based backbones of most modern architectures. While prior work demonstrated its empirical promise for segmentation, a formal theoretical connection to Bayesian variational inference and a benchmark on complex, multi-task problems like object detection are missing. In this paper, we first provide theoretical insights connecting Monte Carlo Stochastic Depth (MCSD) to principled approximate variational inference. We then present the first comprehensive empirical benchmark of MCSD against MCD and MCDB on state-of-the-art detectors (YOLO, RT-DETR) using the COCO and COCO-O datasets. Our results position MCSD as a robust and computationally efficient method that achieves highly competitive predictive accuracy (mAP), notably yielding slight improvements in calibration (ECE) and uncertainty ranking (AUARC) compared to MCD. We thus establish MCSD as a theoretically-grounded and empirically-validated tool for efficient Bayesian approximation in modern deep learning.
• Abstract（参考訳）: 安全クリティカルシステムへのディープニューラルネットワークの展開は、信頼性と効率的な不確実性定量化(UQ)を必要とする。 UQの実用的で広範な戦略は、モンテカルロ・ドロップアウト(MCD)やMC-DropBlock(MCDB)のようなスケーラブルな近似ベイズ推論手法として確率正規化器を再利用することである。 しかし、このパラダイムは、現代のほとんどのアーキテクチャの残基のバックボーンに不可欠な正則化器である確率深さ(SD)について、まだ解明されていないままである。 以前の研究では、セグメンテーションの実証的な約束が示されていたが、ベイズ変分推論と公式な理論的関係と、オブジェクト検出のような複雑なマルチタスク問題に関するベンチマークは欠落している。 本稿ではまず,モンテカルロ確率深さ(MCSD)と近似変分推論の原理を結びつける理論的知見を提供する。 次に、COCOおよびCOCO-Oデータセットを用いて、最先端検出器(YOLO, RT-DETR)上でMCSDとMCDBの総合的なMCSDベンチマークを行う。 その結果,MCSDは高い競合予測精度(mAP)を達成し,特に校正(ECE)と不確実性ランキング(AUARC)をMCDと比較してわずかに改善した。 そこで我々は,現代ディープラーニングにおけるベイズ近似の効率的化のための理論的基礎と実証的検証ツールとしてMCSDを確立した。

関連論文リスト

• MMDCP: A Distribution-free Approach to Outlier Detection and Classification with Coverage Guarantees and SCW-FDR Control [6.429952624399788]
  ラベルシフト下でのマルチクラス分類と外乱検出のための統一的なフレームワークを提案する。 修正マハラノビス距離等角予測(MMDCP)は、クラス固有の距離測度と完全な等角予測を組み合わせてスコア関数を構築する。 オラクルと経験的コンフォーマルな$p$-値のギャップを初めて理論的に評価し、クラスワイド偽発見率(CW-FDR)の有効なカバレッジと効果的な制御を確実にする。
  論文  参考訳（メタデータ） (2025-11-15T03:48:44Z)
• Efficient Thought Space Exploration through Strategic Intervention [54.35208611253168]
  本稿では,この知見を2つの相乗的コンポーネントを通して操作するHint-Practice Reasoning(HPR)フレームワークを提案する。 フレームワークの中核となる革新は、動的に介入点を識別する分散不整合低減(DIR)である。 算術的および常識的推論ベンチマークによる実験は、HPRの最先端の効率-精度トレードオフを実証している。
  論文  参考訳（メタデータ） (2025-11-13T07:26:01Z)
• Measuring Sample Quality with Copula Discrepancies [0.0]
  Copula Discrepancy (CD) は、依存構造に対する原理的かつ計算学的に効率的な診断である。 我々の理論的枠組みは、近似推論の時代に特化して設計された最初の構造認識診断を提供する。 計算オーバーヘッドのオーバヘッドは、既存のスタインの差よりも桁違いに低いため、CDはMCMC実践者にとって即時的な実用価値と、次世代の構造を意識したサンプル品質評価の理論的基礎の両方を提供する。
  論文  参考訳（メタデータ） (2025-07-29T02:11:45Z)
• Understanding the Trade-offs in Accuracy and Uncertainty Quantification: Architecture and Inference Choices in Bayesian Neural Networks [0.276240219662896]
  有望な理論的結果にもかかわらず、最もよく使われる後部近似の性質はしばしば疑問視される。 現代の深層モデルの次元は、識別可能性の欠如と相まって、マルコフ連鎖モンテカルロ(MCMC)は後部を完全に探索することができない。 変分推論は計算複雑性の改善による恩恵を受けるが、サンプリングベース推論のマルチモーダル保証は欠如している。 変分近似の積み重ねとアンサンブルにより、MCMCに匹敵する精度が大幅に低減された。
  論文  参考訳（メタデータ） (2025-03-14T18:55:48Z)
• Uncertainty quantification for Markov chain induced martingales with application to temporal difference learning [55.197497603087065]
  線形関数近似を用いた時間差分学習アルゴリズムの性能解析を行った。 マルコフ連鎖によって誘導されるベクトル値マルティンタに対する新規で一般的な高次元濃度不等式とベリー-エッセイン境界を確立する。
  論文  参考訳（メタデータ） (2025-02-19T15:33:55Z)
• Ensemble Kalman Filtering Meets Gaussian Process SSM for Non-Mean-Field and Online Inference [47.460898983429374]
  我々は,非平均場(NMF)変動推定フレームワークにアンサンブルカルマンフィルタ(EnKF)を導入し,潜在状態の後方分布を近似する。 EnKFとGPSSMのこの新しい結婚は、変分分布の学習における広範なパラメータ化の必要性をなくすだけでなく、エビデンスの下限(ELBO)の解釈可能でクローズドな近似を可能にする。 得られたEnKF支援オンラインアルゴリズムは、データ適合精度を確保しつつ、モデル正規化を組み込んで過度適合を緩和し、目的関数を具現化する。
  論文  参考訳（メタデータ） (2023-12-10T15:22:30Z)
• Uncertainty Estimation by Fisher Information-based Evidential Deep Learning [61.94125052118442]
  不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。 漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。 特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
  論文  参考訳（メタデータ） (2023-03-03T16:12:59Z)
• Impact of Parameter Sparsity on Stochastic Gradient MCMC Methods for Bayesian Deep Learning [15.521736934292354]
  本稿では,分散ネットワーク構造がストレージコストと推論実行時間とを柔軟にトレードオフする可能性について検討する。 ランダムに選択されたサブストラクチャのクラスは、最先端の反復的プルーニング法から派生したサブストラクチャと同様に実行可能であることを示す。
  論文  参考訳（メタデータ） (2022-02-08T10:34:05Z)
• What Are Bayesian Neural Network Posteriors Really Like? [63.950151520585024]
  ハミルトニアンモンテカルロは、標準およびディープアンサンブルよりも大きな性能向上を達成できることを示す。 また,深部分布は標準SGLDとHMCに類似しており,標準変動推論に近いことが示された。
  論文  参考訳（メタデータ） (2021-04-29T15:38:46Z)
• Assessing the Adversarial Robustness of Monte Carlo and Distillation Methods for Deep Bayesian Neural Network Classification [18.90540785793023]
  MCMCに基づく完全な推論は、優れた堅牢性を有し、標準点推定に基づく学習よりも大幅に優れていることを示す。 大規模モンテカルロアンサンブルの逆例を計算するためのストレージ効率のよい手法を提案する。
  論文  参考訳（メタデータ） (2020-02-07T15:29:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。