論文の概要: Humble your Overconfident Networks: Unlearning Overfitting via Sequential Monte Carlo Tempered Deep Ensembles
- arxiv url: http://arxiv.org/abs/2505.11671v1
- Date: Fri, 16 May 2025 20:10:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-20 14:57:10.772979
- Title: Humble your Overconfident Networks: Unlearning Overfitting via Sequential Monte Carlo Tempered Deep Ensembles
- Title（参考訳）: 信頼度の高いネットワークをぶち壊す:モンテカルロの深層アンサンブルによる未学習のオーバーフィッティング
- Authors: Andrew Millard, Zheng Zhao, Joshua Murphy, Simon Maskell,
- Abstract要約: グラディエント・ハミルトン・モンテカルロの提案を逐次モンテカルロ法(SMC)に組み込むことにより,スケーラブルな変種を導入する。
我々のSMCSGHMCアルゴリズムは、画像分類、分布外検出、伝達学習タスクにおける勾配降下アンサンブルよりも優れている。
- 参考スコア（独自算出の注目度）: 3.2254941904559917
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Sequential Monte Carlo (SMC) methods offer a principled approach to Bayesian uncertainty quantification but are traditionally limited by the need for full-batch gradient evaluations. We introduce a scalable variant by incorporating Stochastic Gradient Hamiltonian Monte Carlo (SGHMC) proposals into SMC, enabling efficient mini-batch based sampling. Our resulting SMCSGHMC algorithm outperforms standard stochastic gradient descent (SGD) and deep ensembles across image classification, out-of-distribution (OOD) detection, and transfer learning tasks. We further show that SMCSGHMC mitigates overfitting and improves calibration, providing a flexible, scalable pathway for converting pretrained neural networks into well-calibrated Bayesian models.
- Abstract（参考訳）: 連続モンテカルロ法(SMC)はベイズの不確実性定量化の原理的なアプローチを提供するが、伝統的にフルバッチ勾配評価の必要性によって制限される。
確率勾配ハミルトンモンテカルロ(SGHMC)の提案をSMCに組み込むことにより、スケーラブルな変種を導入し、より効率的なミニバッチベースサンプリングを実現する。
我々のSMCSGHMCアルゴリズムは、画像分類、アウト・オブ・ディストリビューション(OOD)検出、伝達学習タスクにおいて、標準確率勾配降下(SGD)とディープアンサンブルよりも優れています。
さらに、SMCSGHMCは、過剰適合を緩和し、校正を改善し、事前学習されたニューラルネットワークをよく校正されたベイズモデルに変換する柔軟なスケーラブルな経路を提供することを示す。
関連論文リスト
- Utilising Gradient-Based Proposals Within Sequential Monte Carlo Samplers for Training of Partial Bayesian Neural Networks [3.2254941904559917]
部分ベイズニューラルネットワーク(pBNN)は完全にベイズニューラルネットワークと競合することが示されている。
我々は、ガイド付き提案を活用し、勾配ベースのMarkovカーネルを組み込むことにより、新しいSMCベースのpBNNトレーニング手法を提案する。
提案手法は,予測性能と最適損失の点で最先端の手法より優れていることを示す。
論文 参考訳（メタデータ） (2025-05-01T20:05:38Z) - Tuning Sequential Monte Carlo Samplers via Greedy Incremental Divergence Minimization [21.206714676842317]
本稿では,SMCサンプリング器のMarkovカーネルをチューニングするための一般的な適応フレームワークを提案する。
本稿では,Langevin Monte Carlo (LMC) などのカーネルに適用可能な勾配およびチューニング不要なアルゴリズムを提案する。
我々の実装では、数回のバニラSMC実行を犠牲にして、チューニングされたパラメータの完全なテキストスケジュールを得ることができる。
論文 参考訳（メタデータ） (2025-03-19T21:35:02Z) - Parameter Expanded Stochastic Gradient Markov Chain Monte Carlo [32.46884330460211]
グラディエント・マルコフ・チェイン・モンテカルロにおけるサンプルの多様性を高めるための単純かつ効果的な手法を提案する。
このアプローチはより多様なサンプルセットを生成し、同じ計算予算内でより高速な混合を可能にする。
OODのロバスト性,多様性,損失面の解析,ハミルトン・モンテカルロとの比較などの画像分類に関する実験は,提案手法の優位性を実証している。
論文 参考訳（メタデータ） (2025-03-02T02:42:50Z) - A new perspective on probabilistic image modeling [92.89846887298852]
本稿では,密度推定,サンプリング,トラクタブル推論が可能な画像モデリングのための新しい確率論的手法を提案する。
DCGMMは、CNNのように、ランダムな初期条件からSGDによってエンドツーエンドに訓練することができる。
本研究は,近年のPCおよびSPNモデルと,推論,分類,サンプリングの観点から比較した。
論文 参考訳（メタデータ） (2022-03-21T14:53:57Z) - What Are Bayesian Neural Network Posteriors Really Like? [63.950151520585024]
ハミルトニアンモンテカルロは、標準およびディープアンサンブルよりも大きな性能向上を達成できることを示す。
また,深部分布は標準SGLDとHMCに類似しており,標準変動推論に近いことが示された。
論文 参考訳（メタデータ） (2021-04-29T15:38:46Z) - Sampling in Combinatorial Spaces with SurVAE Flow Augmented MCMC [83.48593305367523]
ハイブリッドモンテカルロ(Hybrid Monte Carlo)は、複素連続分布からサンプリングする強力なマルコフ連鎖モンテカルロ法である。
本稿では,SurVAEフローを用いたモンテカルロ法の拡張に基づく新しい手法を提案する。
本稿では,統計学,計算物理学,機械学習など,様々な分野におけるアルゴリズムの有効性を実証し,代替アルゴリズムと比較した改良点を考察する。
論文 参考訳（メタデータ） (2021-02-04T02:21:08Z) - Plug-And-Play Learned Gaussian-mixture Approximate Message Passing [71.74028918819046]
そこで本研究では,従来のi.i.d.ソースに適した圧縮圧縮センシング(CS)リカバリアルゴリズムを提案する。
我々のアルゴリズムは、Borgerdingの学習AMP(LAMP)に基づいて構築されるが、アルゴリズムに普遍的な復調関数を採用することにより、それを大幅に改善する。
数値評価により,L-GM-AMPアルゴリズムは事前の知識を必要とせず,最先端の性能を実現する。
論文 参考訳（メタデータ） (2020-11-18T16:40:45Z) - Amortized Conditional Normalized Maximum Likelihood: Reliable Out of
Distribution Uncertainty Estimation [99.92568326314667]
本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。
提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。
我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
論文 参考訳（メタデータ） (2020-11-05T08:04:34Z) - Stochastic Gradient Langevin Dynamics Algorithms with Adaptive Drifts [8.36840154574354]
そこで我々は, ドリフト関数を偏り, サドル点からの脱出を促進させ, バイアスを過去のサンプルの勾配に応じて適応的に調整する, 適応的勾配勾配連鎖モンテカルロ(SGMCMC)アルゴリズムを提案する。
本稿では,提案アルゴリズムが既存のSGMCMCアルゴリズムよりも優れていることを示す。
論文 参考訳（メタデータ） (2020-09-20T22:03:39Z) - Non-convex Learning via Replica Exchange Stochastic Gradient MCMC [25.47669573608621]
本稿では,適応的複製交換SGMCMC(reSGMCMC)を提案し,バイアスを自動的に補正し,対応する特性について検討する。
実験では,様々な設定の広範囲な実験を通じてアルゴリズムを検証し,その結果を得た。
論文 参考訳（メタデータ） (2020-08-12T15:02:59Z) - Improving Sampling Accuracy of Stochastic Gradient MCMC Methods via
Non-uniform Subsampling of Gradients [54.90670513852325]
サンプリング精度を向上させるための一様でないサブサンプリング手法を提案する。
EWSGは、一様勾配MCMC法がバッチ勾配MCMC法の統計的挙動を模倣するように設計されている。
EWSGの実践的な実装では、データインデックス上のMetropolis-Hastingsチェーンを介して、一様でないサブサンプリングを効率的に行う。
論文 参考訳（メタデータ） (2020-02-20T18:56:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。