論文の概要: Last Layer Hamiltonian Monte Carlo
- arxiv url: http://arxiv.org/abs/2507.08905v1
- Date: Fri, 11 Jul 2025 10:24:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-15 18:48:21.771608
- Title: Last Layer Hamiltonian Monte Carlo
- Title（参考訳）: 最後の層であるハミルトニアン・モンテカルロ
- Authors: Koen Vellenga, H. Joe Steinhauer, Göran Falkman, Jonas Andersson, Anders Sjögren,
- Abstract要約: Hamiltonian Monte Carlo (HMC) サンプリングはディープニューラルネットワーク(DNN)の確率論的最終層アプローチである
最後の層HMC(LL--HMC)は、DNNの最終層にHMCサンプリングを制限することにより、必要な計算量を削減している。
LL-HMCとLL-PDL(Probabilistic Deep Learning)の5つの手法を比較した。
- 参考スコア（独自算出の注目度）: 1.2582887633807602
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: We explore the use of Hamiltonian Monte Carlo (HMC) sampling as a probabilistic last layer approach for deep neural networks (DNNs). While HMC is widely regarded as a gold standard for uncertainty estimation, the computational demands limit its application to large-scale datasets and large DNN architectures. Although the predictions from the sampled DNN parameters can be parallelized, the computational cost still scales linearly with the number of samples (similar to an ensemble). Last layer HMC (LL--HMC) reduces the required computations by restricting the HMC sampling to the final layer of a DNN, making it applicable to more data-intensive scenarios with limited computational resources. In this paper, we compare LL-HMC against five last layer probabilistic deep learning (LL-PDL) methods across three real-world video datasets for driver action and intention. We evaluate the in-distribution classification performance, calibration, and out-of-distribution (OOD) detection. Due to the stochastic nature of the probabilistic evaluations, we performed five grid searches for different random seeds to avoid being reliant on a single initialization for the hyperparameter configurations. The results show that LL--HMC achieves competitive in-distribution classification and OOD detection performance. Additional sampled last layer parameters do not improve the classification performance, but can improve the OOD detection. Multiple chains or starting positions did not yield consistent improvements.
- Abstract（参考訳）: 深層ニューラルネットワーク(DNN)における確率論的最終層アプローチとして,ハミルトン・モンテカルロサンプリング(HMC)の利用について検討する。
HMCは不確実性推定のゴールドスタンダードとして広く見なされているが、計算要求は大規模データセットや大規模DNNアーキテクチャに限定している。
サンプルDNNパラメータからの予測は並列化可能であるが、計算コストはサンプル数(アンサンブルに似ている)と線形にスケールする。
最後の層 HMC (LL--HMC) は、HMCサンプリングをDNNの最終層に制限することで必要な計算を削減し、限られた計算資源を持つよりデータ集約的なシナリオに適用できる。
本稿では,LL-HMCとLL-PDL(Probabilistic Deep Learning)の5つの手法を比較する。
我々は,分布内分類性能,キャリブレーション,アウト・オブ・ディストリビューション(OOD)の検出を評価した。
確率的評価の確率的性質から,高パラメータ構成の単一初期化に頼らないために,異なるランダムな種子を5つのグリッドで探索した。
その結果,LL-HMCは競合する分布内分類とOOD検出性能が得られることがわかった。
追加のサンプル最終層パラメータは分類性能を改善せず、OOD検出を改善することができる。
複数のチェーンや開始位置は、一貫した改善を得られなかった。
関連論文リスト
- Utilising Gradient-Based Proposals Within Sequential Monte Carlo Samplers for Training of Partial Bayesian Neural Networks [3.2254941904559917]
部分ベイズニューラルネットワーク(pBNN)は完全にベイズニューラルネットワークと競合することが示されている。
我々は、ガイド付き提案を活用し、勾配ベースのMarkovカーネルを組み込むことにより、新しいSMCベースのpBNNトレーニング手法を提案する。
提案手法は,予測性能と最適損失の点で最先端の手法より優れていることを示す。
論文 参考訳（メタデータ） (2025-05-01T20:05:38Z) - Parameter Expanded Stochastic Gradient Markov Chain Monte Carlo [32.46884330460211]
グラディエント・マルコフ・チェイン・モンテカルロにおけるサンプルの多様性を高めるための単純かつ効果的な手法を提案する。
このアプローチはより多様なサンプルセットを生成し、同じ計算予算内でより高速な混合を可能にする。
OODのロバスト性,多様性,損失面の解析,ハミルトン・モンテカルロとの比較などの画像分類に関する実験は,提案手法の優位性を実証している。
論文 参考訳（メタデータ） (2025-03-02T02:42:50Z) - Compact Bayesian Neural Networks via pruned MCMC sampling [0.16777183511743468]
ベイズニューラルネットワーク(BNN)は、モデル予測において堅牢な不確実性定量化を提供するが、それらのトレーニングは重要な計算課題を示す。
本研究では,MCMCサンプリングとネットワークプルーニングを併用して,コンパクトな確率モデルを得るという課題に対処する。
モデルトレーニングと一般化性能を保ちながら, 後続分布による不確実性を推定する能力は, コンパクトBNNが維持可能であることを保証する。
論文 参考訳（メタデータ） (2025-01-12T22:48:04Z) - Minimally Supervised Learning using Topological Projections in
Self-Organizing Maps [55.31182147885694]
自己組織化マップ(SOM)におけるトポロジカルプロジェクションに基づく半教師付き学習手法を提案する。
提案手法は,まずラベル付きデータ上でSOMを訓練し,最小限のラベル付きデータポイントをキーベストマッチングユニット(BMU)に割り当てる。
提案した最小教師付きモデルが従来の回帰手法を大幅に上回ることを示す。
論文 参考訳（メタデータ） (2024-01-12T22:51:48Z) - A new perspective on probabilistic image modeling [92.89846887298852]
本稿では,密度推定,サンプリング,トラクタブル推論が可能な画像モデリングのための新しい確率論的手法を提案する。
DCGMMは、CNNのように、ランダムな初期条件からSGDによってエンドツーエンドに訓練することができる。
本研究は,近年のPCおよびSPNモデルと,推論,分類,サンプリングの観点から比較した。
論文 参考訳（メタデータ） (2022-03-21T14:53:57Z) - What Are Bayesian Neural Network Posteriors Really Like? [63.950151520585024]
ハミルトニアンモンテカルロは、標準およびディープアンサンブルよりも大きな性能向上を達成できることを示す。
また,深部分布は標準SGLDとHMCに類似しており,標準変動推論に近いことが示された。
論文 参考訳（メタデータ） (2021-04-29T15:38:46Z) - Rapid Risk Minimization with Bayesian Models Through Deep Learning
Approximation [9.93116974480156]
本稿では,ベイズモデル (BM) とニューラルネットワーク (NN) を組み合わせて,予測を最小限のリスクで行う手法を提案する。
私たちのアプローチは、BMのデータ効率と解釈可能性とNNの速度を組み合わせます。
テストデータセットに無視できる損失がある標準手法よりも、リスク最小限の予測をはるかに高速に達成する。
論文 参考訳（メタデータ） (2021-03-29T15:08:25Z) - Amortized Conditional Normalized Maximum Likelihood: Reliable Out of
Distribution Uncertainty Estimation [99.92568326314667]
本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。
提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。
我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
論文 参考訳（メタデータ） (2020-11-05T08:04:34Z) - Exploring the Uncertainty Properties of Neural Networks' Implicit Priors
in the Infinite-Width Limit [47.324627920761685]
我々は、無限大のNNのアンサンブルに先立って関数空間をガウス過程として特徴づける最近の理論的進歩を用いる。
これにより、関数空間上の暗黙の前のNNについて、よりよく理解できます。
また,従来のNNGPを用いた分類手法の校正について検討した。
論文 参考訳（メタデータ） (2020-10-14T18:41:54Z) - Improving Sampling Accuracy of Stochastic Gradient MCMC Methods via
Non-uniform Subsampling of Gradients [54.90670513852325]
サンプリング精度を向上させるための一様でないサブサンプリング手法を提案する。
EWSGは、一様勾配MCMC法がバッチ勾配MCMC法の統計的挙動を模倣するように設計されている。
EWSGの実践的な実装では、データインデックス上のMetropolis-Hastingsチェーンを介して、一様でないサブサンプリングを効率的に行う。
論文 参考訳（メタデータ） (2020-02-20T18:56:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。