論文の概要: Parameter Expanded Stochastic Gradient Markov Chain Monte Carlo

• arxiv url: http://arxiv.org/abs/2503.00699v1
• Date: Sun, 02 Mar 2025 02:42:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:26:48.712801
• Title: Parameter Expanded Stochastic Gradient Markov Chain Monte Carlo
• Title（参考訳）: パラメータ拡張確率勾配マルコフチェインモンテカルロ
• Authors: Hyunsu Kim, Giung Nam, Chulhee Yun, Hongseok Yang, Juho Lee,
• Abstract要約: グラディエント・マルコフ・チェイン・モンテカルロにおけるサンプルの多様性を高めるための単純かつ効果的な手法を提案する。 このアプローチはより多様なサンプルセットを生成し、同じ計算予算内でより高速な混合を可能にする。 OODのロバスト性,多様性,損失面の解析,ハミルトン・モンテカルロとの比較などの画像分類に関する実験は,提案手法の優位性を実証している。
• 参考スコア（独自算出の注目度）: 32.46884330460211
• License:
• Abstract: Bayesian Neural Networks (BNNs) provide a promising framework for modeling predictive uncertainty and enhancing out-of-distribution robustness (OOD) by estimating the posterior distribution of network parameters. Stochastic Gradient Markov Chain Monte Carlo (SGMCMC) is one of the most powerful methods for scalable posterior sampling in BNNs, achieving efficiency by combining stochastic gradient descent with second-order Langevin dynamics. However, SGMCMC often suffers from limited sample diversity in practice, which affects uncertainty estimation and model performance. We propose a simple yet effective approach to enhance sample diversity in SGMCMC without the need for tempering or running multiple chains. Our approach reparameterizes the neural network by decomposing each of its weight matrices into a product of matrices, resulting in a sampling trajectory that better explores the target parameter space. This approach produces a more diverse set of samples, allowing faster mixing within the same computational budget. Notably, our sampler achieves these improvements without increasing the inference cost compared to the standard SGMCMC. Extensive experiments on image classification tasks, including OOD robustness, diversity, loss surface analyses, and a comparative study with Hamiltonian Monte Carlo, demonstrate the superiority of the proposed approach.
• Abstract（参考訳）: Bayesian Neural Networks (BNN)は、予測の不確実性をモデル化し、ネットワークパラメータの後方分布を推定することにより、OOD(out-of-distriion robustness)を向上させるための有望なフレームワークを提供する。 Stochastic Gradient Markov Chain Monte Carlo (SGMCMC) は、BNNにおいてスケーラブルな後方サンプリングを行う最も強力な手法の1つである。 しかし、SGMCMCはサンプルの多様性が限られており、不確実性推定やモデル性能に影響を及ぼすことが多い。 本稿では,SGMCMCにおけるサンプルの多様性を高めるために,複数のチェーンを温めたり動作させたりすることなく,簡便かつ効果的なアプローチを提案する。 提案手法では,各重み行列を行列の積に分解してニューラルネットワークを再パラメータ化することにより,対象パラメータ空間をよりよく探索するサンプリング軌道を導出する。 このアプローチはより多様なサンプルセットを生成し、同じ計算予算内でより高速な混合を可能にする。 特に,本研究では,標準SGMCMCに比べて推論コストを増大させることなく,これらの改善を実現している。 OODロバスト性、多様性、損失面解析、ハミルトン・モンテカルロとの比較研究など、画像分類タスクに関する広範な実験は、提案手法の優位性を実証している。

関連論文リスト

• Compact Bayesian Neural Networks via pruned MCMC sampling [0.16777183511743468]
  ベイズニューラルネットワーク(BNN)は、モデル予測において堅牢な不確実性定量化を提供するが、それらのトレーニングは重要な計算課題を示す。 本研究では,MCMCサンプリングとネットワークプルーニングを併用して,コンパクトな確率モデルを得るという課題に対処する。 モデルトレーニングと一般化性能を保ちながら, 後続分布による不確実性を推定する能力は, コンパクトBNNが維持可能であることを保証する。
  論文  参考訳（メタデータ） (2025-01-12T22:48:04Z)
• Online Variational Sequential Monte Carlo [49.97673761305336]
  我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。 オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
  論文  参考訳（メタデータ） (2023-12-19T21:45:38Z)
• A new perspective on probabilistic image modeling [92.89846887298852]
  本稿では,密度推定,サンプリング,トラクタブル推論が可能な画像モデリングのための新しい確率論的手法を提案する。 DCGMMは、CNNのように、ランダムな初期条件からSGDによってエンドツーエンドに訓練することができる。 本研究は,近年のPCおよびSPNモデルと,推論,分類,サンプリングの観点から比較した。
  論文  参考訳（メタデータ） (2022-03-21T14:53:57Z)
• Structured Stochastic Gradient MCMC [20.68905354115655]
  近似した後方関数形式を仮定しない新しい非パラメトリック変分近似を提案する。 完全なSGMCMCよりも優れた予測可能性と有効試料サイズが得られる。
  論文  参考訳（メタデータ） (2021-07-19T17:18:10Z)
• What Are Bayesian Neural Network Posteriors Really Like? [63.950151520585024]
  ハミルトニアンモンテカルロは、標準およびディープアンサンブルよりも大きな性能向上を達成できることを示す。 また,深部分布は標準SGLDとHMCに類似しており,標準変動推論に近いことが示された。
  論文  参考訳（メタデータ） (2021-04-29T15:38:46Z)
• Sampling in Combinatorial Spaces with SurVAE Flow Augmented MCMC [83.48593305367523]
  ハイブリッドモンテカルロ(Hybrid Monte Carlo)は、複素連続分布からサンプリングする強力なマルコフ連鎖モンテカルロ法である。 本稿では,SurVAEフローを用いたモンテカルロ法の拡張に基づく新しい手法を提案する。 本稿では,統計学,計算物理学,機械学習など,様々な分野におけるアルゴリズムの有効性を実証し,代替アルゴリズムと比較した改良点を考察する。
  論文  参考訳（メタデータ） (2021-02-04T02:21:08Z)
• An adaptive Hessian approximated stochastic gradient MCMC method [12.93317525451798]
  後方からのサンプリング中に局所的幾何情報を組み込む適応型ヘッセン近似勾配MCMC法を提案する。 我々は,ネットワークの空間性を高めるために,等級に基づく重み付け法を採用する。
  論文  参考訳（メタデータ） (2020-10-03T16:22:15Z)
• Non-convex Learning via Replica Exchange Stochastic Gradient MCMC [25.47669573608621]
  本稿では,適応的複製交換SGMCMC(reSGMCMC)を提案し,バイアスを自動的に補正し,対応する特性について検討する。 実験では,様々な設定の広範囲な実験を通じてアルゴリズムを検証し,その結果を得た。
  論文  参考訳（メタデータ） (2020-08-12T15:02:59Z)
• Improving Sampling Accuracy of Stochastic Gradient MCMC Methods via Non-uniform Subsampling of Gradients [54.90670513852325]
  サンプリング精度を向上させるための一様でないサブサンプリング手法を提案する。 EWSGは、一様勾配MCMC法がバッチ勾配MCMC法の統計的挙動を模倣するように設計されている。 EWSGの実践的な実装では、データインデックス上のMetropolis-Hastingsチェーンを介して、一様でないサブサンプリングを効率的に行う。
  論文  参考訳（メタデータ） (2020-02-20T18:56:18Z)
• Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
  過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。 また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
  論文  参考訳（メタデータ） (2020-02-20T15:43:02Z)
• Ensemble Slice Sampling: Parallel, black-box and gradient-free inference for correlated & multimodal distributions [0.0]
  スライスサンプリング (Slice Sampling) は、最小ハンドチューニングで目標分布の特性に適応するマルコフ連鎖モンテカルロアルゴリズムとして登場した。 本稿では,初期長さ尺度を適応的に調整することで,そのような困難を回避できるアルゴリズムであるEnsemble Slice Sampling(ESS)を紹介する。 これらのアフィン不変アルゴリズムは簡単に構築でき、手作業で調整する必要がなく、並列計算環境で容易に実装できる。
  論文  参考訳（メタデータ） (2020-02-14T19:00:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。