論文の概要: Scaling Hamiltonian Monte Carlo Inference for Bayesian Neural Networks with Symmetric Splitting

• arxiv url: http://arxiv.org/abs/2010.06772v1
• Date: Wed, 14 Oct 2020 01:58:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-07 12:45:23.645045
• Title: Scaling Hamiltonian Monte Carlo Inference for Bayesian Neural Networks with Symmetric Splitting
• Title（参考訳）: 対称分割を持つベイズニューラルネットワークに対するハミルトンモンテカルロのスケーリング
• Authors: Adam D. Cobb, Brian Jalaian
• Abstract要約: ハミルトニアン・モンテカルロ(英: Hamiltonian Monte Carlo、HMC)は、マルコフ連鎖モンテカルロのアプローチであり、ニューラルネットワークのような高次元モデルにおいて好ましい探索特性を示す。 対称勾配に依存しない分割HMCに対する新たな積分方式を導入する。 提案手法は,大規模機械学習問題に対する推論スキームを考慮した場合,HMCを実現可能な選択肢として示す。
• 参考スコア（独自算出の注目度）: 6.684193501969829
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hamiltonian Monte Carlo (HMC) is a Markov chain Monte Carlo (MCMC) approach that exhibits favourable exploration properties in high-dimensional models such as neural networks. Unfortunately, HMC has limited use in large-data regimes and little work has explored suitable approaches that aim to preserve the entire Hamiltonian. In our work, we introduce a new symmetric integration scheme for split HMC that does not rely on stochastic gradients. We show that our new formulation is more efficient than previous approaches and is easy to implement with a single GPU. As a result, we are able to perform full HMC over common deep learning architectures using entire data sets. In addition, when we compare with stochastic gradient MCMC, we show that our method achieves better performance in both accuracy and uncertainty quantification. Our approach demonstrates HMC as a feasible option when considering inference schemes for large-scale machine learning problems.
• Abstract（参考訳）: ハミルトニアンのモンテカルロ (HMC) はマルコフ連鎖モンテカルロ (MCMC) のアプローチであり、ニューラルネットワークのような高次元モデルにおいて好ましい探索特性を示す。 残念なことに、HMCは大規模なデータ体制でしか使われておらず、ハミルトニアン全体を維持するための適切なアプローチを模索する研究はほとんどない。 本研究では,確率勾配に依存しない分割HMCに対する新しい対称積分法を提案する。 我々は、新しい定式化が従来のアプローチよりも効率的であることを示し、単一のGPUで簡単に実装できることを示します。 その結果、データセット全体を使用して、一般的なディープラーニングアーキテクチャよりも完全なHMCを実現できる。 また, 確率勾配MCMCとの比較では, 精度と不確かさの両面において, 高い性能が得られることを示す。 提案手法は,大規模機械学習問題に対する推論スキームを考慮した場合,HMCを実現可能な選択肢として示す。

関連論文リスト

• Online Variational Sequential Monte Carlo [49.97673761305336]
  我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。 オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
  論文  参考訳（メタデータ） (2023-12-19T21:45:38Z)
• Entropy-based adaptive Hamiltonian Monte Carlo [19.358300726820943]
  ハミルトニアン・モンテカルロ(Hachian Monte Carlo, HMC)は、マルコフ・チェイン・モンテカルロ(MCMC)アルゴリズムの一種。 跳躍式積分器は一般にHMCの実装に使用されるが、その性能は質量行列の選択に敏感である。 我々は,跳躍フロッグ積分器を高い受入率で促進することにより,質量行列の適応を可能にする勾配に基づくアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2021-10-27T17:52:55Z)
• DG-LMC: A Turn-key and Scalable Synchronous Distributed MCMC Algorithm [21.128416842467132]
  ユーザフレンドリな分散MCMCアルゴリズムを用いて,高次元設定でのスケーリングを実現する。 本稿では,合成実験および実データ実験における提案手法の有効性について述べる。
  論文  参考訳（メタデータ） (2021-06-11T10:37:14Z)
• What Are Bayesian Neural Network Posteriors Really Like? [63.950151520585024]
  ハミルトニアンモンテカルロは、標準およびディープアンサンブルよりも大きな性能向上を達成できることを示す。 また,深部分布は標準SGLDとHMCに類似しており,標準変動推論に近いことが示された。
  論文  参考訳（メタデータ） (2021-04-29T15:38:46Z)
• Sampling in Combinatorial Spaces with SurVAE Flow Augmented MCMC [83.48593305367523]
  ハイブリッドモンテカルロ(Hybrid Monte Carlo)は、複素連続分布からサンプリングする強力なマルコフ連鎖モンテカルロ法である。 本稿では,SurVAEフローを用いたモンテカルロ法の拡張に基づく新しい手法を提案する。 本稿では,統計学,計算物理学,機械学習など,様々な分野におけるアルゴリズムの有効性を実証し,代替アルゴリズムと比較した改良点を考察する。
  論文  参考訳（メタデータ） (2021-02-04T02:21:08Z)
• Scaling Hidden Markov Language Models [118.55908381553056]
  この研究は、HMMを言語モデリングデータセットに拡張するという課題を再考する。 本研究では,HMMを大規模状態空間に拡張する手法を提案する。
  論文  参考訳（メタデータ） (2020-11-09T18:51:55Z)
• An adaptive Hessian approximated stochastic gradient MCMC method [12.93317525451798]
  後方からのサンプリング中に局所的幾何情報を組み込む適応型ヘッセン近似勾配MCMC法を提案する。 我々は,ネットワークの空間性を高めるために,等級に基づく重み付け法を採用する。
  論文  参考訳（メタデータ） (2020-10-03T16:22:15Z)
• Non-convex Learning via Replica Exchange Stochastic Gradient MCMC [25.47669573608621]
  本稿では,適応的複製交換SGMCMC(reSGMCMC)を提案し,バイアスを自動的に補正し,対応する特性について検討する。 実験では,様々な設定の広範囲な実験を通じてアルゴリズムを検証し,その結果を得た。
  論文  参考訳（メタデータ） (2020-08-12T15:02:59Z)
• MMCGAN: Generative Adversarial Network with Explicit Manifold Prior [78.58159882218378]
  本稿では,モード崩壊を緩和し,GANのトレーニングを安定させるために,明示的な多様体学習を採用することを提案する。 玩具データと実データの両方を用いた実験により,MMCGANのモード崩壊緩和効果,トレーニングの安定化,生成サンプルの品質向上効果が示された。
  論文  参考訳（メタデータ） (2020-06-18T07:38:54Z)
• Improving Sampling Accuracy of Stochastic Gradient MCMC Methods via Non-uniform Subsampling of Gradients [54.90670513852325]
  サンプリング精度を向上させるための一様でないサブサンプリング手法を提案する。 EWSGは、一様勾配MCMC法がバッチ勾配MCMC法の統計的挙動を模倣するように設計されている。 EWSGの実践的な実装では、データインデックス上のMetropolis-Hastingsチェーンを介して、一様でないサブサンプリングを効率的に行う。
  論文  参考訳（メタデータ） (2020-02-20T18:56:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。