論文の概要: Structured Stochastic Gradient MCMC

• arxiv url: http://arxiv.org/abs/2107.09028v1
• Date: Mon, 19 Jul 2021 17:18:10 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-20 16:55:25.193670
• Title: Structured Stochastic Gradient MCMC
• Title（参考訳）: 構造化確率勾配MCMC
• Authors: Antonios Alexos, Alex Boyd, Stephan Mandt
• Abstract要約: 近似した後方関数形式を仮定しない新しい非パラメトリック変分近似を提案する。 完全なSGMCMCよりも優れた予測可能性と有効試料サイズが得られる。
• 参考スコア（独自算出の注目度）: 20.68905354115655
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Stochastic gradient Markov chain Monte Carlo (SGMCMC) is considered the gold standard for Bayesian inference in large-scale models, such as Bayesian neural networks. Since practitioners face speed versus accuracy tradeoffs in these models, variational inference (VI) is often the preferable option. Unfortunately, VI makes strong assumptions on both the factorization and functional form of the posterior. In this work, we propose a new non-parametric variational approximation that makes no assumptions about the approximate posterior's functional form and allows practitioners to specify the exact dependencies the algorithm should respect or break. The approach relies on a new Langevin-type algorithm that operates on a modified energy function, where parts of the latent variables are averaged over samples from earlier iterations of the Markov chain. This way, statistical dependencies can be broken in a controlled way, allowing the chain to mix faster. This scheme can be further modified in a ''dropout'' manner, leading to even more scalability. By implementing the scheme on a ResNet-20 architecture, we obtain better predictive likelihoods and larger effective sample sizes than full SGMCMC.
• Abstract（参考訳）: 確率的勾配マルコフ連鎖モンテカルロ(sgmcmc)は、ベイズニューラルネットワークのような大規模モデルにおけるベイズ推論の金標準であると考えられている。 これらのモデルでは、実践者は速度と精度のトレードオフに直面しているため、変分推論(VI)が好まれる。 残念ながら、VI は後部の分解と機能形式の両方について強い仮定をする。 本研究では,非パラメトリックな変分近似を新たに提案し,近似した後続の関数形式を仮定することなく,アルゴリズムが尊重または破壊すべき正確な依存関係を指定できるようにする。 このアプローチは、修正エネルギー関数で動く新しいランゲヴィン型アルゴリズムに依存しており、潜在変数の一部がマルコフ連鎖の以前の反復のサンプル上で平均化される。 この方法では、統計的依存関係を制御された方法で壊すことができ、チェーンの混合がより速くなる。 このスキームは'ドロップアウト'の方法でさらに変更することができ、さらにスケーラビリティが向上する。 ResNet-20アーキテクチャ上でのスキームの実装により、完全なSGMCMCよりも優れた予測可能性と有効サンプルサイズが得られる。

関連論文リスト

• Learning variational autoencoders via MCMC speed measures [7.688686113950604]
  変分オートエンコーダ(VAE)は、確率に基づく生成モデルとして人気がある。 この研究は、短周期メトロポリス調整ランゲヴィン (MALA) やハミルトンモンテカルロ (HMC) のエントロピーに基づく適応を示唆している。 実験により、このアプローチは、高い保持率のログライクな状態と、生成指標の改善をもたらすことが示されている。
  論文  参考訳（メタデータ） (2023-08-26T02:15:51Z)
• Variational Laplace Autoencoders [53.08170674326728]
  変分オートエンコーダは、遅延変数の後部を近似するために、償却推論モデルを用いる。 完全分解ガウス仮定の限定的後部表現性に対処する新しい手法を提案する。 また、深部生成モデルのトレーニングのための変分ラプラスオートエンコーダ(VLAE)という一般的なフレームワークも提示する。
  論文  参考訳（メタデータ） (2022-11-30T18:59:27Z)
• Langevin Autoencoders for Learning Deep Latent Variable Models [27.60436426879683]
  我々はLangevin autoencoder (LAE) という新しい潜伏変数モデルを提案する。 ALDに基づいて、Langevin autoencoder (LAE) という新しい深層潜伏変数モデルも提示する。
  論文  参考訳（メタデータ） (2022-09-15T04:26:22Z)
• Scalable Stochastic Parametric Verification with Stochastic Variational Smoothed Model Checking [1.5293427903448025]
  平滑モデル検査 (smMC) は, パラメータ空間全体の満足度関数を, 限られた観測値から推定することを目的としている。 本稿では,確率論的機械学習の最近の進歩を利用して,この限界を推し進める。 構成された満足度関数のスケーラビリティ,計算効率,精度を調べた結果,smMCとSV-smMCの性能を比較した。
  論文  参考訳（メタデータ） (2022-05-11T10:43:23Z)
• A new perspective on probabilistic image modeling [92.89846887298852]
  本稿では,密度推定,サンプリング,トラクタブル推論が可能な画像モデリングのための新しい確率論的手法を提案する。 DCGMMは、CNNのように、ランダムな初期条件からSGDによってエンドツーエンドに訓練することができる。 本研究は,近年のPCおよびSPNモデルと,推論,分類,サンプリングの観点から比較した。
  論文  参考訳（メタデータ） (2022-03-21T14:53:57Z)
• What Are Bayesian Neural Network Posteriors Really Like? [63.950151520585024]
  ハミルトニアンモンテカルロは、標準およびディープアンサンブルよりも大きな性能向上を達成できることを示す。 また,深部分布は標準SGLDとHMCに類似しており,標準変動推論に近いことが示された。
  論文  参考訳（メタデータ） (2021-04-29T15:38:46Z)
• Anomaly Detection of Time Series with Smoothness-Inducing Sequential Variational Auto-Encoder [59.69303945834122]
  Smoothness-Inducing Sequential Variational Auto-Encoder (SISVAE) モデルを提案する。 我々のモデルは、フレキシブルニューラルネットワークを用いて各タイムスタンプの平均と分散をパラメータ化する。 合成データセットと公開実世界のベンチマークの両方において,本モデルの有効性を示す。
  論文  参考訳（メタデータ） (2021-02-02T06:15:15Z)
• Gaussian MRF Covariance Modeling for Efficient Black-Box Adversarial Attacks [86.88061841975482]
  我々は,ゼロオーダーのオラクルにのみアクセス可能なブラックボックス設定において,逆例を生成する問題について検討する。 我々はこの設定を用いて、FGSM(Fast Gradient Sign Method)のブラックボックス版と同様に、高速な1ステップの敵攻撃を見つける。 提案手法はクエリを少なくし,現在の技術よりも攻撃成功率が高いことを示す。
  論文  参考訳（メタデータ） (2020-10-08T18:36:51Z)
• An adaptive Hessian approximated stochastic gradient MCMC method [12.93317525451798]
  後方からのサンプリング中に局所的幾何情報を組み込む適応型ヘッセン近似勾配MCMC法を提案する。 我々は,ネットワークの空間性を高めるために,等級に基づく重み付け法を採用する。
  論文  参考訳（メタデータ） (2020-10-03T16:22:15Z)
• Particle-Gibbs Sampling For Bayesian Feature Allocation Models [77.57285768500225]
  最も広く使われているMCMC戦略は、特徴割り当て行列のギブス更新に頼っている。 単一移動で特徴割り当て行列の全行を更新できるギブスサンプリング器を開発した。 このサンプルは、計算複雑性が特徴数で指数関数的にスケールするにつれて、多数の特徴を持つモデルにとって実用的ではない。 我々は,行ワイズギブズ更新と同じ分布を目標としたパーティクルギブズサンプルの開発を行うが,特徴数でのみ線形に増大する計算複雑性を有する。
  論文  参考訳（メタデータ） (2020-01-25T22:11:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。