論文の概要: Entropy-based adaptive Hamiltonian Monte Carlo

• arxiv url: http://arxiv.org/abs/2110.14625v1
• Date: Wed, 27 Oct 2021 17:52:55 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-28 14:43:34.502217
• Title: Entropy-based adaptive Hamiltonian Monte Carlo
• Title（参考訳）: エントロピーに基づく適応ハミルトニアンモンテカルロ
• Authors: Marcel Hirt, Michalis K. Titsias, Petros Dellaportas
• Abstract要約: ハミルトニアン・モンテカルロ(Hachian Monte Carlo, HMC)は、マルコフ・チェイン・モンテカルロ(MCMC)アルゴリズムの一種。 跳躍式積分器は一般にHMCの実装に使用されるが、その性能は質量行列の選択に敏感である。 我々は,跳躍フロッグ積分器を高い受入率で促進することにより,質量行列の適応を可能にする勾配に基づくアルゴリズムを開発した。
• 参考スコア（独自算出の注目度）: 19.358300726820943
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hamiltonian Monte Carlo (HMC) is a popular Markov Chain Monte Carlo (MCMC) algorithm to sample from an unnormalized probability distribution. A leapfrog integrator is commonly used to implement HMC in practice, but its performance can be sensitive to the choice of mass matrix used therein. We develop a gradient-based algorithm that allows for the adaptation of the mass matrix by encouraging the leapfrog integrator to have high acceptance rates while also exploring all dimensions jointly. In contrast to previous work that adapt the hyperparameters of HMC using some form of expected squared jumping distance, the adaptation strategy suggested here aims to increase sampling efficiency by maximizing an approximation of the proposal entropy. We illustrate that using multiple gradients in the HMC proposal can be beneficial compared to a single gradient-step in Metropolis-adjusted Langevin proposals. Empirical evidence suggests that the adaptation method can outperform different versions of HMC schemes by adjusting the mass matrix to the geometry of the target distribution and by providing some control on the integration time.
• Abstract（参考訳）: ハミルトン・モンテカルロ (hamiltonian monte carlo, hmc) は、マルコフ連鎖モンテカルロ (mcmc) アルゴリズムであり、非正規化確率分布からサンプルを取る。 leapfrog integrator は hmc の実装に一般的に用いられるが、その性能はそこで使われる質量行列の選択に敏感である。 そこで我々は,全次元を共同で探索しながら,跳躍フロッグ積分器の受入率を高めることで,質量行列の適応を可能にする勾配に基づくアルゴリズムを開発した。 ここで提案する適応戦略は,hmcのハイパーパラメータをある種の2乗ジャンプ距離で適応させる従来の手法とは対照的に,提案のエントロピーの近似を最大化することでサンプリング効率を向上させることを目的としている。 HMC提案における複数の勾配を用いることは、メトロポリス調整ランゲヴィン提案における1つの勾配ステップと比較して有益であることを示す。 実験的な証拠は、質量行列を目標分布の幾何に調整し、積分時間にある程度の制御を与えることにより、適応法がHMCスキームの異なるバージョンを上回ることを示唆している。

関連論文リスト

• Adaptive Fuzzy C-Means with Graph Embedding [84.47075244116782]
  ファジィクラスタリングアルゴリズムは、大まかに2つの主要なグループに分類できる: ファジィC平均法(FCM)と混合モデルに基づく方法。 本稿では,FCMを用いたクラスタリングモデルを提案する。
  論文  参考訳（メタデータ） (2024-05-22T08:15:50Z)
• Learning variational autoencoders via MCMC speed measures [7.688686113950604]
  変分オートエンコーダ(VAE)は、確率に基づく生成モデルとして人気がある。 この研究は、短周期メトロポリス調整ランゲヴィン (MALA) やハミルトンモンテカルロ (HMC) のエントロピーに基づく適応を示唆している。 実験により、このアプローチは、高い保持率のログライクな状態と、生成指標の改善をもたらすことが示されている。
  論文  参考訳（メタデータ） (2023-08-26T02:15:51Z)
• Differentiating Metropolis-Hastings to Optimize Intractable Densities [51.16801956665228]
  我々はメトロポリス・ハスティングス検層の自動識別アルゴリズムを開発した。 難解な対象密度に対する期待値として表現された目的に対して勾配に基づく最適化を適用する。
  論文  参考訳（メタデータ） (2023-06-13T17:56:02Z)
• Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
  Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。 本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。 我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
  論文  参考訳（メタデータ） (2022-09-27T07:58:25Z)
• Sampling in Combinatorial Spaces with SurVAE Flow Augmented MCMC [83.48593305367523]
  ハイブリッドモンテカルロ(Hybrid Monte Carlo)は、複素連続分布からサンプリングする強力なマルコフ連鎖モンテカルロ法である。 本稿では,SurVAEフローを用いたモンテカルロ法の拡張に基づく新しい手法を提案する。 本稿では,統計学,計算物理学,機械学習など,様々な分野におけるアルゴリズムの有効性を実証し,代替アルゴリズムと比較した改良点を考察する。
  論文  参考訳（メタデータ） (2021-02-04T02:21:08Z)
• Accelerating MCMC algorithms through Bayesian Deep Networks [7.054093620465401]
  マルコフ・チェイン・モンテカルロ(MCMC)アルゴリズムは、複雑な確率分布のサンプリングにおいて、その汎用性のために一般的に用いられる。 分布の次元が大きくなるにつれて、サンプリング空間を十分に探索する計算コストが困難になる。 マルコフ連鎖の最初の提案としてベイズニューラルネットワークの結果を用いて適応MCMCを実行する方法を示す。
  論文  参考訳（メタデータ） (2020-11-29T04:29:00Z)
• Plug-And-Play Learned Gaussian-mixture Approximate Message Passing [71.74028918819046]
  そこで本研究では,従来のi.i.d.ソースに適した圧縮圧縮センシング(CS)リカバリアルゴリズムを提案する。 我々のアルゴリズムは、Borgerdingの学習AMP(LAMP)に基づいて構築されるが、アルゴリズムに普遍的な復調関数を採用することにより、それを大幅に改善する。 数値評価により,L-GM-AMPアルゴリズムは事前の知識を必要とせず,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2020-11-18T16:40:45Z)
• An adaptive Hessian approximated stochastic gradient MCMC method [12.93317525451798]
  後方からのサンプリング中に局所的幾何情報を組み込む適応型ヘッセン近似勾配MCMC法を提案する。 我々は,ネットワークの空間性を高めるために,等級に基づく重み付け法を採用する。
  論文  参考訳（メタデータ） (2020-10-03T16:22:15Z)
• Bayesian Sparse learning with preconditioned stochastic gradient MCMC and its applications [5.660384137948734]
  提案アルゴリズムは, 温和な条件下で, 制御可能なバイアスで正しい分布に収束する。 提案アルゴリズムは, 温和な条件下で, 制御可能なバイアスで正しい分布に収束可能であることを示す。
  論文  参考訳（メタデータ） (2020-06-29T20:57:20Z)
• Improving Sampling Accuracy of Stochastic Gradient MCMC Methods via Non-uniform Subsampling of Gradients [54.90670513852325]
  サンプリング精度を向上させるための一様でないサブサンプリング手法を提案する。 EWSGは、一様勾配MCMC法がバッチ勾配MCMC法の統計的挙動を模倣するように設計されている。 EWSGの実践的な実装では、データインデックス上のMetropolis-Hastingsチェーンを介して、一様でないサブサンプリングを効率的に行う。
  論文  参考訳（メタデータ） (2020-02-20T18:56:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。