論文の概要: Repelling-Attracting Hamiltonian Monte Carlo

• arxiv url: http://arxiv.org/abs/2403.04607v1
• Date: Thu, 7 Mar 2024 15:54:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-08 13:36:29.476029
• Title: Repelling-Attracting Hamiltonian Monte Carlo
• Title（参考訳）: ハミルトニアンのモンテカルロを撃退する
• Authors: Siddharth Vishwanath and Hyungsuk Tak
• Abstract要約: 我々は、ハミルトニアンモンテカルロの変種(Repelling-Attracting Hamiltonian Monte Carlo (RAHMC))を提案する。 RAHMCには2つのステージがある: サンプルが高確率密度の領域から遠ざかるように促すモード推進段階と、サンプルが代替モードに近づいたり落ち着いたりするためのモード抽出段階である。
• 参考スコア（独自算出の注目度）: 0.8158530638728501
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a variant of Hamiltonian Monte Carlo (HMC), called the Repelling-Attracting Hamiltonian Monte Carlo (RAHMC), for sampling from multimodal distributions. The key idea that underpins RAHMC is a departure from the conservative dynamics of Hamiltonian systems, which form the basis of traditional HMC, and turning instead to the dissipative dynamics of conformal Hamiltonian systems. In particular, RAHMC involves two stages: a mode-repelling stage to encourage the sampler to move away from regions of high probability density; and, a mode-attracting stage, which facilitates the sampler to find and settle near alternative modes. We achieve this by introducing just one additional tuning parameter -- the coefficient of friction. The proposed method adapts to the geometry of the target distribution, e.g., modes and density ridges, and can generate proposals that cross low-probability barriers with little to no computational overhead in comparison to traditional HMC. Notably, RAHMC requires no additional information about the target distribution or memory of previously visited modes. We establish the theoretical basis for RAHMC, and we discuss repelling-attracting extensions to several variants of HMC in literature. Finally, we provide a tuning-free implementation via dual-averaging, and we demonstrate its effectiveness in sampling from, both, multimodal and unimodal distributions in high dimensions.
• Abstract（参考訳）: 我々はマルチモーダル分布からサンプリングするために、ハミルトンモンテカルロ (HMC) の変種(Repelling-Attracting Hamiltonian Monte Carlo (RAHMC) )を提案する。 RAHMCを基盤とする鍵となる考え方は、伝統的なHMCの基礎を形成するハミルトン系の保守的力学から離れて、代わりに共形ハミルトン系の散逸的力学に転換することである。 特にRAHMCは、サンプルが高確率密度の領域から遠ざかるように促すモード緩和段階と、サンプルが代替モードに近づいたり落ち着いたりするためのモード抽出段階の2段階を含む。 摩擦係数という1つの追加のチューニングパラメータを導入することでこれを実現する。 提案手法は、例えば、モードや密度リッジなどのターゲット分布の幾何学に適応し、従来のHMCと比較して計算オーバーヘッドがほとんどあるいは全くない低確率障壁を横断する提案を生成する。 特にRAHMCは、以前訪れたモードのターゲット分布やメモリに関する追加情報を必要としない。 我々は,RAHMCの理論的基盤を確立し,文学におけるHMCのいくつかの変種への反発的拡張について論じる。 最後に,マルチモーダル分布とユニモーダル分布の両方から高次元のサンプリングにおいて,その効果を実証する。

関連論文リスト

• Iterated Denoising Energy Matching for Sampling from Boltzmann Densities [109.23137009609519]
  反復Denoising Energy Matching (iDEM) iDEMは,拡散型サンプリング装置から高モデル密度のサンプリング領域を (I) 交換し, (II) それらのサンプルをマッチング目的に使用した。 提案手法は,全測定値の最先端性能を達成し,2～5倍の速さでトレーニングを行う。
  論文  参考訳（メタデータ） (2024-02-09T01:11:23Z)
• Learning Energy-Based Prior Model with Diffusion-Amortized MCMC [89.95629196907082]
  非収束短距離MCMCを用いた事前及び後方サンプリングによる潜時空間EMM学習の一般的な実践は、さらなる進歩を妨げている。 本稿では,MCMCサンプリングのための単純だが効果的な拡散型アモータイズ手法を導入し,それに基づく潜時空間EMMのための新しい学習アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-10-05T00:23:34Z)
• Chebyshev Particles [0.0]
  まず、対象の後方分布を無限次元ユークリッド空間におけるサンプルの写像として考える。 重み付けされたリース分極量を最大化して、ペアの相互作用により、補正可能な部分多様体を識別する新しい基準を提案する。 我々は,合成データを用いた線形状態空間モデルと実世界のデータを用いた非線形ボラティリティモデルを用いたパラメータ推論実験により,高い性能を実現した。
  論文  参考訳（メタデータ） (2023-09-10T16:40:30Z)
• Modiff: Action-Conditioned 3D Motion Generation with Denoising Diffusion Probabilistic Models [58.357180353368896]
  本稿では,現実的で多様な3D骨格に基づく運動生成問題に対処するために,拡散確率モデル(DDPM)の利点を生かした条件付きパラダイムを提案する。 我々はDDPMを用いてカテゴリ的動作で条件付けられた動作列の可変数を合成する先駆的な試みである。
  論文  参考訳（メタデータ） (2023-01-10T13:15:42Z)
• Enhanced gradient-based MCMC in discrete spaces [2.7158841992922875]
  概念的にはMALAにインスパイアされたメトロポリス・ハスティングス・サンプルを複数導入する。 ベイジアン推論とエネルギーベースモデリングにおいて, 様々なサンプリング問題に対して, 強烈な実験性能を示す。
  論文  参考訳（メタデータ） (2022-07-29T18:48:49Z)
• Sampling from high-dimensional, multimodal distributions using automatically tuned, tempered Hamiltonian Monte Carlo [0.0]
  ハミルトニアン・モンテカルロ (HMC) は確率密度が比例的に知られている高次元対象分布のサンプリングに広く用いられている。 伝統的テンパリング法は、特に高次元においてチューニングが困難である。 本研究では,高次元の強いマルチモーダル分布からの効率的なサンプリングを可能にするため,テンパリング戦略をハミルトンモンテカルロと組み合わせる手法を提案する。
  論文  参考訳（メタデータ） (2021-11-12T18:48:36Z)
• Hamiltonian Dynamics with Non-Newtonian Momentum for Rapid Sampling [38.367354572578314]
  非正規化確率分布からのサンプリングは機械学習の基本的な問題である。 非ニュートン運動量を持つ新しいハミルトン力学を用いて、この問題に対する根本的に異なるアプローチを提案する。 ハミルトニアン・モンテカルロのようなMCMCアプローチとは対照的に、ステップは不要である。代わりに、対象分布を正確にサンプリングする拡張状態空間における決定論的ダイナミクスが提案される。
  論文  参考訳（メタデータ） (2021-11-03T18:00:07Z)
• Entropy-based adaptive Hamiltonian Monte Carlo [19.358300726820943]
  ハミルトニアン・モンテカルロ(Hachian Monte Carlo, HMC)は、マルコフ・チェイン・モンテカルロ(MCMC)アルゴリズムの一種。 跳躍式積分器は一般にHMCの実装に使用されるが、その性能は質量行列の選択に敏感である。 我々は,跳躍フロッグ積分器を高い受入率で促進することにより,質量行列の適応を可能にする勾配に基づくアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2021-10-27T17:52:55Z)
• What Are Bayesian Neural Network Posteriors Really Like? [63.950151520585024]
  ハミルトニアンモンテカルロは、標準およびディープアンサンブルよりも大きな性能向上を達成できることを示す。 また,深部分布は標準SGLDとHMCに類似しており,標準変動推論に近いことが示された。
  論文  参考訳（メタデータ） (2021-04-29T15:38:46Z)
• Sampling in Combinatorial Spaces with SurVAE Flow Augmented MCMC [83.48593305367523]
  ハイブリッドモンテカルロ(Hybrid Monte Carlo)は、複素連続分布からサンプリングする強力なマルコフ連鎖モンテカルロ法である。 本稿では,SurVAEフローを用いたモンテカルロ法の拡張に基づく新しい手法を提案する。 本稿では,統計学,計算物理学,機械学習など,様々な分野におけるアルゴリズムの有効性を実証し,代替アルゴリズムと比較した改良点を考察する。
  論文  参考訳（メタデータ） (2021-02-04T02:21:08Z)
• Multi-View Spectral Clustering Tailored Tensor Low-Rank Representation [105.33409035876691]
  本稿では,テンソル低ランクモデルに基づくマルチビュースペクトルクラスタリング(MVSC)の問題について検討する。 MVSCに適合する新しい構造テンソル低ランクノルムを設計する。 提案手法は最先端の手法よりもかなり優れていることを示す。
  論文  参考訳（メタデータ） (2020-04-30T11:52:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。