論文の概要: Enhancing Gradient-based Discrete Sampling via Parallel Tempering

• arxiv url: http://arxiv.org/abs/2502.19240v1
• Date: Wed, 26 Feb 2025 15:51:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-27 14:58:37.685731
• Title: Enhancing Gradient-based Discrete Sampling via Parallel Tempering
• Title（参考訳）: 並列テンパリングによる勾配型離散サンプリングの強化
• Authors: Luxu Liang, Yuhang Jia, Feng Zhou,
• Abstract要約: 勾配に基づく離散サンプリング器は、高次元のマルチモーダル離散分布において局所的なミニマに閉じ込められやすい。 我々は、並列テンパリング(レプリカ交換としても知られる)と離散ランゲヴィン提案を組み合わせた離散ランゲヴィン提案を開発する。 我々は,本アルゴリズムが非漸近的に目標エネルギーに収束し,単一鎖よりも高速な混合を示すことを示す。
• 参考スコア（独自算出の注目度）: 8.195708231156546
• License:
• Abstract: While gradient-based discrete samplers are effective in sampling from complex distributions, they are susceptible to getting trapped in local minima, particularly in high-dimensional, multimodal discrete distributions, owing to the discontinuities inherent in these landscapes. To circumvent this issue, we combine parallel tempering, also known as replica exchange, with the discrete Langevin proposal and develop the Parallel Tempering enhanced Discrete Langevin Proposal (PTDLP), which are simulated at a series of temperatures. Significant energy differences prompt sample swaps, which are governed by a Metropolis criterion specifically designed for discrete sampling to ensure detailed balance is maintained. Additionally, we introduce an automatic scheme to determine the optimal temperature schedule and the number of chains, ensuring adaptability across diverse tasks with minimal tuning. Theoretically, we establish that our algorithm converges non-asymptotically to the target energy and exhibits faster mixing compared to a single chain. Empirical results further emphasize the superiority of our method in sampling from complex, multimodal discrete distributions, including synthetic problems, restricted Boltzmann machines, and deep energy-based models.
• Abstract（参考訳）: 勾配に基づく離散サンプリングは複雑な分布からのサンプリングに有効であるが、これらの地形に固有の不連続性のため、特に高次元のマルチモーダル離散分布において局所的なミニマに閉じ込められやすい。 この問題を回避するため、レプリカ交換としても知られる並列テンパリングと離散ランゲヴィンの提案を組み合わせて、一連の温度でシミュレートされた並列テンパリング拡張離散ランゲヴィン提案(PTDLP)を開発した。 重要なエネルギー差は、詳細なバランスを維持するために離散サンプリング用に特別に設計されたメトロポリス基準によって管理されるサンプルスワップを促進させる。 さらに、最適温度スケジュールとチェーン数を決定するための自動スキームを導入し、最小限のチューニングで多種多様なタスクへの適応性を確保する。 理論的には,本アルゴリズムは標的エネルギーに非漸近的に収束し,単一鎖よりも高速な混合を示す。 実験結果は、合成問題、制限されたボルツマンマシン、深部エネルギーベースモデルを含む複雑な多モード離散分布からのサンプリングにおける我々の方法の優位性をさらに強調する。

関連論文リスト

• Policy Gradients for Optimal Parallel Tempering MCMC [0.276240219662896]
  並列テンパリング(英: Parallel tempering)は、マルコフ・チェイン・モンテカルロ(Markov Chain Monte Carlo)のメタアルゴリズムである。 本稿では,政策勾配法を用いてサンプリング中の温度を動的に調整する適応温度選択アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-09-03T03:12:45Z)
• Dynamical Measure Transport and Neural PDE Solvers for Sampling [77.38204731939273]
  本研究では, 対象物へのトラクタブル密度関数の移動として, 確率密度からサンプリングする作業に取り組む。 物理インフォームドニューラルネットワーク(PINN)を用いて各偏微分方程式(PDE)の解を近似する。 PINNはシミュレーションと離散化のない最適化を可能にし、非常に効率的に訓練することができる。
  論文  参考訳（メタデータ） (2024-07-10T17:39:50Z)
• On the Trajectory Regularity of ODE-based Diffusion Sampling [79.17334230868693]
  拡散に基づく生成モデルは微分方程式を用いて、複素データ分布と抽出可能な事前分布の間の滑らかな接続を確立する。 本稿では,拡散モデルのODEに基づくサンプリングプロセスにおいて,いくつかの興味深い軌道特性を同定する。
  論文  参考訳（メタデータ） (2024-05-18T15:59:41Z)
• Gradient-based Discrete Sampling with Automatic Cyclical Scheduling [8.017203108408973]
  マルチモーダル離散分布における効率的かつ正確なサンプリングのための自動循環スケジューリングを提案する。 一般離散分布における非漸近収束と推論保証の証明を行う。
  論文  参考訳（メタデータ） (2024-02-27T17:23:40Z)
• Iterated Denoising Energy Matching for Sampling from Boltzmann Densities [109.23137009609519]
  反復Denoising Energy Matching (iDEM) iDEMは,拡散型サンプリング装置から高モデル密度のサンプリング領域を (I) 交換し, (II) それらのサンプルをマッチング目的に使用した。 提案手法は,全測定値の最先端性能を達成し,2～5倍の速さでトレーニングを行う。
  論文  参考訳（メタデータ） (2024-02-09T01:11:23Z)
• Diffusive Gibbs Sampling [40.1197715949575]
  本稿では,ディフューシブギブズサンプリング(Diffusive Gibbs Sampling, DiGS)を提案する。 DiGSは拡散モデルにおける最近の発展を統合し、ガウスの畳み込みを利用して補助雑音分布を生成する。 新規なメトロポリス・ウィスティン・ギブス法は, サンプリング工程における混合性を高めるために提案されている。
  論文  参考訳（メタデータ） (2024-02-05T13:47:41Z)
• Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
  Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。 本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
  論文  参考訳（メタデータ） (2023-06-27T08:15:28Z)
• Differentiating Metropolis-Hastings to Optimize Intractable Densities [51.16801956665228]
  我々はメトロポリス・ハスティングス検層の自動識別アルゴリズムを開発した。 難解な対象密度に対する期待値として表現された目的に対して勾配に基づく最適化を適用する。
  論文  参考訳（メタデータ） (2023-06-13T17:56:02Z)
• Importance sampling for stochastic quantum simulations [68.8204255655161]
  我々は、係数に応じてハミルトン式からサンプリングしてランダムな積公式を構築するqDriftプロトコルを導入する。 サンプリング段階における個別のシミュレーションコストを考慮し、同じ精度でシミュレーションコストを削減可能であることを示す。 格子核効果場理論を用いて数値シミュレーションを行った結果, 実験結果が得られた。
  論文  参考訳（メタデータ） (2022-12-12T15:06:32Z)
• Sampling from high-dimensional, multimodal distributions using automatically tuned, tempered Hamiltonian Monte Carlo [0.0]
  ハミルトニアン・モンテカルロ (HMC) は確率密度が比例的に知られている高次元対象分布のサンプリングに広く用いられている。 伝統的テンパリング法は、特に高次元においてチューニングが困難である。 本研究では,高次元の強いマルチモーダル分布からの効率的なサンプリングを可能にするため,テンパリング戦略をハミルトンモンテカルロと組み合わせる手法を提案する。
  論文  参考訳（メタデータ） (2021-11-12T18:48:36Z)
• Ensemble Slice Sampling: Parallel, black-box and gradient-free inference for correlated & multimodal distributions [0.0]
  スライスサンプリング (Slice Sampling) は、最小ハンドチューニングで目標分布の特性に適応するマルコフ連鎖モンテカルロアルゴリズムとして登場した。 本稿では,初期長さ尺度を適応的に調整することで,そのような困難を回避できるアルゴリズムであるEnsemble Slice Sampling(ESS)を紹介する。 これらのアフィン不変アルゴリズムは簡単に構築でき、手作業で調整する必要がなく、並列計算環境で容易に実装できる。
  論文  参考訳（メタデータ） (2020-02-14T19:00:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。