論文の概要: Tuning Sequential Monte Carlo Samplers via Greedy Incremental Divergence Minimization

• arxiv url: http://arxiv.org/abs/2503.15704v1
• Date: Wed, 19 Mar 2025 21:35:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-21 16:35:16.166003
• Title: Tuning Sequential Monte Carlo Samplers via Greedy Incremental Divergence Minimization
• Title（参考訳）: グレディインクリメンタルディバージェンス最小化による連続モンテカルロサンプリングのチューニング
• Authors: Kyurae Kim, Zuheng Xu, Jacob R. Gardner, Trevor Campbell,
• Abstract要約: 本稿では,SMCサンプリング器のMarkovカーネルをチューニングするための一般的な適応フレームワークを提案する。 本稿では,Langevin Monte Carlo (LMC) などのカーネルに適用可能な勾配およびチューニング不要なアルゴリズムを提案する。 我々の実装では、数回のバニラSMC実行を犠牲にして、チューニングされたパラメータの完全なテキストスケジュールを得ることができる。
• 参考スコア（独自算出の注目度）: 21.206714676842317
• License:
• Abstract: The performance of sequential Monte Carlo (SMC) samplers heavily depends on the tuning of the Markov kernels used in the path proposal. For SMC samplers with unadjusted Markov kernels, standard tuning objectives, such as the Metropolis-Hastings acceptance rate or the expected-squared jump distance, are no longer applicable. While stochastic gradient-based end-to-end optimization has been explored for tuning SMC samplers, they often incur excessive training costs, even for tuning just the kernel step sizes. In this work, we propose a general adaptation framework for tuning the Markov kernels in SMC samplers by minimizing the incremental Kullback-Leibler (KL) divergence between the proposal and target paths. For step size tuning, we provide a gradient- and tuning-free algorithm that is generally applicable for kernels such as Langevin Monte Carlo (LMC). We further demonstrate the utility of our approach by providing a tailored scheme for tuning \textit{kinetic} LMC used in SMC samplers. Our implementations are able to obtain a full \textit{schedule} of tuned parameters at the cost of a few vanilla SMC runs, which is a fraction of gradient-based approaches.
• Abstract（参考訳）: シーケンシャルなモンテカルロ(SMC)サンプリング器の性能は、パス提案で使用されるマルコフカーネルのチューニングに大きく依存する。 調整されていないマルコフカーネルを持つSMCサンプリングでは、メトロポリス・ハスティングス受入率や2乗ジャンプ距離などの標準チューニング目的はもはや適用されない。 確率勾配に基づくエンドツーエンド最適化は、SMCサンプルのチューニングのために検討されているが、カーネルのステップサイズだけをチューニングしても、過度のトレーニングコストが発生することが多い。 本研究では,提案手法とターゲットパス間のKL(Kulback-Leibler)のインクリメンタルな分散を最小化して,SMCサンプリング器のMarkovカーネルをチューニングするための一般的な適応フレームワークを提案する。 ステップサイズチューニングのために,Langevin Monte Carlo (LMC) などのカーネルに適用可能な勾配およびチューニング不要なアルゴリズムを提案する。 提案手法は, SMC サンプル装置で使用される textit{kinetic} LMC をチューニングするための調整スキームを提供することにより, 提案手法の有用性をさらに実証する。 我々の実装では、数個のバニラSMC実行を犠牲にして、調整されたパラメータのフル \textit{schedule} を得ることができ、これは勾配に基づくアプローチのごく一部である。

関連論文リスト

• Preference Optimization via Contrastive Divergence: Your Reward Model is Secretly an NLL Estimator [32.05337749590184]
  本稿では,非推奨の完了を効果的にサンプリングするための理論的ガイダンスを提供する新しいPOフレームワークを開発する。 次に、サンプリング戦略としてコントラスト分散(CD)を選択し、新しいMC-POアルゴリズムを提案する。 OnMC-POは既存のSOTAベースラインより優れており、OnMC-POはさらなる改善をもたらす。
  論文  参考訳（メタデータ） (2025-02-06T23:45:08Z)
• AutoStep: Locally adaptive involutive MCMC [51.186543293659376]
  AutoStep MCMCは、ターゲット分布の局所幾何学に適合したイテレーション毎に適切なステップサイズを選択する。 本稿では,AutoStep MCMCが,単位コスト当たりの有効サンプルサイズの観点から,最先端の手法と競合することを示す。
  論文  参考訳（メタデータ） (2024-10-24T17:17:11Z)
• Sequential Kalman Tuning of the $t$-preconditioned Crank-Nicolson algorithm: efficient, adaptive and gradient-free inference for Bayesian inverse problems [1.3654846342364308]
  本稿では,EKI と Flow Annealed Kalman Inversion の適応的な実装を提案する。 EKIはガウス的目標測度と線形前方モデルにおいてのみ正確なものである。 標準SMCの適応に比べてコンバージェンス率が大きく改善した。
  論文  参考訳（メタデータ） (2024-07-10T15:56:30Z)
• Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
  Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。 本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。 我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
  論文  参考訳（メタデータ） (2022-09-27T07:58:25Z)
• Continual Repeated Annealed Flow Transport Monte Carlo [93.98285297760671]
  我々はCRAFT(Continuous Repeated Annealed Flow Transport Monte Carlo)を提案する。 シーケンシャルなモンテカルロサンプリングと正規化フローを用いた変分推論を組み合わせる。 CRAFTは格子場の実例で驚くほど正確な結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-01-31T10:58:31Z)
• Stochastic Gradient MCMC with Multi-Armed Bandit Tuning [2.2559617939136505]
  本稿では,SGMCMCハイパーパラメータを調整し,後部近似の精度を最大化するバンディットに基づく新しいアルゴリズムを提案する。 シミュレーションと実データの両方で実験を行い,本手法が広範囲の応用分野に適用可能であることを確認した。
  論文  参考訳（メタデータ） (2021-05-27T11:00:31Z)
• Oops I Took A Gradient: Scalable Sampling for Discrete Distributions [53.3142984019796]
  このアプローチは、多くの困難な設定において、ジェネリックサンプリングよりも優れていることを示す。 また,高次元離散データを用いた深部エネルギーモデルトレーニングのための改良型サンプリング器についても実演した。
  論文  参考訳（メタデータ） (2021-02-08T20:08:50Z)
• Self-Tuning Stochastic Optimization with Curvature-Aware Gradient Filtering [53.523517926927894]
  サンプルごとのHessian-vector積と勾配を用いて、自己チューニングの二次構造を構築する。 モデルに基づく手続きが雑音勾配設定に収束することを証明する。 これは自己チューニング二次体を構築するための興味深いステップである。
  論文  参考訳（メタデータ） (2020-11-09T22:07:30Z)
• Non-convex Learning via Replica Exchange Stochastic Gradient MCMC [25.47669573608621]
  本稿では,適応的複製交換SGMCMC(reSGMCMC)を提案し,バイアスを自動的に補正し,対応する特性について検討する。 実験では,様々な設定の広範囲な実験を通じてアルゴリズムを検証し,その結果を得た。
  論文  参考訳（メタデータ） (2020-08-12T15:02:59Z)
• Improving Sampling Accuracy of Stochastic Gradient MCMC Methods via Non-uniform Subsampling of Gradients [54.90670513852325]
  サンプリング精度を向上させるための一様でないサブサンプリング手法を提案する。 EWSGは、一様勾配MCMC法がバッチ勾配MCMC法の統計的挙動を模倣するように設計されている。 EWSGの実践的な実装では、データインデックス上のMetropolis-Hastingsチェーンを介して、一様でないサブサンプリングを効率的に行う。
  論文  参考訳（メタデータ） (2020-02-20T18:56:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。