論文の概要: A connection between Tempering and Entropic Mirror Descent

• arxiv url: http://arxiv.org/abs/2310.11914v3
• Date: Sun, 16 Jun 2024 10:17:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-19 12:20:53.198081
• Title: A connection between Tempering and Entropic Mirror Descent
• Title（参考訳）: テンパリングとエントロピックミラーの輝きの関連性
• Authors: Nicolas Chopin, Francesca R. Crucinio, Anna Korba,
• Abstract要約: テンパリングSMCは,逆Kulback-Leibler分散に適用されるエントロピーミラー降下に対応することが確認された。 文献における他のベンチマークよりも優れた適応的テンパリングルールを導出する。
• 参考スコア（独自算出の注目度）: 8.775514582692795
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper explores the connections between tempering (for Sequential Monte Carlo; SMC) and entropic mirror descent to sample from a target probability distribution whose unnormalized density is known. We establish that tempering SMC corresponds to entropic mirror descent applied to the reverse Kullback-Leibler (KL) divergence and obtain convergence rates for the tempering iterates. Our result motivates the tempering iterates from an optimization point of view, showing that tempering can be seen as a descent scheme of the KL divergence with respect to the Fisher-Rao geometry, in contrast to Langevin dynamics that perform descent of the KL with respect to the Wasserstein-2 geometry. We exploit the connection between tempering and mirror descent iterates to justify common practices in SMC and derive adaptive tempering rules that improve over other alternative benchmarks in the literature.
• Abstract（参考訳）: 本稿では,非正規化密度が知られている対象確率分布から試料へのテンパリング(Sequential Monte Carlo, SMC)とエントロピックミラー降下の関係について検討する。 テンパリングSMCは、逆クルバック・リーブラー(KL)の発散に適用されるエントロピックミラー降下に対応し、テンパリング繰り返しに対する収束率を得る。 我々の結果は最適化の観点からテンパリング反復を動機付けており、ワッサーシュタイン2幾何に関してKLの降下を行うランゲヴィン力学とは対照的に、フィッシャー・ラオ幾何に関してKLの発散の降下スキームと見なせることを示す。 我々は,SMCにおける一般的なプラクティスを正当化するために,テンパリングとミラー降下の関連性を活用し,文献における他の代替ベンチマークよりも優れた適応的テンパリング規則を導出する。

関連論文リスト

• Policy Gradients for Optimal Parallel Tempering MCMC [0.276240219662896]
  並列テンパリング(英: Parallel tempering)は、マルコフ・チェイン・モンテカルロ(Markov Chain Monte Carlo)のメタアルゴリズムである。 本稿では,政策勾配法を用いてサンプリング中の温度を動的に調整する適応温度選択アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-09-03T03:12:45Z)
• Sequential Monte Carlo for Inclusive KL Minimization in Amortized Variational Inference [3.126959812401426]
  SMC-Wakeは,モンテカルロの連続検層を用いて包摂的KL偏差の勾配を推定する補正式である。 シミュレーションと実データの両方を用いた実験では、SMC-Wakeは既存の手法よりも後方を正確に近似する変動分布に適合する。
  論文  参考訳（メタデータ） (2024-03-15T18:13:48Z)
• Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
  Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。 本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
  論文  参考訳（メタデータ） (2023-06-27T08:15:28Z)
• Differentiating Metropolis-Hastings to Optimize Intractable Densities [51.16801956665228]
  我々はメトロポリス・ハスティングス検層の自動識別アルゴリズムを開発した。 難解な対象密度に対する期待値として表現された目的に対して勾配に基づく最適化を適用する。
  論文  参考訳（メタデータ） (2023-06-13T17:56:02Z)
• Provable Phase Retrieval with Mirror Descent [1.1662472705038338]
  我々は,その挙動の程度から$n$-mの実ベクトルを復元する位相探索の問題を考察する。 2つの測定値について、n$の値が十分であれば、ほとんどすべての初期化子に対して高い確率で元のベクトルが符号まで回復することを示す。
  論文  参考訳（メタデータ） (2022-10-17T16:40:02Z)
• Implicit Bias of Gradient Descent on Reparametrized Models: On Equivalence to Mirror Descent [64.26008239544085]
  通勤パラメトリゼーションのある勾配流は、関連するレジェンド関数を持つ連続ミラー降下と等価である。 ルジャンドル関数を持つ連続ミラー降下は、関連する通勤パラメトリゼーションを伴う勾配流と見なすことができる。
  論文  参考訳（メタデータ） (2022-07-08T17:47:11Z)
• Mirror Descent with Relative Smoothness in Measure Spaces, with application to Sinkhorn and EM [11.007661197604065]
  本稿では,無限次元環境下でのミラー降下アルゴリズムの収束性について検討する。 結果が結合分布とクルバック-リーブラー分岐に適用され、シンクホーンの最適輸送に対する原始的な反復がミラー降下に対応することを示す。
  論文  参考訳（メタデータ） (2022-06-17T16:19:47Z)
• Variational Refinement for Importance Sampling Using the Forward Kullback-Leibler Divergence [77.06203118175335]
  変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。 重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。 近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
  論文  参考訳（メタデータ） (2021-06-30T11:00:24Z)
• Learning High-Precision Bounding Box for Rotated Object Detection via Kullback-Leibler Divergence [100.6913091147422]
  既存の回転物体検出器は、主に水平検出パラダイムから受け継がれている。 本稿では,回転回帰損失の設計を帰納パラダイムから導出手法に変更することを目的としている。
  論文  参考訳（メタデータ） (2021-06-03T14:29:19Z)
• Observation of Hermitian and Non-Hermitian Diabolic Points and Exceptional Rings in Parity-Time symmetric ZRC and RLC Dimers [62.997667081978825]
  スペクトルにおける非エルミート縮退点の出現と、エルミート摂動からどのように保護されているかを示す。 本研究は, 室内温度における情報伝達の堅牢化を目的としたトポロジカル電気回路の研究のための金の道を開く。
  論文  参考訳（メタデータ） (2020-04-17T15:51:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。