論文の概要: Optimization of Annealed Importance Sampling Hyperparameters

• arxiv url: http://arxiv.org/abs/2209.13226v1
• Date: Tue, 27 Sep 2022 07:58:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-28 14:59:21.056040
• Title: Optimization of Annealed Importance Sampling Hyperparameters
• Title（参考訳）: ハイパーパラメータを用いた重要度サンプリングの最適化
• Authors: Shirin Goshtasbpour and Fernando Perez-Cruz
• Abstract要約: Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。 本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。 我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
• 参考スコア（独自算出の注目度）: 77.34726150561087
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Annealed Importance Sampling (AIS) is a popular algorithm used to estimates the intractable marginal likelihood of deep generative models. Although AIS is guaranteed to provide unbiased estimate for any set of hyperparameters, the common implementations rely on simple heuristics such as the geometric average bridging distributions between initial and the target distribution which affect the estimation performance when the computation budget is limited. Optimization of fully parametric AIS remains challenging due to the use of Metropolis-Hasting (MH) correction steps in Markov transitions. We present a parameteric AIS process with flexible intermediary distributions and optimize the bridging distributions to use fewer number of steps for sampling. A reparameterization method that allows us to optimize the distribution sequence and the parameters of Markov transitions is used which is applicable to a large class of Markov Kernels with MH correction. We assess the performance of our optimized AIS for marginal likelihood estimation of deep generative models and compare it to other estimators.
• Abstract（参考訳）: Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。 aisは任意のハイパーパラメータに対する偏りのない推定を提供することが保証されているが、一般的な実装は計算予算が制限されたときに推定性能に影響する初期分布と目標分布の間の幾何平均ブリッジ分布のような単純なヒューリスティックに依存する。 マルコフ遷移におけるメトロポリス・ハスティング(MH)補正ステップの使用により、完全なパラメトリックAISの最適化は依然として困難である。 本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。 MH補正を施したマルコフカーネルの大規模クラスに適用可能な分布列とマルコフ遷移のパラメータを最適化する再パラメータ化法が提案されている。 我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。

関連論文リスト

• Distributionally Robust Optimization as a Scalable Framework to Characterize Extreme Value Distributions [22.765095010254118]
  本研究の目的は分散ロバストな最適化 (DRO) 推定器の開発であり、特に多次元極値理論 (EVT) の統計量についてである。 点過程の空間における半パラメトリックな最大安定制約によって予測されるDRO推定器について検討した。 両手法は, 合成データを用いて検証し, 所定の特性を回復し, 提案手法の有効性を検証する。
  論文  参考訳（メタデータ） (2024-07-31T19:45:27Z)
• Parameter Generation of Quantum Approximate Optimization Algorithm with Diffusion Model [3.6959187484738902]
  量子コンピューティングは確率最適化の分野に革命をもたらす可能性がある。 本稿では,ハイブリッド量子古典アルゴリズムであるQuantum Approximate Optimization Algorithm (QAOA)を提案する。 拡散モデルでは, 高い性能パラメータの分布を学習し, 最適パラメータに近い新しいパラメータを合成できることが示される。
  論文  参考訳（メタデータ） (2024-07-17T01:18:27Z)
• Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers [143.6249073384419]
  本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。 我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。 シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
  論文  参考訳（メタデータ） (2024-01-29T02:08:40Z)
• Differentiating Metropolis-Hastings to Optimize Intractable Densities [51.16801956665228]
  我々はメトロポリス・ハスティングス検層の自動識別アルゴリズムを開発した。 難解な対象密度に対する期待値として表現された目的に対して勾配に基づく最適化を適用する。
  論文  参考訳（メタデータ） (2023-06-13T17:56:02Z)
• Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
  疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
  論文  参考訳（メタデータ） (2022-09-16T19:15:50Z)
• Noise Estimation in Gaussian Process Regression [1.5002438468152661]
  提案手法は, 相関誤差の分散と雑音の分散を, 限界確率関数の最大化に基づいて推定することができる。 従来のパラメータ最適化と比較して,提案手法の計算上の利点とロバスト性を示す。
  論文  参考訳（メタデータ） (2022-06-20T19:36:03Z)
• Variational Refinement for Importance Sampling Using the Forward Kullback-Leibler Divergence [77.06203118175335]
  変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。 重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。 近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
  論文  参考訳（メタデータ） (2021-06-30T11:00:24Z)
• Marginalised Gaussian Processes with Nested Sampling [10.495114898741203]
  ガウス過程(GP)モデルは、カーネル関数によって制御される帰納バイアスを持つ関数上の豊富な分布である。 本研究は,Nested Smpling (NS) を用いてカーネル関数のハイパーパラメータを疎外する学習手法を提案する。
  論文  参考訳（メタデータ） (2020-10-30T16:04:35Z)
• Variable selection for Gaussian process regression through a sparse projection [0.802904964931021]
  本稿では,ガウス過程(GP)レグレッションと統合された新しい変数選択手法を提案する。 パラメータの調整と推定の精度を,選択したベンチマーク手法を用いて評価した。
  論文  参考訳（メタデータ） (2020-08-25T01:06:10Z)
• SUMO: Unbiased Estimation of Log Marginal Probability for Latent Variable Models [80.22609163316459]
  無限級数のランダム化トランケーションに基づく潜在変数モデルに対して、ログ境界確率の非バイアス推定器とその勾配を導入する。 推定器を用いてトレーニングしたモデルは、同じ平均計算コストに対して、標準的な重要度サンプリングに基づくアプローチよりも優れたテストセット確率を与えることを示す。
  論文  参考訳（メタデータ） (2020-04-01T11:49:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。