論文の概要: AdaAnn: Adaptive Annealing Scheduler for Probability Density Approximation

• arxiv url: http://arxiv.org/abs/2202.00792v1
• Date: Tue, 1 Feb 2022 22:26:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-04 01:11:09.597520
• Title: AdaAnn: Adaptive Annealing Scheduler for Probability Density Approximation
• Title（参考訳）: AdaAnn:確率密度近似のための適応型アニーリングスケジューリング
• Authors: Emma R. Cobian, Jonathan D. Hauenstein, Fang Liu and Daniele E. Schiavazzi
• Abstract要約: アニーリングは、高幾何学的複雑性の領域における確率分布の近似を容易にするために用いられる。 適応型スケジューラであるAdaAnnを導入し,Kulback-Leibler分散の予測変化に基づいて温度インクリメントを自動的に調整する。 AdaAnnは実装が容易で、変分推論のためのフローの正規化やマルコフ連鎖モンテカルロのような既存のサンプリングアプローチに統合することができる。
• 参考スコア（独自算出の注目度）: 3.1370892256881255
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Approximating probability distributions can be a challenging task, particularly when they are supported over regions of high geometrical complexity or exhibit multiple modes. Annealing can be used to facilitate this task which is often combined with constant a priori selected increments in inverse temperature. However, using constant increments limit the computational efficiency due to the inability to adapt to situations where smooth changes in the annealed density could be handled equally well with larger increments. We introduce AdaAnn, an adaptive annealing scheduler that automatically adjusts the temperature increments based on the expected change in the Kullback-Leibler divergence between two distributions with a sufficiently close annealing temperature. AdaAnn is easy to implement and can be integrated into existing sampling approaches such as normalizing flows for variational inference and Markov chain Monte Carlo. We demonstrate the computational efficiency of the AdaAnn scheduler for variational inference with normalizing flows on a number of examples, including density approximation and parameter estimation for dynamical systems.
• Abstract（参考訳）: 確率分布の近似は、特に高い幾何学的複雑性の領域でサポートされたり、複数のモードを示す場合、難しい作業である。 アニーリングは、逆温度で事前選択されたインクリメントの定数と組み合わされることが多いこのタスクの促進に使うことができる。 しかし, 一定インクリメントを用いることで, 焼鈍密度のスムーズな変化がより大きなインクリメントと等しく扱える状況に適応できないため, 計算効率が制限される。 AdaAnnは適応型焼鈍スケジューラで、十分に密着した焼鈍温度の2つの分布間のクルバック・リーブラーのばらつきの変化に基づいて温度インクリメントを自動的に調整する。 adaannは実装が容易で、変分推論のためのフローの正規化やマルコフ連鎖モンテカルロといった既存のサンプリングアプローチに統合することができる。 本稿では,密度近似や動的システムのパラメータ推定など,多くの例で正規化フローを用いた変分推論のためのadaannスケジューラの計算効率を示す。

関連論文リスト

• Asymptotically Optimal Change Detection for Unnormalized Pre- and Post-Change Distributions [65.38208224389027]
  本稿では,非正規化前および後の変化分布のみがアクセス可能である場合にのみ,変化を検出する問題に対処する。 提案手法は,最適性能を示すことが知られている累積サム統計量の推定に基づく。
  論文  参考訳（メタデータ） (2024-10-18T17:13:29Z)
• Robust scalable initialization for Bayesian variational inference with multi-modal Laplace approximations [0.0]
  フル共分散構造を持つ変分混合は、パラメータ数による変動パラメータによる二次的な成長に苦しむ。 本稿では,変分推論のウォームスタートに使用できる初期ガウスモデル近似を構築する方法を提案する。
  論文  参考訳（メタデータ） (2023-07-12T19:30:04Z)
• Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
  Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。 本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
  論文  参考訳（メタデータ） (2023-06-27T08:15:28Z)
• Differentiating Metropolis-Hastings to Optimize Intractable Densities [51.16801956665228]
  我々はメトロポリス・ハスティングス検層の自動識別アルゴリズムを開発した。 難解な対象密度に対する期待値として表現された目的に対して勾配に基づく最適化を適用する。
  論文  参考訳（メタデータ） (2023-06-13T17:56:02Z)
• Numerically Stable Sparse Gaussian Processes via Minimum Separation using Cover Trees [57.67528738886731]
  誘導点に基づくスケーラブルスパース近似の数値安定性について検討する。 地理空間モデリングなどの低次元タスクに対しては,これらの条件を満たす点を自動計算する手法を提案する。
  論文  参考訳（メタデータ） (2022-10-14T15:20:17Z)
• Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
  正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。 一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
  論文  参考訳（メタデータ） (2022-02-23T06:11:49Z)
• Renormalization group for open quantum systems using environment temperature as flow parameter [0.0]
  本稿では,オープン量子系の密度-演算的進化のためにメモリカーネルを演算する$T$-flow再正規化グループ法を提案する。 我々は、結合の順序以上の電圧に対して、リアルタイムに容易にアクセス可能な定常限界をベンチマークする。 局所観測と非局所観測の両方の短時間のダイナミクスは、普遍的な温度非依存性の挙動に従うことを解析的に示す。
  論文  参考訳（メタデータ） (2021-11-14T11:52:27Z)
• Autoregressive Score Matching [113.4502004812927]
  自動回帰条件スコアモデル(AR-CSM)を提案する。 AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。 本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T07:01:24Z)
• Online Stochastic Convex Optimization: Wasserstein Distance Variation [15.313864176694832]
  滑らかな凸関数の期待値の最小値を追跡するためのオンライン近勾配法について検討する。 システムや制御文献にインスパイアされた推定・追跡誤差の概念を再考する。 我々は、強い凸性、勾配のリプシッツ性、確率分布のドリフトに対する境界を与える。
  論文  参考訳（メタデータ） (2020-06-02T05:23:22Z)
• Amortized variance reduction for doubly stochastic objectives [17.064916635597417]
  複素確率モデルにおける近似推論は二重目的関数の最適化を必要とする。 現在のアプローチでは、ミニバッチがサンプリング性にどのように影響するかを考慮せず、結果として準最適分散が減少する。 本稿では,認識ネットワークを用いて各ミニバッチに対して最適な制御変数を安価に近似する手法を提案する。
  論文  参考訳（メタデータ） (2020-03-09T13:23:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。