論文の概要: Differentiable Annealed Importance Sampling Minimizes The Symmetrized Kullback-Leibler Divergence Between Initial and Target Distribution

• arxiv url: http://arxiv.org/abs/2405.14840v2
• Date: Fri, 9 Aug 2024 12:53:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-12 18:19:02.466628
• Title: Differentiable Annealed Importance Sampling Minimizes The Symmetrized Kullback-Leibler Divergence Between Initial and Target Distribution
• Title（参考訳）: 初期分布と目標分布の対称化Kulback-Leibler分散を最小化した異種焼鈍重要度サンプリング
• Authors: Johannes Zenn, Robert Bamler,
• Abstract要約: DAIS は初期分布と目標分布の対称性を持つ Kullback-Leibler の分散を最小化することを示す。 DAISは、その初期分布が難解なターゲット分布に適合するパラメトリックであるため、変分推論(VI)の形式と見なすことができる。
• 参考スコア（独自算出の注目度）: 10.067421338825545
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Differentiable annealed importance sampling (DAIS), proposed by Geffner & Domke (2021) and Zhang et al. (2021), allows optimizing over the initial distribution of AIS. In this paper, we show that, in the limit of many transitions, DAIS minimizes the symmetrized Kullback-Leibler divergence between the initial and target distribution. Thus, DAIS can be seen as a form of variational inference (VI) as its initial distribution is a parametric fit to an intractable target distribution. We empirically evaluate the usefulness of the initial distribution as a variational distribution on synthetic and real-world data, observing that it often provides more accurate uncertainty estimates than VI (optimizing the reverse KL divergence), importance weighted VI, and Markovian score climbing (optimizing the forward KL divergence).
• Abstract（参考訳）: Geffner & Domke (2021) と Zhang et al (2021) によって提唱されたDAISは、AISの初期分布を最適化することができる。 本稿では,多くの遷移の限界において,DAISは初期分布と目標分布との対称性を持つKulback-Leibler分散を最小化することを示す。 したがって、DAISは、その初期分布が難解な対象分布に適合するパラメトリックであるため、変分推論(VI)の形式と見なすことができる。 合成および実世界のデータに対する変分分布としての初期分布の有用性を実証的に評価し、VI(逆KL偏差の最適化)、重み付きVI(前方KL偏差の最適化)、マルコフスコアクライミング(前方KL偏差の最適化)よりも精度の高い不確実性推定をしばしば提供することを示した。

関連論文リスト

• Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
  本報告では,明示的な次元の一般スコアミスマッチ拡散サンプリング器を用いた最初の性能保証について述べる。 その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。 この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
  論文  参考訳（メタデータ） (2024-10-17T16:42:12Z)
• Understanding Contrastive Learning via Distributionally Robust Optimization [29.202594242468678]
  本研究は,類似のセマンティクス(ラベルなど)を負のサンプルとして含むサンプリングバイアスに対するコントラッシブラーニング(CL)の固有の耐性を明らかにする。 本研究は,分散ロバスト最適化 (DRO) のレンズを用いてCLを解析することにより,この研究ギャップを橋渡しし,いくつかの重要な知見を得る。 また, CLの過保守性や異常値に対する感受性などの潜在的な欠点を同定し, これらの問題を緩和するための新しいAdjusted InfoNCE損失(ADNCE)を導入する。
  論文  参考訳（メタデータ） (2023-10-17T07:32:59Z)
• Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
  Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。 本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
  論文  参考訳（メタデータ） (2023-06-27T08:15:28Z)
• Score-Based Diffusion meets Annealed Importance Sampling [89.92133671626327]
  Annealed Importance Smpling はいまだに限界推定の最も効果的な方法の1つである。 我々は、スコアベース生成モデルにおける最近の進歩を活用し、AIS提案の最適拡張目標分布を近似する。
  論文  参考訳（メタデータ） (2022-08-16T12:13:29Z)
• Cycle Consistent Probability Divergences Across Different Spaces [38.43511529063335]
  確率分布の相違は、統計的推測と機械学習の核心にある。 本研究は, 異方性, 異方性, 異方性, 異なる空間上の分布をマッチングするための, アンバランスなモンジュ最適輸送定式化を提案する。
  論文  参考訳（メタデータ） (2021-11-22T16:35:58Z)
• Personalized Trajectory Prediction via Distribution Discrimination [78.69458579657189]
  トラリミー予測は将来の力学のマルチモーダルな性質を捉えるジレンマと対立する。 本研究では,パーソナライズされた動作パターンを予測するDisDisDis(Disdis)手法を提案する。 本手法は,プラグイン・アンド・プレイモジュールとして既存のマルチモーダル予測モデルと統合することができる。
  論文  参考訳（メタデータ） (2021-07-29T17:42:12Z)
• Variational Refinement for Importance Sampling Using the Forward Kullback-Leibler Divergence [77.06203118175335]
  変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。 重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。 近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
  論文  参考訳（メタデータ） (2021-06-30T11:00:24Z)
• KL Guided Domain Adaptation [88.19298405363452]
  ドメイン適応は重要な問題であり、現実世界のアプリケーションにしばしば必要である。 ドメイン適応文学における一般的なアプローチは、ソースとターゲットドメインに同じ分布を持つ入力の表現を学ぶことである。 確率的表現ネットワークにより、KL項はミニバッチサンプルにより効率的に推定できることを示す。
  論文  参考訳（メタデータ） (2021-06-14T22:24:23Z)
• Parametrization invariant interpretation of priors and posteriors [0.0]
  我々は,「事前分布がモデルのパラメータ上で確率分布を確立する」という考え方から,「事前分布が確率分布を超えた確率分布を確立する」という考え方に移行した。 この考え方の下では、確率分布上の任意の分布は「内在的」であり、つまり多様体に選択される特定のパラメトリゼーションに不変である。
  論文  参考訳（メタデータ） (2021-05-18T06:45:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。