論文の概要: All in the Exponential Family: Bregman Duality in Thermodynamic Variational Inference

• arxiv url: http://arxiv.org/abs/2007.00642v1
• Date: Wed, 1 Jul 2020 17:46:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-14 22:07:38.584499
• Title: All in the Exponential Family: Bregman Duality in Thermodynamic Variational Inference
• Title（参考訳）: 指数族のすべて:熱力学的変動推論におけるブレグマン双対性
• Authors: Rob Brekelmans, Vaden Masrani, Frank Wood, Greg Ver Steeg, Aram Galstyan
• Abstract要約: 熱力学変分対象(TVO)に基づく幾何学的混合曲線の指数関数的ファミリー解釈を提案する。 本稿では,指数関数系列のモーメントパラメータの等間隔を用いて中間分布を選択することを提案する。
• 参考スコア（独自算出の注目度）: 42.05882835476882
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The recently proposed Thermodynamic Variational Objective (TVO) leverages thermodynamic integration to provide a family of variational inference objectives, which both tighten and generalize the ubiquitous Evidence Lower Bound (ELBO). However, the tightness of TVO bounds was not previously known, an expensive grid search was used to choose a "schedule" of intermediate distributions, and model learning suffered with ostensibly tighter bounds. In this work, we propose an exponential family interpretation of the geometric mixture curve underlying the TVO and various path sampling methods, which allows us to characterize the gap in TVO likelihood bounds as a sum of KL divergences. We propose to choose intermediate distributions using equal spacing in the moment parameters of our exponential family, which matches grid search performance and allows the schedule to adaptively update over the course of training. Finally, we derive a doubly reparameterized gradient estimator which improves model learning and allows the TVO to benefit from more refined bounds. To further contextualize our contributions, we provide a unified framework for understanding thermodynamic integration and the TVO using Taylor series remainders.
• Abstract（参考訳）: 最近提案された熱力学的変動オブジェクト(TVO)は、熱力学的統合を利用して、ユビキタス・エビデンス・ロウアー・バウンド(ELBO)を厳密かつ一般化した変分推論対象の族を提供する。 しかし、TVO境界の厳密さは以前は知られておらず、中間分布の「スケジュール」を選択するために高価なグリッド探索が用いられ、モデル学習は目に見えるほど厳密な境界に悩まされた。 そこで本研究では,TVO と様々な経路サンプリング法を基礎とした幾何学的混合曲線の指数関数的家族解釈を提案し,KL の相違点の和として TVO の誤差を特徴付ける。 本研究では,グリッド探索性能に適合し,トレーニングの過程でスケジュールを適応的に更新できる指数関数型ファミリのモーメントパラメータにおいて,等間隔を用いた中間分布を選択することを提案する。 最後に、モデル学習を改善し、TVOがより洗練されたバウンダリの恩恵を受けることができる2つのパラメータ化勾配推定器を導出する。 コンテクストをさらに文脈化するために、テイラー級数残差を用いた熱力学積分とTVOを理解するための統一的なフレームワークを提供する。

関連論文リスト

• Kernel-Based Differentiable Learning of Non-Parametric Directed Acyclic Graphical Models [17.52142371968811]
  因果発見は因果モデルを符号化する有向非巡回グラフ (DAG) を学ぶことに相当する。 近年の研究では、因果発見を連続最適化問題として再検討し、探索を回避しようとしている。
  論文  参考訳（メタデータ） (2024-08-20T16:09:40Z)
• Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
  Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。 本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
  論文  参考訳（メタデータ） (2023-06-27T08:15:28Z)
• Score-based Generative Modeling of Graphs via the System of Stochastic Differential Equations [57.15855198512551]
  本稿では,連続時間フレームワークを用いたグラフのスコアベース生成モデルを提案する。 本手法は, トレーニング分布に近い分子を生成できるが, 化学価数則に違反しないことを示す。
  論文  参考訳（メタデータ） (2022-02-05T08:21:04Z)
• Variational Inference with Holder Bounds [68.8008396694788]
  熱力学的変動目標(TVO)の慎重に分析する。 熱力学曲線の病理幾何学がTVOにどのように悪影響を及ぼすかを明らかにする。 これは、ホルダー境界と呼ばれ、熱力学曲線を平坦化し、正確な辺辺対の1ステップ近似を達成することを約束する新しいVI目標を動機付けている。
  論文  参考訳（メタデータ） (2021-11-04T15:35:47Z)
• A Dual Approach to Constrained Markov Decision Processes with Entropy Regularization [7.483040617090451]
  本研究では,ソフトマックスパラメータ化の下で,エントロピー規則化制約付きマルコフ決定過程(CMDP)について検討する。 我々の理論的解析は、ラグランジアン双対函数は滑らかであり、ラグランジアン双対性ギャップは原始性ギャップと制約違反に分解できることを示している。
  論文  参考訳（メタデータ） (2021-10-17T21:26:40Z)
• Distributional Sliced Embedding Discrepancy for Incomparable Distributions [22.615156512223766]
  Gromov-Wasserstein (GW) 距離は多様体学習とクロスドメイン学習の鍵となるツールである。 本稿では,分散スライシング,埋め込み,スライスされた分布間の閉形式ワッサーシュタイン距離の計算という2つの計算分布を比較する新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-06-04T15:11:30Z)
• GELATO: Geometrically Enriched Latent Model for Offline Reinforcement Learning [54.291331971813364]
  オフライン強化学習アプローチは、近近法と不確実性認識法に分けられる。 本研究では,この2つを潜在変動モデルに組み合わせることのメリットを実証する。 提案したメトリクスは、分布サンプルのアウトの品質と、データ内のサンプルの不一致の両方を測定します。
  論文  参考訳（メタデータ） (2021-02-22T19:42:40Z)
• Likelihood Ratio Exponential Families [43.98796887171374]
  幾何学的混合経路を指数関数分布の族として熱力学的変分対象(tvo)を分析する。 これらの可能性比指数ファミリーを拡張し、レート歪み(RD)最適化、情報ボトルネック(IB)方法、および最近のレート歪み分類アプローチの解決策を含む。
  論文  参考訳（メタデータ） (2020-12-31T07:13:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。