論文の概要: Variational Inference with Holder Bounds

• arxiv url: http://arxiv.org/abs/2111.02947v1
• Date: Thu, 4 Nov 2021 15:35:47 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-05 14:03:04.809304
• Title: Variational Inference with Holder Bounds
• Title（参考訳）: ホルダー境界を持つ変分推論
• Authors: Junya Chen, Danni Lu, Zidi Xiu, Ke Bai, Lawrence Carin, Chenyang Tao
• Abstract要約: 熱力学的変動目標(TVO)の慎重に分析する。 熱力学曲線の病理幾何学がTVOにどのように悪影響を及ぼすかを明らかにする。 これは、ホルダー境界と呼ばれ、熱力学曲線を平坦化し、正確な辺辺対の1ステップ近似を達成することを約束する新しいVI目標を動機付けている。
• 参考スコア（独自算出の注目度）: 68.8008396694788
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The recent introduction of thermodynamic integration techniques has provided a new framework for understanding and improving variational inference (VI). In this work, we present a careful analysis of the thermodynamic variational objective (TVO), bridging the gap between existing variational objectives and shedding new insights to advance the field. In particular, we elucidate how the TVO naturally connects the three key variational schemes, namely the importance-weighted VI, Renyi-VI, and MCMC-VI, which subsumes most VI objectives employed in practice. To explain the performance gap between theory and practice, we reveal how the pathological geometry of thermodynamic curves negatively affects TVO. By generalizing the integration path from the geometric mean to the weighted Holder mean, we extend the theory of TVO and identify new opportunities for improving VI. This motivates our new VI objectives, named the Holder bounds, which flatten the thermodynamic curves and promise to achieve a one-step approximation of the exact marginal log-likelihood. A comprehensive discussion on the choices of numerical estimators is provided. We present strong empirical evidence on both synthetic and real-world datasets to support our claims.
• Abstract（参考訳）: 最近の熱力学統合技術の導入により、変動推論(VI)の理解と改善のための新しいフレームワークが提供された。 本研究では, 熱力学的変動目標(TVO)を慎重に分析し, 既存の変動目標間のギャップを埋め, 新たな洞察を取り入れて, 現場を前進させる。 特に,TVOが重要重み付きVI,Renyi-VI,MCMC-VIの3つの重要な変分スキームを自然に接続する方法を明らかにする。 理論と実践の相違を説明するために,熱力学曲線の病理幾何学がTVOに悪影響を及ぼすことを示す。 幾何平均から重み付きホルダー平均への積分経路を一般化することにより,tvoの理論を拡張し,viを改善する新たな機会を見いだす。 これは、熱力学的曲線を平坦化し、正確な辺の対数様相の1段階近似を達成することを約束するホルダー境界と呼ばれる新しい vi 目標を動機付ける。 数値推定器の選択に関する総合的な議論を提供する。 当社の主張を支持するために,合成データと実世界のデータセットの両方について,強い実証的証拠を提示します。

関連論文リスト

• Learning with Importance Weighted Variational Inference: Asymptotics for Gradient Estimators of the VR-IWAE Bound [3.115375810642661]
  重み付けの重要さを含むいくつかの一般的な変動境界は、エビデンス・ロウアー・バウンドの一般化と改善のために提案されている。 VR-IWAEバウンダリは、ELBO、IWAE、VRバウンダリを統一する変分バウンダリとして導入された。
  論文  参考訳（メタデータ） (2024-10-15T20:09:06Z)
• On the Joint Interaction of Models, Data, and Features [82.60073661644435]
  本稿では,データとモデル間の相互作用を実験的に解析する新しいツールであるインタラクションテンソルを紹介する。 これらの観測に基づいて,特徴学習のための概念的枠組みを提案する。 この枠組みの下では、一つの仮説に対する期待された精度と一対の仮説に対する合意はどちらも閉形式で導出することができる。
  論文  参考訳（メタデータ） (2023-06-07T21:35:26Z)
• On the Convergence of Coordinate Ascent Variational Inference [11.166959724276337]
  平均場 (MF) VI を実装するための共通座標アセント変分推論 (CAVI) アルゴリズムについて検討する。 我々はCAVIの大域的あるいは局所的な指数収束を証明するための一般的な条件を提供する。 目的関数に影響を及ぼす構成ブロック間の相互作用を特徴付けるための一般化相関の新しい概念を紹介する。
  論文  参考訳（メタデータ） (2023-06-01T20:19:30Z)
• Variational Distillation for Multi-View Learning [104.17551354374821]
  我々は,多視点表現学習における2つの重要な特徴を利用するために,様々な情報ボトルネックを設計する。 厳密な理論的保証の下で,本手法は,観察とセマンティックラベルの内在的相関の把握を可能にする。
  論文  参考訳（メタデータ） (2022-06-20T03:09:46Z)
• Handling Distribution Shifts on Graphs: An Invariance Perspective [78.31180235269035]
  我々は、グラフ上のOOD問題を定式化し、新しい不変学習手法である探索・拡張リスク最小化(EERM)を開発する。 EERMは、複数の仮想環境からのリスクの分散を最大化するために、敵対的に訓練された複数のコンテキストエクスプローラーを利用する。 理論的に有効なOOD解の保証を示すことによって,本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2022-02-05T02:31:01Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• Discovering Latent Causal Variables via Mechanism Sparsity: A New Principle for Nonlinear ICA [81.4991350761909]
  ICA(Independent component analysis)は、この目的を定式化し、実用的な応用のための推定手順を提供する手法の集合を指す。 潜伏変数は、潜伏機構をスパースに正則化すれば、置換まで復元可能であることを示す。
  論文  参考訳（メタデータ） (2021-07-21T14:22:14Z)
• Farewell to Mutual Information: Variational Distillation for Cross-Modal Person Re-Identification [41.02729491273057]
  Information Bottleneck (IB)は、表現学習のための情報理論の原則を提供する。 我々は、スケーラブルで柔軟で分析的なソリューションを提供する新しい戦略、可変自己蒸留(VSD)を提示します。 また、Variational Cross-Distillation (VCD) と Variational Mutual-Learning (VML) の2つの戦略を紹介します。
  論文  参考訳（メタデータ） (2021-04-07T02:19:41Z)
• All in the Exponential Family: Bregman Duality in Thermodynamic Variational Inference [42.05882835476882]
  熱力学変分対象(TVO)に基づく幾何学的混合曲線の指数関数的ファミリー解釈を提案する。 本稿では,指数関数系列のモーメントパラメータの等間隔を用いて中間分布を選択することを提案する。
  論文  参考訳（メタデータ） (2020-07-01T17:46:49Z)
• Particle-based Energetic Variational Inference [4.079427359693159]
  エネルギー変動推論(EVI)と呼ばれる新しい変動推論(VI)フレームワークを導入する。 我々は,多くの既存のパーティクルベースの変分推論(ParVI)手法を導出し,その適用例をSVGD (Stin Variational Gradient Descent) と呼ぶ。 本稿では,まず粒子に基づく密度近似を行い,その近似密度を変動過程に用いた新しいパーティクルベースEVI法を提案する。
  論文  参考訳（メタデータ） (2020-04-14T12:14:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。