論文の概要: Particle-based Energetic Variational Inference

• arxiv url: http://arxiv.org/abs/2004.06443v4
• Date: Tue, 23 Mar 2021 18:29:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-13 08:55:09.025470
• Title: Particle-based Energetic Variational Inference
• Title（参考訳）: 粒子に基づくエネルギー変動推論
• Authors: Yiwei Wang, Jiuhai Chen, Chun Liu, Lulu Kang
• Abstract要約: エネルギー変動推論(EVI)と呼ばれる新しい変動推論(VI)フレームワークを導入する。 我々は,多くの既存のパーティクルベースの変分推論(ParVI)手法を導出し,その適用例をSVGD (Stin Variational Gradient Descent) と呼ぶ。 本稿では,まず粒子に基づく密度近似を行い,その近似密度を変動過程に用いた新しいパーティクルベースEVI法を提案する。
• 参考スコア（独自算出の注目度）: 4.079427359693159
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce a new variational inference (VI) framework, called energetic variational inference (EVI). It minimizes the VI objective function based on a prescribed energy-dissipation law. Using the EVI framework, we can derive many existing Particle-based Variational Inference (ParVI) methods, including the popular Stein Variational Gradient Descent (SVGD) approach. More importantly, many new ParVI schemes can be created under this framework. For illustration, we propose a new particle-based EVI scheme, which performs the particle-based approximation of the density first and then uses the approximated density in the variational procedure, or "Approximation-then-Variation" for short. Thanks to this order of approximation and variation, the new scheme can maintain the variational structure at the particle level, and can significantly decrease the KL-divergence in each iteration. Numerical experiments show the proposed method outperforms some existing ParVI methods in terms of fidelity to the target distribution.
• Abstract（参考訳）: エネルギー変動推論(EVI)と呼ばれる新しい変動推論(VI)フレームワークを導入する。 所定のエネルギー散逸則に基づいてvi目的関数を最小化する。 EVIフレームワークを用いることで、人気のあるStein Variational Gradient Descent(SVGD)アプローチを含む、多くの既存のParticle-based Variational Inference(ParVI)手法を導出できる。 さらに重要なのは、このフレームワークで多くの新しいParVIスキームを作成できることだ。 本稿では,まず粒子に基づく密度近似を行い,その近似密度を変分法で用いた新しいパーティクルベースEVI法,あるいは略して「近似-then-Variation」を提案する。 この近似と変動の順序により、新しいスキームは粒子レベルでの変分構造を維持でき、各イテレーションにおけるKL偏差を著しく減少させることができる。 数値実験により,提案手法は対象分布に対する忠実度の観点から既存のParVI法よりも優れていた。

関連論文リスト

• Particle Semi-Implicit Variational Inference [2.555222031881788]
  半単純変分推論(SIVI)は、カーネルと混合分布を利用して変分族を表現する。 既存のSIVI法は、暗黙の分布を用いて混合分布をパラメータ化し、難解な変動密度をもたらす。 本研究では, 最適混合分布を近似する実験手法を用いて, PVI (Particle Variational Inference) と呼ばれるSIVIの新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-06-30T10:21:41Z)
• GAD-PVI: A General Accelerated Dynamic-Weight Particle-Based Variational Inference Framework [11.4522103360875]
  本稿では,加速度位置更新と動的重み調整を同時に行うParVIフレームワークを提案する。 GAD-PVIは異なる相似関数と関連する滑らかなアプローチと互換性がある。 合成データと実世界のデータの両方の実験では、GAD-PVI法の高速収束と近似誤差の低減が示されている。
  論文  参考訳（メタデータ） (2023-12-27T06:31:06Z)
• Sampling with Mollified Interaction Energy Descent [57.00583139477843]
  モーフィファイド相互作用エネルギー降下(MIED)と呼ばれる新しい最適化に基づくサンプリング手法を提案する。 MIEDは、モル化相互作用エネルギー(MIE)と呼ばれる確率測度に関する新しいクラスのエネルギーを最小化する 我々は,制約のないサンプリング問題に対して,我々のアルゴリズムがSVGDのような既存の粒子ベースアルゴリズムと同等に動作することを示す。
  論文  参考訳（メタデータ） (2022-10-24T16:54:18Z)
• Stochastic Gradient Descent-Ascent: Unified Theory and New Efficient Methods [73.35353358543507]
  SGDA(Gradient Descent-Ascent)は、min-max最適化と変分不等式問題(VIP)を解くための最も顕著なアルゴリズムの1つである。 本稿では,多種多様な降下指数法を網羅した統合収束解析を提案する。 本研究では,新しい分散化手法 (L-SVRGDA) や,新しい分散圧縮方式 (QSGDA, DIANA-SGDA, VR-DIANA-SGDA) ,座標ランダム化方式 (SEGA-SGDA) など,SGDAの新しい変種を開発した。
  論文  参考訳（メタデータ） (2022-02-15T09:17:39Z)
• Variational Inference with Holder Bounds [68.8008396694788]
  熱力学的変動目標(TVO)の慎重に分析する。 熱力学曲線の病理幾何学がTVOにどのように悪影響を及ぼすかを明らかにする。 これは、ホルダー境界と呼ばれ、熱力学曲線を平坦化し、正確な辺辺対の1ステップ近似を達成することを約束する新しいVI目標を動機付けている。
  論文  参考訳（メタデータ） (2021-11-04T15:35:47Z)
• An Introduction to Variational Inference [0.0]
  本稿では,変分推論(VI)の概念を紹介する。 VIは、最適化技術を用いて複雑な確率密度を推定する機械学習で一般的な方法である。 可変オートエンコーダ(VAE)とVAE-Generative Adversarial Network(VAE-GAN)へのVIの適用について論じる。
  論文  参考訳（メタデータ） (2021-08-30T09:40:04Z)
• Loss function based second-order Jensen inequality and its application to particle variational inference [112.58907653042317]
  粒子変分推論(PVI)は、後部分布の実験的近似としてモデルのアンサンブルを用いる。 PVIは、最適化されたモデルの多様性を保証するために、各モデルを反発力で反復的に更新する。 我々は,新たな一般化誤差を導出し,モデルの多様性を高めて低減できることを示す。
  論文  参考訳（メタデータ） (2021-06-09T12:13:51Z)
• A Discrete Variational Derivation of Accelerated Methods in Optimization [68.8204255655161]
  最適化のための異なる手法を導出できる変分法を導入する。 我々は1対1の対応において最適化手法の2つのファミリを導出する。 自律システムのシンプレクティシティの保存は、ここでは繊維のみに行われる。
  論文  参考訳（メタデータ） (2021-06-04T20:21:53Z)
• Variational Rejection Particle Filtering [28.03831528555717]
  変動拒絶粒子フィルタ(VRPF)は、限界可能性に関する新しい変動境界をもたらす。 変動境界の理論的性質を提示し、連続データの様々なモデルに関する実験を実証する。
  論文  参考訳（メタデータ） (2021-03-29T05:29:58Z)
• Generative Particle Variational Inference via Estimation of Functional Gradients [15.370890881254066]
  本研究では, 後方分布から標本を推定する新しい学習法を提案する。 生成型ParVI (GPVI) 手法は, 生成型サンプリング装置の柔軟性を提供しながら, ParVI 法の性能を維持している。
  論文  参考訳（メタデータ） (2021-03-01T20:29:41Z)
• Meta-Learning Divergences of Variational Inference [49.164944557174294]
  変分推論(VI)は、近似ベイズ推論において重要な役割を果たす。 本稿では,興味ある課題に適した分散度を学習するためのメタ学習アルゴリズムを提案する。 提案手法はガウス混合分布近似の標準VIより優れていることを示す。
  論文  参考訳（メタデータ） (2020-07-06T17:43:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。