論文の概要: Variational Gradient Descent using Local Linear Models
- arxiv url: http://arxiv.org/abs/2305.15577v1
- Date: Wed, 24 May 2023 21:23:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-26 18:30:34.588176
- Title: Variational Gradient Descent using Local Linear Models
- Title(参考訳): 局所線形モデルを用いた変分勾配沈み込み
- Authors: Song Liu, Jack Simons, Mingxuan Yi, Mark Beaumont
- Abstract要約: SVGD(Stein Variational Gradient Descent)は、粒子を軌道に沿って輸送することで、ターゲットと粒子分布の間のKLのばらつきを低減できる。
逆KL勾配流の局所的推定器とみなすSVGDの新しい視点を導入する。
局所線形モデルを用いて同じ目的を達成する新しい推定器を提案する。
- 参考スコア(独自算出の注目度): 2.564835304640762
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Stein Variational Gradient Descent (SVGD) can transport particles along
trajectories that reduce the KL divergence between the target and particle
distribution but requires the target score function to compute the update. We
introduce a new perspective on SVGD that views it as a local estimator of the
reversed KL gradient flow. This perspective inspires us to propose new
estimators that use local linear models to achieve the same purpose. The
proposed estimators can be computed using only samples from the target and
particle distribution without needing the target score function. Our proposed
variational gradient estimators utilize local linear models, resulting in
computational simplicity while maintaining effectiveness comparable to SVGD in
terms of estimation biases. Additionally, we demonstrate that under a mild
assumption, the estimation of high-dimensional gradient flow can be translated
into a lower-dimensional estimation problem, leading to improved estimation
accuracy. We validate our claims with experiments on both simulated and
real-world datasets.
- Abstract(参考訳): SVGD(Stein Variational Gradient Descent)は、目標と粒子分布の間のKLのばらつきを減少させる軌道に沿って粒子を輸送することができるが、更新を計算するためには目標スコア関数が必要である。
本稿では,逆kl勾配流れの局所的推定子として見るsvgdの新しい視点を紹介する。
この視点は、同じ目的を達成するために局所線形モデルを使用する新しい推定子を提案するきっかけとなる。
提案した推定器は、目標スコア関数を必要とせずに、目標値と粒子分布のサンプルのみを用いて計算できる。
提案する変分勾配推定器は局所線形モデルを用いて,推定バイアスの観点からsvgdに匹敵する有効性を維持しつつ,計算の簡易性をもたらす。
さらに, 穏やかな仮定の下では, 高次元勾配流の推定が低次元推定問題に変換され, 推定精度が向上することを示す。
シミュレーションと実世界の両方のデータセットで実験を行い、クレームを検証する。
関連論文リスト
- Noise-Free Sampling Algorithms via Regularized Wasserstein Proximals [3.4240632942024685]
ポテンシャル関数が支配する分布からサンプリングする問題を考察する。
本研究は, 決定論的な楽譜に基づくMCMC法を提案し, 粒子に対する決定論的進化をもたらす。
論文 参考訳(メタデータ) (2023-08-28T23:51:33Z) - Training normalizing flows with computationally intensive target
probability distributions [0.018416014644193065]
本稿では,REINFORCEアルゴリズムに基づく流れの正規化のための推定器を提案する。
ウォールタイムでは最大10倍高速で、最大30%のメモリを必要とする。
論文 参考訳(メタデータ) (2023-08-25T10:40:46Z) - Sampling with Mollified Interaction Energy Descent [57.00583139477843]
モーフィファイド相互作用エネルギー降下(MIED)と呼ばれる新しい最適化に基づくサンプリング手法を提案する。
MIEDは、モル化相互作用エネルギー(MIE)と呼ばれる確率測度に関する新しいクラスのエネルギーを最小化する
我々は,制約のないサンプリング問題に対して,我々のアルゴリズムがSVGDのような既存の粒子ベースアルゴリズムと同等に動作することを示す。
論文 参考訳(メタデータ) (2022-10-24T16:54:18Z) - Statistical Efficiency of Score Matching: The View from Isoperimetry [96.65637602827942]
本研究では, スコアマッチングの統計的効率と推定される分布の等尺性との間に, 密接な関係を示す。
これらの結果はサンプル状態と有限状態の両方で定式化する。
論文 参考訳(メタデータ) (2022-10-03T06:09:01Z) - Building Normalizing Flows with Stochastic Interpolants [11.22149158986164]
一対の基底分布と対象分布の間の連続時間正規化フローに基づく単純な2次モデルを提案する。
この流れの速度場は、基地と目標の間を有限時間で補間する時間依存分布の確率電流から推定される。
論文 参考訳(メタデータ) (2022-09-30T16:30:31Z) - Learning Optimal Flows for Non-Equilibrium Importance Sampling [13.469239537683299]
簡単なベース分布からサンプルを生成し,速度場によって生成された流れに沿って移動し,これらの流れに沿って平均を実行する手法を開発した。
理論面では、ターゲットに対する速度場を調整し、提案した推定器が完全推定器となる一般的な条件を確立する方法について論じる。
計算面では、ニューラルネットワークによる速度場を表現するためにディープラーニングを使用して、ゼロ分散最適化に向けて学習する方法を示す。
論文 参考訳(メタデータ) (2022-06-20T17:25:26Z) - Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。
一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
論文 参考訳(メタデータ) (2022-02-23T06:11:49Z) - Density Ratio Estimation via Infinitesimal Classification [85.08255198145304]
そこで我々は, DRE-inftyを提案する。 DRE-inftyは, 密度比推定(DRE)を, より簡単なサブプロブレムに還元する手法である。
モンテカルロ法にインスパイアされ、中間ブリッジ分布の無限連続体を介して2つの分布の間を滑らかに補間する。
提案手法は,複雑な高次元データセット上での相互情報推定やエネルギーベースモデリングなどの下流タスクにおいて良好に動作することを示す。
論文 参考訳(メタデータ) (2021-11-22T06:26:29Z) - Variational Transport: A Convergent Particle-BasedAlgorithm for Distributional Optimization [106.70006655990176]
分散最適化問題は機械学習や統計学で広く発生する。
本稿では,変分輸送と呼ばれる粒子に基づく新しいアルゴリズムを提案する。
目的関数がpolyak-Lojasiewicz (PL) (Polyak, 1963) の機能バージョンと滑らかな条件を満たすとき、変分輸送は線形に収束することを示す。
論文 参考訳(メタデータ) (2020-12-21T18:33:13Z) - Minimax Optimal Estimation of KL Divergence for Continuous Distributions [56.29748742084386]
Kullback-Leibler の同一および独立に分布するサンプルからの発散は、様々な領域において重要な問題である。
単純で効果的な推定器の1つは、これらのサンプル間の近辺 k に基づいている。
論文 参考訳(メタデータ) (2020-02-26T16:37:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。