論文の概要: Variational Gradient Descent using Local Linear Models

• arxiv url: http://arxiv.org/abs/2305.15577v1
• Date: Wed, 24 May 2023 21:23:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-26 18:30:34.588176
• Title: Variational Gradient Descent using Local Linear Models
• Title（参考訳）: 局所線形モデルを用いた変分勾配沈み込み
• Authors: Song Liu, Jack Simons, Mingxuan Yi, Mark Beaumont
• Abstract要約: SVGD(Stein Variational Gradient Descent)は、粒子を軌道に沿って輸送することで、ターゲットと粒子分布の間のKLのばらつきを低減できる。 逆KL勾配流の局所的推定器とみなすSVGDの新しい視点を導入する。 局所線形モデルを用いて同じ目的を達成する新しい推定器を提案する。
• 参考スコア（独自算出の注目度）: 2.564835304640762
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Stein Variational Gradient Descent (SVGD) can transport particles along trajectories that reduce the KL divergence between the target and particle distribution but requires the target score function to compute the update. We introduce a new perspective on SVGD that views it as a local estimator of the reversed KL gradient flow. This perspective inspires us to propose new estimators that use local linear models to achieve the same purpose. The proposed estimators can be computed using only samples from the target and particle distribution without needing the target score function. Our proposed variational gradient estimators utilize local linear models, resulting in computational simplicity while maintaining effectiveness comparable to SVGD in terms of estimation biases. Additionally, we demonstrate that under a mild assumption, the estimation of high-dimensional gradient flow can be translated into a lower-dimensional estimation problem, leading to improved estimation accuracy. We validate our claims with experiments on both simulated and real-world datasets.
• Abstract（参考訳）: SVGD(Stein Variational Gradient Descent)は、目標と粒子分布の間のKLのばらつきを減少させる軌道に沿って粒子を輸送することができるが、更新を計算するためには目標スコア関数が必要である。 本稿では,逆kl勾配流れの局所的推定子として見るsvgdの新しい視点を紹介する。 この視点は、同じ目的を達成するために局所線形モデルを使用する新しい推定子を提案するきっかけとなる。 提案した推定器は、目標スコア関数を必要とせずに、目標値と粒子分布のサンプルのみを用いて計算できる。 提案する変分勾配推定器は局所線形モデルを用いて,推定バイアスの観点からsvgdに匹敵する有効性を維持しつつ,計算の簡易性をもたらす。 さらに, 穏やかな仮定の下では, 高次元勾配流の推定が低次元推定問題に変換され, 推定精度が向上することを示す。 シミュレーションと実世界の両方のデータセットで実験を行い、クレームを検証する。

関連論文リスト

• Particle-Based Score Estimation for State Space Model Learning in Autonomous Driving [62.053071723903834]
  マルチオブジェクト状態推定はロボットアプリケーションの基本的な問題である。 粒子法を用いて最大形パラメータを学習することを検討する。 自動運転車から収集した実データに本手法を適用した。
  論文  参考訳（メタデータ） (2022-12-14T01:21:05Z)
• Adaptive Perturbation-Based Gradient Estimation for Discrete Latent Variable Models [28.011868604717726]
  複素離散分布に対する適応勾配推定器であるAdaptive IMLEを提案する。 我々の推定器は、他の勾配推定器よりも桁違いに少ないサンプルを必要とする一方で、忠実な推定を行うことができることを示す。
  論文  参考訳（メタデータ） (2022-09-11T13:32:39Z)
• Learning Optimal Flows for Non-Equilibrium Importance Sampling [13.469239537683299]
  簡単なベース分布からサンプルを生成し,速度場によって生成された流れに沿って移動し,これらの流れに沿って平均を実行する手法を開発した。 理論面では、ターゲットに対する速度場を調整し、提案した推定器が完全推定器となる一般的な条件を確立する方法について論じる。 計算面では、ニューラルネットワークによる速度場を表現するためにディープラーニングを使用して、ゼロ分散最適化に向けて学習する方法を示す。
  論文  参考訳（メタデータ） (2022-06-20T17:25:26Z)
• Gradient Estimation with Discrete Stein Operators [41.904073216067445]
  離散分布に対するスタイン演算子に基づく分散化手法を提案する。 提案手法は,同数の関数評価値を持つ最先端推定値よりも,かなり低い分散性を実現する。
  論文  参考訳（メタデータ） (2022-02-19T02:22:23Z)
• Grassmann Stein Variational Gradient Descent [3.644031721554146]
  スタイン変分勾配降下(SVGD)は、マルコフ連鎖モンテカルロの効率的な代替となる決定論的粒子推論アルゴリズムである。 近年の進歩は、スコア関数とデータの両方を実際の行に投影してこの問題に対処することを提唱している。 任意の次元部分空間への射影を可能にする代替アプローチとして、グラスマンシュタイン変分勾配勾配(GSVGD)を提案する。
  論文  参考訳（メタデータ） (2022-02-07T15:36:03Z)
• A Model for Multi-View Residual Covariances based on Perspective Deformation [88.21738020902411]
  マルチビューSfM, オードメトリ, SLAMセットアップにおける視覚的残差の共分散モデルの導出を行う。 我々は、合成データと実データを用いてモデルを検証し、それを光度および特徴量に基づくバンドル調整に統合する。
  論文  参考訳（メタデータ） (2022-02-01T21:21:56Z)
• Kernel Stein Generative Modeling [68.03537693810972]
  グラディエント・ランゲヴィン・ダイナミクス(SGLD)は高次元および複雑なデータ分布に関するエネルギーモデルによる印象的な結果を示す。 Stein Variational Gradient Descent (SVGD) は、与えられた分布を近似するために一組の粒子を反復的に輸送する決定論的サンプリングアルゴリズムである。 雑音条件付きカーネルSVGD(NCK-SVGD)を提案する。
  論文  参考訳（メタデータ） (2020-07-06T21:26:04Z)
• A Non-Asymptotic Analysis for Stein Variational Gradient Descent [44.30569261307296]
  定常変分勾配Descentアルゴリズムに対する新しい有限時間解析法を提案する。 アルゴリズムが各反復の目的を減少させることを示す降下補題を提供する。 また, SVGDの実用的実装に対応する有限粒子系の収束結果を, 集団バージョンに反映する。
  論文  参考訳（メタデータ） (2020-06-17T12:01:33Z)
• Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
  二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。 そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。 勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
  論文  参考訳（メタデータ） (2020-06-04T21:51:21Z)
• SUMO: Unbiased Estimation of Log Marginal Probability for Latent Variable Models [80.22609163316459]
  無限級数のランダム化トランケーションに基づく潜在変数モデルに対して、ログ境界確率の非バイアス推定器とその勾配を導入する。 推定器を用いてトレーニングしたモデルは、同じ平均計算コストに対して、標準的な重要度サンプリングに基づくアプローチよりも優れたテストセット確率を与えることを示す。
  論文  参考訳（メタデータ） (2020-04-01T11:49:30Z)
• A Near-Optimal Gradient Flow for Learning Neural Energy-Based Models [93.24030378630175]
  学習エネルギーベースモデル(EBM)の勾配流を最適化する新しい数値スキームを提案する。 フォッカー・プランク方程式から大域相対エントロピーの2階ワッサーシュタイン勾配流を導出する。 既存のスキームと比較して、ワッサーシュタイン勾配流は実データ密度を近似するより滑らかで近似的な数値スキームである。
  論文  参考訳（メタデータ） (2019-10-31T02:26:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。