論文の概要: Variational Gradient Descent using Local Linear Models

• arxiv url: http://arxiv.org/abs/2305.15577v1
• Date: Wed, 24 May 2023 21:23:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-26 18:30:34.588176
• Title: Variational Gradient Descent using Local Linear Models
• Title（参考訳）: 局所線形モデルを用いた変分勾配沈み込み
• Authors: Song Liu, Jack Simons, Mingxuan Yi, Mark Beaumont
• Abstract要約: SVGD(Stein Variational Gradient Descent)は、粒子を軌道に沿って輸送することで、ターゲットと粒子分布の間のKLのばらつきを低減できる。 逆KL勾配流の局所的推定器とみなすSVGDの新しい視点を導入する。 局所線形モデルを用いて同じ目的を達成する新しい推定器を提案する。
• 参考スコア（独自算出の注目度）: 2.564835304640762
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Stein Variational Gradient Descent (SVGD) can transport particles along trajectories that reduce the KL divergence between the target and particle distribution but requires the target score function to compute the update. We introduce a new perspective on SVGD that views it as a local estimator of the reversed KL gradient flow. This perspective inspires us to propose new estimators that use local linear models to achieve the same purpose. The proposed estimators can be computed using only samples from the target and particle distribution without needing the target score function. Our proposed variational gradient estimators utilize local linear models, resulting in computational simplicity while maintaining effectiveness comparable to SVGD in terms of estimation biases. Additionally, we demonstrate that under a mild assumption, the estimation of high-dimensional gradient flow can be translated into a lower-dimensional estimation problem, leading to improved estimation accuracy. We validate our claims with experiments on both simulated and real-world datasets.
• Abstract（参考訳）: SVGD(Stein Variational Gradient Descent)は、目標と粒子分布の間のKLのばらつきを減少させる軌道に沿って粒子を輸送することができるが、更新を計算するためには目標スコア関数が必要である。 本稿では,逆kl勾配流れの局所的推定子として見るsvgdの新しい視点を紹介する。 この視点は、同じ目的を達成するために局所線形モデルを使用する新しい推定子を提案するきっかけとなる。 提案した推定器は、目標スコア関数を必要とせずに、目標値と粒子分布のサンプルのみを用いて計算できる。 提案する変分勾配推定器は局所線形モデルを用いて,推定バイアスの観点からsvgdに匹敵する有効性を維持しつつ,計算の簡易性をもたらす。 さらに, 穏やかな仮定の下では, 高次元勾配流の推定が低次元推定問題に変換され, 推定精度が向上することを示す。 シミュレーションと実世界の両方のデータセットで実験を行い、クレームを検証する。

関連論文リスト

• Kinetic Interacting Particle Langevin Monte Carlo [0.0]
  本稿では,潜在変数モデルにおける統計的推論のために,アンダーダム付きランゲヴィンアルゴリズムの相互作用について紹介し,解析する。 本稿では,パラメータと潜伏変数の空間内で共同で進化する拡散過程を提案する。 統計モデルのパラメータを推定する実用的なアルゴリズムとして,この拡散について2つの明確な考察を行う。
  論文  参考訳（メタデータ） (2024-07-08T09:52:46Z)
• Noise-Free Sampling Algorithms via Regularized Wasserstein Proximals [3.4240632942024685]
  ポテンシャル関数が支配する分布からサンプリングする問題を考察する。 本研究は, 決定論的な楽譜に基づくMCMC法を提案し, 粒子に対する決定論的進化をもたらす。
  論文  参考訳（メタデータ） (2023-08-28T23:51:33Z)
• Training normalizing flows with computationally intensive target probability distributions [0.018416014644193065]
  本稿では,REINFORCEアルゴリズムに基づく流れの正規化のための推定器を提案する。 ウォールタイムでは最大10倍高速で、最大30%のメモリを必要とする。
  論文  参考訳（メタデータ） (2023-08-25T10:40:46Z)
• Statistical Efficiency of Score Matching: The View from Isoperimetry [96.65637602827942]
  本研究では, スコアマッチングの統計的効率と推定される分布の等尺性との間に, 密接な関係を示す。 これらの結果はサンプル状態と有限状態の両方で定式化する。
  論文  参考訳（メタデータ） (2022-10-03T06:09:01Z)
• Learning Optimal Flows for Non-Equilibrium Importance Sampling [13.469239537683299]
  簡単なベース分布からサンプルを生成し,速度場によって生成された流れに沿って移動し,これらの流れに沿って平均を実行する手法を開発した。 理論面では、ターゲットに対する速度場を調整し、提案した推定器が完全推定器となる一般的な条件を確立する方法について論じる。 計算面では、ニューラルネットワークによる速度場を表現するためにディープラーニングを使用して、ゼロ分散最適化に向けて学習する方法を示す。
  論文  参考訳（メタデータ） (2022-06-20T17:25:26Z)
• Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
  正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。 一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
  論文  参考訳（メタデータ） (2022-02-23T06:11:49Z)
• Near-optimal estimation of smooth transport maps with kernel sums-of-squares [81.02564078640275]
  滑らかな条件下では、2つの分布の間の正方形ワッサーシュタイン距離は、魅力的な統計的誤差上界で効率的に計算できる。 生成的モデリングのような応用への関心の対象は、基礎となる最適輸送写像である。 そこで本研究では,地図上の統計的誤差であるL2$が,既存のミニマックス下限値とほぼ一致し,スムーズな地図推定が可能となる最初のトラクタブルアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-12-03T13:45:36Z)
• Density Ratio Estimation via Infinitesimal Classification [85.08255198145304]
  そこで我々は, DRE-inftyを提案する。 DRE-inftyは, 密度比推定(DRE)を, より簡単なサブプロブレムに還元する手法である。 モンテカルロ法にインスパイアされ、中間ブリッジ分布の無限連続体を介して2つの分布の間を滑らかに補間する。 提案手法は,複雑な高次元データセット上での相互情報推定やエネルギーベースモデリングなどの下流タスクにおいて良好に動作することを示す。
  論文  参考訳（メタデータ） (2021-11-22T06:26:29Z)
• Variational Transport: A Convergent Particle-BasedAlgorithm for Distributional Optimization [106.70006655990176]
  分散最適化問題は機械学習や統計学で広く発生する。 本稿では,変分輸送と呼ばれる粒子に基づく新しいアルゴリズムを提案する。 目的関数がpolyak-Lojasiewicz (PL) (Polyak, 1963) の機能バージョンと滑らかな条件を満たすとき、変分輸送は線形に収束することを示す。
  論文  参考訳（メタデータ） (2020-12-21T18:33:13Z)
• Minimax Optimal Estimation of KL Divergence for Continuous Distributions [56.29748742084386]
  Kullback-Leibler の同一および独立に分布するサンプルからの発散は、様々な領域において重要な問題である。 単純で効果的な推定器の1つは、これらのサンプル間の近辺 k に基づいている。
  論文  参考訳（メタデータ） (2020-02-26T16:37:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。