論文の概要: Exact Langevin Dynamics with Stochastic Gradients

• arxiv url: http://arxiv.org/abs/2102.01691v1
• Date: Tue, 2 Feb 2021 18:59:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2021-02-04 00:24:32.732107
• Title: Exact Langevin Dynamics with Stochastic Gradients
• Title（参考訳）: 確率勾配を持つ正確なランゲビンダイナミクス
• Authors: Adri\`a Garriga-Alonso and Vincent Fortuin
• Abstract要約: 勾配マルコフ連鎖モンテカルロアルゴリズムは近似推論のための一般的なサンプリングであるが、一般に偏りがある。 これらの手法の最近の多くのバージョンはメトロポリス・ハスティングス・リジェクション・サンプリングを用いて修正できない。 我々は、Gradient-Guided Monte Carlo (Horowitz, 1991)のような、実現可能な後方軌跡を持つサンプルを用いてこれを修正できる。 このサンプルは勾配で使用することができ、複数のステップにわたって計算できる非ゼロ受容確率が得られることを示す。
• 参考スコア（独自算出の注目度）: 4.020523898765405
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Stochastic gradient Markov Chain Monte Carlo algorithms are popular samplers for approximate inference, but they are generally biased. We show that many recent versions of these methods (e.g. Chen et al. (2014)) cannot be corrected using Metropolis-Hastings rejection sampling, because their acceptance probability is always zero. We can fix this by employing a sampler with realizable backwards trajectories, such as Gradient-Guided Monte Carlo (Horowitz, 1991), which generalizes stochastic gradient Langevin dynamics (Welling and Teh, 2011) and Hamiltonian Monte Carlo. We show that this sampler can be used with stochastic gradients, yielding nonzero acceptance probabilities, which can be computed even across multiple steps.
• Abstract（参考訳）: 確率勾配マルコフチェーンモンテカルロアルゴリズムは近似推論のための一般的なサンプラーであるが、一般的に偏見がある。 これらの方法の最近のバージョンの多くを示しています(例)。 チェンら。 (2014) は、受け入れ確率が常にゼロであるため、メトロポリス・ハスティングによる拒絶サンプリングでは修正できない。 確率勾配Langevinダイナミクス(Welling and Teh, 2011)とハミルトンモンテカルロを一般化するGradient-Guided Monte Carlo (Horowitz, 1991)のような、実現可能な後方方向の軌道を持つサンプラーを使用することで、これを修正できます。 このサンプルは確率勾配で使用することができ、複数のステップにわたって計算できる非ゼロ受容確率が得られることを示す。

関連論文リスト

• Limit Theorems for Stochastic Gradient Descent with Infinite Variance [47.87144151929621]
  この勾配降下アルゴリズムは、適切なL'evy過程によって駆動されるオルンシュタイン-ルンシュタイン過程の定常分布として特徴付けられることを示す。 また、これらの結果の線形回帰モデルおよびロジスティック回帰モデルへの応用についても検討する。
  論文  参考訳（メタデータ） (2024-10-21T09:39:10Z)
• von Mises Quasi-Processes for Bayesian Circular Regression [57.88921637944379]
  円値ランダム関数上の表現的および解釈可能な分布の族を探索する。 結果の確率モデルは、統計物理学における連続スピンモデルと関係を持つ。 後続推論のために、高速マルコフ連鎖モンテカルロサンプリングに寄与するストラトノビッチのような拡張を導入する。
  論文  参考訳（メタデータ） (2024-06-19T01:57:21Z)
• Unbiased Kinetic Langevin Monte Carlo with Inexact Gradients [0.8749675983608172]
  動力学的ランゲヴィンダイナミクスに基づく後進手段の非バイアス化手法を提案する。 提案した推定器は偏りがなく、有限分散となり、中心極限定理を満たす。 以上の結果から、大規模アプリケーションでは、非バイアスアルゴリズムは「ゴールドスタンダード」なハミルトニアン・モンテカルロよりも2～3桁効率が良いことが示された。
  論文  参考訳（メタデータ） (2023-11-08T21:19:52Z)
• Langevin Quasi-Monte Carlo [6.146093081175471]
  ランゲヴィン・モンテカルロ(LMC)とその勾配バージョンは複雑な高次元分布からサンプリングする強力なアルゴリズムである。 準ランダムサンプルを用いてLCCの推定誤差を低減できることを示す。
  論文  参考訳（メタデータ） (2023-09-22T07:15:18Z)
• A fast asynchronous MCMC sampler for sparse Bayesian inference [10.535140830570256]
  本稿では,非常に高速なマルコフ・チェイン・モンテカルロ(MCMC)サンプリングフレームワークを提案する。 本研究では, 高次元線形回帰問題において, 提案アルゴリズムで生成したマルコフ連鎖は, 主信号の正確な復元を行う不変分布を持つことを示す。
  論文  参考訳（メタデータ） (2021-08-14T02:20:49Z)
• Oops I Took A Gradient: Scalable Sampling for Discrete Distributions [53.3142984019796]
  このアプローチは、多くの困難な設定において、ジェネリックサンプリングよりも優れていることを示す。 また,高次元離散データを用いた深部エネルギーモデルトレーニングのための改良型サンプリング器についても実演した。
  論文  参考訳（メタデータ） (2021-02-08T20:08:50Z)
• Carath\'eodory Sampling for Stochastic Gradient Descent [79.55586575988292]
  本稿では,Tchakaloff と Carath'eodory の古典的な結果から着想を得た手法を提案する。 我々は、測定値の低減を行う降下ステップを適応的に選択する。 これをBlock Coordinate Descentと組み合わせることで、測定の削減を極めて安価に行えるようにします。
  論文  参考訳（メタデータ） (2020-06-02T17:52:59Z)
• Efficiently Sampling Functions from Gaussian Process Posteriors [76.94808614373609]
  高速後部サンプリングのための簡易かつ汎用的なアプローチを提案する。 分離されたサンプルパスがガウス過程の後部を通常のコストのごく一部で正確に表現する方法を実証する。
  論文  参考訳（メタデータ） (2020-02-21T14:03:16Z)
• Targeted stochastic gradient Markov chain Monte Carlo for hidden Markov models with rare latent states [48.705095800341944]
  隠れマルコフモデルのためのマルコフ連鎖モンテカルロ (MCMC) アルゴリズムは、しばしば前向きのサンプリング器に依存する。 これにより、時系列の長さが増加するにつれて計算が遅くなり、サブサンプリングベースのアプローチの開発が動機となる。 本稿では,パラメータの勾配を計算する際に,希少な潜伏状態に対応するオーバーサンプリング観測を対象とするサブサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2018-10-31T17:44:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。