論文の概要: A Unified View of Stochastic Hamiltonian Sampling

• arxiv url: http://arxiv.org/abs/2106.16200v1
• Date: Wed, 30 Jun 2021 16:50:11 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-01 16:15:25.551244
• Title: A Unified View of Stochastic Hamiltonian Sampling
• Title（参考訳）: 確率ハミルトンサンプリングの統一的視点
• Authors: Giulio Franzese, Dimitrios Milios, Maurizio Filippone, Pietro Michiardi
• Abstract要約: この研究は、後続サンプリングのためのハミルトン微分方程式(SDE)の理論的性質を再考する。 数値SDEシミュレーションから生じる2種類の誤差について検討し, 離散化誤差と雑音勾配推定による誤差について検討した。
• 参考スコア（独自算出の注目度）: 18.300078015845262
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work, we revisit the theoretical properties of Hamiltonian stochastic differential equations (SDEs) for Bayesian posterior sampling, and we study the two types of errors that arise from numerical SDE simulation: the discretization error and the error due to noisy gradient estimates in the context of data subsampling. We consider overlooked results describing the ergodic convergence rates of numerical integration schemes, and we produce a novel analysis for the effect of mini-batches through the lens of differential operator splitting. In our analysis, the stochastic component of the proposed Hamiltonian SDE is decoupled from the gradient noise, for which we make no normality assumptions. This allows us to derive interesting connections among different sampling schemes, including the original Hamiltonian Monte Carlo (HMC) algorithm, and explain their performance. We show that for a careful selection of numerical integrators, both errors vanish at a rate $\mathcal{O}(\eta^2)$, where $\eta$ is the integrator step size. Our theoretical results are supported by an empirical study on a variety of regression and classification tasks for Bayesian neural networks.
• Abstract（参考訳）: 本研究では,ベイズ後方サンプリングにおけるハミルトン確率微分方程式(SDE)の理論的性質を再検討し,数値SDEシミュレーションから生じる2種類の誤差について検討する。 数値積分スキームのエルゴード収束率を概観した結果について考察し,微分作用素分割のレンズによるミニバッチの効果の新たな解析を行った。 解析において、提案するハミルトンSDEの確率成分は勾配雑音から分離され、正規性仮定は成立しない。 これにより、ハミルトニアンモンテカルロ (hmc) アルゴリズムを含む様々なサンプリングスキーム間の興味深い接続を導出し、それらの性能を説明することができる。 数値積分器を慎重に選択すると、両者の誤差は$\mathcal{o}(\eta^2)$で消滅し、ここで$\eta$は積分器のステップサイズである。 我々の理論結果はベイズニューラルネットワークの様々な回帰および分類タスクに関する経験的研究によって支持されている。

関連論文リスト

• HJ-sampler: A Bayesian sampler for inverse problems of a stochastic process by leveraging Hamilton-Jacobi PDEs and score-based generative models [1.949927790632678]
  本稿では,ブラウン運動文脈におけるコールホップ変換(Cole-Hopf transform)と呼ばれるログ変換に基づく。 本稿では,HJ-sampler という新しいアルゴリズムを開発し,与えられた終端観測による微分方程式の逆問題に対する推論を行う。
  論文  参考訳（メタデータ） (2024-09-15T05:30:54Z)
• Conditional score-based diffusion models for solving inverse problems in mechanics [6.319616423658121]
  条件付きスコアベース拡散モデルを用いてベイズ推定を行う枠組みを提案する。 条件付きスコアベース拡散モデルは条件分布のスコア関数を近似する生成モデルである。 メカニクスにおける高次元逆問題に対して提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-06-19T02:09:15Z)
• Noise in the reverse process improves the approximation capabilities of diffusion models [27.65800389807353]
  生成モデリングにおける最先端技術であるスコアベース生成モデリング(SGM)では、リバースプロセスは決定論的手法よりも優れた性能を発揮することが知られている。 本稿では,ニューラル常微分方程式 (ODE) とニューラルディメンション方程式 (SDE) を逆過程として比較し,この現象の核となる。 我々は、Fokker-Planck方程式の軌跡を近似するニューラルSDEの能力を解析し、ニューラルティの利点を明らかにする。
  論文  参考訳（メタデータ） (2023-12-13T02:39:10Z)
• Gaussian Mixture Solvers for Diffusion Models [84.83349474361204]
  本稿では,拡散モデルのためのGMSと呼ばれる,SDEに基づく新しい解法について紹介する。 画像生成およびストロークベース合成におけるサンプル品質の観点から,SDEに基づく多くの解法よりも優れる。
  論文  参考訳（メタデータ） (2023-11-02T02:05:38Z)
• Noise-Free Sampling Algorithms via Regularized Wasserstein Proximals [3.4240632942024685]
  ポテンシャル関数が支配する分布からサンプリングする問題を考察する。 本研究は, 決定論的な楽譜に基づくMCMC法を提案し, 粒子に対する決定論的進化をもたらす。
  論文  参考訳（メタデータ） (2023-08-28T23:51:33Z)
• Towards Convergence Rates for Parameter Estimation in Gaussian-gated Mixture of Experts [40.24720443257405]
  ガウスゲートMOEモデルにおける最大推定値(MLE)の収束解析を行う。 以上の結果から,MLEはガウスゲーティング関数の位置パラメータの2つの相補的な設定の下で異なる挙動を示すことが明らかとなった。 特に、これらの挙動は2つの異なる方程式系の可解性によって特徴づけられる。
  論文  参考訳（メタデータ） (2023-05-12T16:02:19Z)
• Capturing dynamical correlations using implicit neural representations [85.66456606776552]
  実験データから未知のパラメータを復元するために、モデルハミルトンのシミュレーションデータを模倣するために訓練されたニューラルネットワークと自動微分を組み合わせた人工知能フレームワークを開発する。 そこで本研究では, 実時間から多次元散乱データに適用可能な微分可能なモデルを1回だけ構築し, 訓練する能力について述べる。
  論文  参考訳（メタデータ） (2023-04-08T07:55:36Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector Problems [98.34292831923335]
  オンライン相関解析の問題から,emphStochastic Scaled-Gradient Descent (SSD)アルゴリズムを提案する。 我々はこれらのアイデアをオンライン相関解析に適用し、局所収束率を正規性に比例した最適な1時間スケールのアルゴリズムを初めて導いた。
  論文  参考訳（メタデータ） (2021-12-29T18:46:52Z)
• Inverting brain grey matter models with likelihood-free inference: a tool for trustable cytoarchitecture measurements [62.997667081978825]
  脳の灰白質細胞構造の特徴は、体密度と体積に定量的に敏感であり、dMRIでは未解決の課題である。 我々は新しいフォワードモデル、特に新しい方程式系を提案し、比較的スパースなb殻を必要とする。 次に,提案手法を逆転させるため,確率自由推論 (LFI) として知られるベイズ解析から最新のツールを適用した。
  論文  参考訳（メタデータ） (2021-11-15T09:08:27Z)
• Generative Modeling with Denoising Auto-Encoders and Langevin Sampling [88.83704353627554]
  DAEとDSMの両方がスムーズな人口密度のスコアを推定することを示した。 次に、この結果をarXiv:1907.05600のホモトピー法に適用し、その経験的成功を理論的に正当化する。
  論文  参考訳（メタデータ） (2020-01-31T23:50:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。