論文の概要: Particle-MALA and Particle-mGRAD: Gradient-based MCMC methods for
high-dimensional state-space models
- arxiv url: http://arxiv.org/abs/2401.14868v1
- Date: Fri, 26 Jan 2024 13:52:40 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-29 15:03:50.728602
- Title: Particle-MALA and Particle-mGRAD: Gradient-based MCMC methods for
high-dimensional state-space models
- Title（参考訳）: Particle-MALA と Particle-mGRAD:高次元状態空間モデルのための勾配法MCMCMC法
- Authors: Adrien Corenflos and Axel Finke
- Abstract要約: 状態空間モデルにおけるベイズ推論の最先端手法は、条件付きシーケンシャルモンテカルロ (CSMC) アルゴリズムである。
両手法の強みを組み合わせた手法を提案する。
CSMCとParticle-MALAの間には,Particle-mGRADが補間し,CSMCとParticle-MALAの選択の「チューニング問題」を解消することが証明された。
- 参考スコア（独自算出の注目度）: 3.3489861768576197
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: State-of-the-art methods for Bayesian inference in state-space models are (a)
conditional sequential Monte Carlo (CSMC) algorithms; (b) sophisticated
'classical' MCMC algorithms like MALA, or mGRAD from Titsias and
Papaspiliopoulos (2018, arXiv:1610.09641v3 [stat.ML]). The former propose $N$
particles at each time step to exploit the model's 'decorrelation-over-time'
property and thus scale favourably with the time horizon, $T$ , but break down
if the dimension of the latent states, $D$, is large. The latter leverage
gradient-/prior-informed local proposals to scale favourably with $D$ but
exhibit sub-optimal scalability with $T$ due to a lack of model-structure
exploitation. We introduce methods which combine the strengths of both
approaches. The first, Particle-MALA, spreads $N$ particles locally around the
current state using gradient information, thus extending MALA to $T > 1$ time
steps and $N > 1$ proposals. The second, Particle-mGRAD, additionally
incorporates (conditionally) Gaussian prior dynamics into the proposal, thus
extending the mGRAD algorithm to $T > 1$ time steps and $N > 1$ proposals. We
prove that Particle-mGRAD interpolates between CSMC and Particle-MALA,
resolving the 'tuning problem' of choosing between CSMC (superior for highly
informative prior dynamics) and Particle-MALA (superior for weakly informative
prior dynamics). We similarly extend other 'classical' MCMC approaches like
auxiliary MALA, aGRAD, and preconditioned Crank-Nicolson-Langevin (PCNL) to $T
> 1$ time steps and $N > 1$ proposals. In experiments, for both highly and
weakly informative prior dynamics, our methods substantially improve upon both
CSMC and sophisticated 'classical' MCMC approaches.
- Abstract（参考訳）: 状態空間モデルにおけるベイズ推論の最先端手法
a) 条件付き逐次モンテカルロ(csmc)アルゴリズム
(b)MALAやTitsiasやPapaspiliopoulos(2018, arXiv:1610.09641v3[stat.ML])のmGRADのような洗練された「古典的」MCMCアルゴリズム。
前者は、モデルの「デコリレーション・オーバー・タイム」特性を利用するために各時間ステップで$N$粒子を提案し、したがって時間地平線である$T$と好意的にスケールするが、潜在状態の次元である$D$が大きければ分解する。
後者はグラデーション/プリエンプティブなローカル提案を活用して$D$でスケールするが、モデル構造利用の欠如により$T$でサブ最適スケーラビリティを示す。
両アプローチの強みを結合する手法を提案する。
最初のParticle-MALAは、勾配情報を用いて現在の状態にN$の粒子を局所的に拡散し、MALAを1$の時間ステップと1$の提案に拡張する。
第2の particle-mgrad は(条件付きで)ガウスの事前ダイナミクスを提案に取り入れ、mgrad アルゴリズムを $t > 1$ の時間ステップと $n > 1$ の提案に拡張する。
我々は,csmcと粒子malaの間に粒子mgradが補間し,csmc(高情報優先動力学)と粒子mala(弱情報先行動力学)の「調律問題」を解決することを証明した。
同様に、補助的MALA、aGRAD、プレコンディション付きCrank-Nicolson-Langevin(PCNL)などの「古典的」MCMCアプローチを、時間ステップ1ドル、提案1ドルまで拡張する。
実験では,高度かつ弱情報的事前力学の両面において,CSMC法と洗練された「古典的」MCMC法の両方を改良した。
関連論文リスト
- Enhanced SMC$^2$: Leveraging Gradient Information from Differentiable Particle Filters Within Langevin Proposals [41.95156859549931]
連続モンテカルロ・スクエア (Sequential Monte Carlo Squared, SMC$2$) は、非線型、非ガウス状態空間モデルの状態とパラメータを推測できるベイズ法である。
SMC$2$の標準的なランダムウォーク提案は、特に高次元パラメータ空間において問題に直面している。
本研究では、PyTorchを用いて、共通乱数-粒子フィルタ(CRN-PF)から導出される一階勾配を利用して、新しいアプローチを概説する。
論文 参考訳（メタデータ） (2024-07-24T14:05:44Z) - Projection by Convolution: Optimal Sample Complexity for Reinforcement Learning in Continuous-Space MDPs [56.237917407785545]
本稿では,円滑なベルマン作用素を持つ連続空間マルコフ決定過程(MDP)の一般クラスにおいて,$varepsilon$-optimal Policyを学習する問題を考察する。
我々のソリューションの鍵となるのは、調和解析のアイデアに基づく新しい射影技術である。
我々の結果は、連続空間 MDP における2つの人気と矛盾する視点のギャップを埋めるものである。
論文 参考訳（メタデータ） (2024-05-10T09:58:47Z) - Orthogonal Directions Constrained Gradient Method: from non-linear
equality constraints to Stiefel manifold [16.099883128428054]
直交方向制約法(ODCGM)という新しいアルゴリズムを提案する。
ODCGMはベクトル空間へのプロジェクションのみを必要とする。
以上より, ODCGMは, ほぼ最適のオラクル複合体を呈することを示した。
論文 参考訳（メタデータ） (2023-03-16T12:25:53Z) - Reward-Mixing MDPs with a Few Latent Contexts are Learnable [75.17357040707347]
報酬混合マルコフ決定過程(RMMDP)におけるエピソード強化学習の検討
我々のゴールは、そのようなモデルにおける時間段階の累積報酬をほぼ最大化する、ほぼ最適に近いポリシーを学ぶことである。
論文 参考訳（メタデータ） (2022-10-05T22:52:00Z) - De-Sequentialized Monte Carlo: a parallel-in-time particle smoother [3.97478982737167]
我々は、$mathcalO(log T)$ timeで$T$観測を処理できる新しい粒子スムーズなdSMC(de-Sequentialized Monte Carlo)を提案する。
これは標準粒子スムースラーと比較してよいが、その複雑さは$T$で線型である。
また、dSMCに基づく粒子ギブスサンプリングを設計し、並列ハードウェアで$mathcalO(log(T))$コストで状態空間モデルでパラメータ推論を行うことができる。
論文 参考訳（メタデータ） (2022-02-04T17:46:32Z) - A New Framework for Variance-Reduced Hamiltonian Monte Carlo [88.84622104944503]
分散還元型ハミルトン・モンテカルロ法 (HMC) の新たなフレームワークを提案し,$L$-smooth および $m$-strongly log-concave 分布からサンプリングする。
本研究では,SAGA法やSVRG法をベースとした非バイアス勾配推定器を用いて,バッチサイズを小さくすることで,高い勾配効率が得られることを示す。
総合的および実世界のベンチマークデータによる実験結果から、我々の新しいフレームワークは、完全な勾配と勾配HMCアプローチを著しく上回っていることが示された。
論文 参考訳（メタデータ） (2021-02-09T02:44:24Z) - Provably Efficient Reinforcement Learning for Discounted MDPs with
Feature Mapping [99.59319332864129]
本稿では,割引決定(MDP)のための強化学習について検討する。
本稿では,特徴写像を利用した新しいアルゴリズムを提案し,$tilde O(dsqrtT/ (1-gamma)2)$ regretを求める。
以上の結果から,提案した強化学習アルゴリズムは,最大1-γ-0.5$の係数でほぼ最適であることが示唆された。
論文 参考訳（メタデータ） (2020-06-23T17:08:54Z) - Breaking the Sample Size Barrier in Model-Based Reinforcement Learning
with a Generative Model [50.38446482252857]
本稿では、生成モデル(シミュレータ)へのアクセスを想定して、強化学習のサンプル効率について検討する。
最初に$gamma$-discounted infinite-horizon Markov decision process (MDPs) with state space $mathcalS$ and action space $mathcalA$を考える。
対象の精度を考慮すれば,モデルに基づく計画アルゴリズムが最小限のサンプルの複雑さを実現するのに十分であることを示す。
論文 参考訳（メタデータ） (2020-05-26T17:53:18Z) - Generally covariant $N$-particle dynamics [0.10427337206896375]
複数の粒子の力学を同時に記述するには、外部時間パラメータを持つ構成空間アプローチが必要である。
しかし、ここでは、$N$-粒子動力学をモデル化する2つの姿勢が、一般に共変フレームワーク内で調和できることが示される。
多粒子系の力学は、グローバル時間パラメータの助けを借りて、$mathcalM_scriptstyle (N)$以上のボレル確率尺度のレベルでモデル化される。
論文 参考訳（メタデータ） (2020-04-15T11:27:18Z) - Kernel-Based Reinforcement Learning: A Finite-Time Analysis [53.47210316424326]
モデルに基づく楽観的アルゴリズムであるKernel-UCBVIを導入する。
スパース報酬を伴う連続MDPにおける我々のアプローチを実証的に検証する。
論文 参考訳（メタデータ） (2020-04-12T12:23:46Z) - Newtonian Monte Carlo: single-site MCMC meets second-order gradient
methods [1.6042895233470602]
MCMC (Single-site Markov Chain Monte Carlo) はMCMCの変種であり、状態空間内の1つの座標が各ステップで修正される。
ニュートンモンテカルロ(Newtonian Monte Carlo, NMC)は、ターゲット密度の第1次および第2次勾配を解析してMCMC収束を改善する手法である。
NMCは、各次元のステップサイズを自動的にスケールするために2階勾配を使用する最適化においてニュートン・ラフソン更新と似ている。
論文 参考訳（メタデータ） (2020-01-15T21:40:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。