論文の概要: Enhanced SMC$^2$: Leveraging Gradient Information from Differentiable Particle Filters Within Langevin Proposals
- arxiv url: http://arxiv.org/abs/2407.17296v1
- Date: Wed, 24 Jul 2024 14:05:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-25 13:44:46.636162
- Title: Enhanced SMC$^2$: Leveraging Gradient Information from Differentiable Particle Filters Within Langevin Proposals
- Title（参考訳）: 拡張SMC$^2$:Langevin提案における微分可能な粒子フィルタからの勾配情報の活用
- Authors: Conor Rosato, Joshua Murphy, Alessandro Varsi, Paul Horridge, Simon Maskell,
- Abstract要約: 連続モンテカルロ・スクエア (Sequential Monte Carlo Squared, SMC$2$) は、非線型、非ガウス状態空間モデルの状態とパラメータを推測できるベイズ法である。
SMC$2$の標準的なランダムウォーク提案は、特に高次元パラメータ空間において問題に直面している。
本研究では、PyTorchを用いて、共通乱数-粒子フィルタ(CRN-PF)から導出される一階勾配を利用して、新しいアプローチを概説する。
- 参考スコア（独自算出の注目度）: 41.95156859549931
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Sequential Monte Carlo Squared (SMC$^2$) is a Bayesian method which can infer the states and parameters of non-linear, non-Gaussian state-space models. The standard random-walk proposal in SMC$^2$ faces challenges, particularly with high-dimensional parameter spaces. This study outlines a novel approach by harnessing first-order gradients derived from a Common Random Numbers - Particle Filter (CRN-PF) using PyTorch. The resulting gradients can be leveraged within a Langevin proposal without accept/reject. Including Langevin dynamics within the proposal can result in a higher effective sample size and more accurate parameter estimates when compared with the random-walk. The resulting algorithm is parallelized on distributed memory using Message Passing Interface (MPI) and runs in $\mathcal{O}(\log_2N)$ time complexity. Utilizing 64 computational cores we obtain a 51x speed-up when compared to a single core. A GitHub link is given which provides access to the code.
- Abstract（参考訳）: シークエンシャルモンテカルロ・スクエア (Sequential Monte Carlo Squared, SMC$^2$) は、非線型、非ガウス的状態空間モデルの状態とパラメータを推測できるベイズ的手法である。
SMC$^2$の標準的なランダムウォーク提案は、特に高次元パラメータ空間において問題に直面している。
本研究では、PyTorchを用いて、共通乱数-粒子フィルタ(CRN-PF)から導出される一階勾配を利用して、新しいアプローチを概説する。
結果として得られる勾配は、Accept/rejectなしでLangevinの提案内で利用することができる。
この提案にランゲヴィン力学を含めると、ランダムウォークと比較すると、より効果的なサンプルサイズとより正確なパラメータ推定が得られる。
得られたアルゴリズムは、Message Passing Interface (MPI)を使用して分散メモリ上で並列化され、$\mathcal{O}(\log_2N)$ time complexityで実行される。
64コアを使用すると、単一のコアと比較して51倍のスピードアップが得られる。
コードへのアクセスを提供するGitHubリンクが提供される。
関連論文リスト
- Projection by Convolution: Optimal Sample Complexity for Reinforcement Learning in Continuous-Space MDPs [56.237917407785545]
本稿では,円滑なベルマン作用素を持つ連続空間マルコフ決定過程(MDP)の一般クラスにおいて,$varepsilon$-optimal Policyを学習する問題を考察する。
我々のソリューションの鍵となるのは、調和解析のアイデアに基づく新しい射影技術である。
我々の結果は、連続空間 MDP における2つの人気と矛盾する視点のギャップを埋めるものである。
論文 参考訳（メタデータ） (2024-05-10T09:58:47Z) - Some Notes on the Sample Complexity of Approximate Channel Simulation [2.4554686192257424]
チャネルシミュレーションアルゴリズムは、所定のターゲット分布のランダムサンプルを$Q$で効率的にエンコードし、機械学習ベースの損失データ圧縮における応用を見つけることができる。
本稿では,固定ランタイムを用いた近似スキームについて考察する。
D_KL[Q Vert P] + o(1)) Big/epsilonbigのみのサンプル複雑さで、$mathrmTV[Q Vert P] leq epsilon$を確保し、最適な符号化性能を維持するために、グローバルバウンドの深度制限A*符号化を利用する。
論文 参考訳（メタデータ） (2024-05-07T14:44:41Z) - Mirror Descent Algorithms with Nearly Dimension-Independent Rates for
Differentially-Private Stochastic Saddle-Point Problems [6.431793114484429]
多面体設定における微分プライベートなサドル点の問題を解くために、$sqrtlog(d)/sqrtn + log(d)/[nvarepsilon]2/5$を提案する。
我々のアルゴリズムは、一定の成功率で$sqrtlog(d)/sqrtn + log(d)/[nvarepsilon]2/5$に達することを示す。
論文 参考訳（メタデータ） (2024-03-05T12:28:00Z) - Some Constructions of Private, Efficient, and Optimal $K$-Norm and Elliptic Gaussian Noise [54.34628844260993]
微分プライベートな計算は、しばしば$d$次元統計学の感度に束縛されて始まる。
純粋な微分プライバシーのために、$K$-normメカニズムは統計学の感度空間に合わせた規範を用いてこのアプローチを改善することができる。
本稿では,総和,数,投票の単純な統計量について両問題を解く。
論文 参考訳（メタデータ） (2023-09-27T17:09:36Z) - Pseudonorm Approachability and Applications to Regret Minimization [73.54127663296906]
我々は、高次元 $ell_infty$-approachability 問題を、低次元の擬ノルムアプローチ可能性問題に変換する。
我々は、$ell$や他のノルムに対するアプローチ可能性に関する以前の研究に類似した疑似ノルムアプローチ可能性のアルゴリズム理論を開発する。
論文 参考訳（メタデータ） (2023-02-03T03:19:14Z) - Optimal Gradient Sliding and its Application to Distributed Optimization
Under Similarity [121.83085611327654]
積 $r:=p + q$, ここで$r$は$mu$-strong convex類似性である。
エージェントの通信やローカルコールにマスターされた問題を解決する方法を提案する。
提案手法は$mathcalO(sqrtL_q/mu)$法よりもはるかにシャープである。
論文 参考訳（メタデータ） (2022-05-30T14:28:02Z) - Computationally Efficient Horizon-Free Reinforcement Learning for Linear
Mixture MDPs [111.75736569611159]
線形混合MDPのための計算効率のよい初めての地平線フリーアルゴリズムを提案する。
我々のアルゴリズムは、未知の遷移力学に対する重み付き最小二乗推定器に適応する。
これにより、$sigma_k2$'sが知られているときに、この設定で最もよく知られたアルゴリズムも改善される。
論文 参考訳（メタデータ） (2022-05-23T17:59:18Z) - Kernel Packet: An Exact and Scalable Algorithm for Gaussian Process
Regression with Mat\'ern Correlations [23.560067934682294]
マタン相関を用いた1次元ガウス過程回帰のための正確でスケーラブルなアルゴリズムを開発した。
提案アルゴリズムは,計算時間と予測精度の両方において,既存の代替手法よりもはるかに優れている。
論文 参考訳（メタデータ） (2022-03-07T03:30:35Z) - De-Sequentialized Monte Carlo: a parallel-in-time particle smoother [3.97478982737167]
我々は、$mathcalO(log T)$ timeで$T$観測を処理できる新しい粒子スムーズなdSMC(de-Sequentialized Monte Carlo)を提案する。
これは標準粒子スムースラーと比較してよいが、その複雑さは$T$で線型である。
また、dSMCに基づく粒子ギブスサンプリングを設計し、並列ハードウェアで$mathcalO(log(T))$コストで状態空間モデルでパラメータ推論を行うことができる。
論文 参考訳（メタデータ） (2022-02-04T17:46:32Z) - Fast and Scalable Spike and Slab Variable Selection in High-Dimensional
Gaussian Processes [12.667478571732449]
任意の異なるカーネルで抽出可能なスパイクとスラブGPの高速かつスケーラブルな変分推論アルゴリズムを開発した。
実験では、同様のランタイムを維持しながら、バニラおよびスパース変分GPを一貫して上回ります。
論文 参考訳（メタデータ） (2021-11-08T15:13:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。