論文の概要: Optimal Thinning of MCMC Output
- arxiv url: http://arxiv.org/abs/2005.03952v5
- Date: Tue, 11 Jan 2022 11:21:12 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-05 13:09:47.439989
- Title: Optimal Thinning of MCMC Output
- Title(参考訳): MCMC出力の最適薄膜化
- Authors: Marina Riabiz, Wilson Chen, Jon Cockayne, Pawel Swietach, Steven A.
Niederer, Lester Mackey, Chris. J. Oates
- Abstract要約: サンプルパスから固定基数のある状態の部分集合を振り返って選択する問題を考察する。
重圧縮を必要とする問題に適した,カーネルの差分最小化に基づく新しい手法を提案する。
- 参考スコア(独自算出の注目度): 18.177473712344565
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The use of heuristics to assess the convergence and compress the output of
Markov chain Monte Carlo can be sub-optimal in terms of the empirical
approximations that are produced. Typically a number of the initial states are
attributed to "burn in" and removed, whilst the remainder of the chain is
"thinned" if compression is also required. In this paper we consider the
problem of retrospectively selecting a subset of states, of fixed cardinality,
from the sample path such that the approximation provided by their empirical
distribution is close to optimal. A novel method is proposed, based on greedy
minimisation of a kernel Stein discrepancy, that is suitable for problems where
heavy compression is required. Theoretical results guarantee consistency of the
method and its effectiveness is demonstrated in the challenging context of
parameter inference for ordinary differential equations. Software is available
in the Stein Thinning package in Python, R and MATLAB.
- Abstract(参考訳): マルコフ連鎖モンテカルロの出力の収束と圧縮を評価するためのヒューリスティックスの使用は、生成される経験的近似の観点からは、準最適である。
典型的には、初期状態のいくつかは「燃え尽きる」とされ除去されるが、圧縮も必要であれば残りの鎖は「薄められる」。
本稿では,実験分布から得られる近似が最適に近いようなサンプルパスから,固定濃度を持つ状態の部分集合を遡及的に選択する問題を考察する。
重圧縮を必要とする問題に適合するカーネルSteinの差分最小化に基づく新しい手法を提案する。
一般微分方程式に対するパラメータ推論の難解な文脈において, この手法の有効性を理論的に保証する。
ソフトウェアは、Python、R、MATLABのStein Thinningパッケージで利用可能である。
関連論文リスト
- Variance Reduction and Low Sample Complexity in Stochastic Optimization
via Proximal Point Method [5.025654873456757]
本論文は,提案手法の収束性に関する高い確率保証を得るために,低サンプリング複雑性を確立する。
近位サブプロブレムを解くためにサブルーチンが開発され、分散還元のための新しい技術としても機能する。
論文 参考訳(メタデータ) (2024-02-14T07:34:22Z) - An Inexact Halpern Iteration with Application to Distributionally Robust
Optimization [9.529117276663431]
決定論的および決定論的収束設定におけるスキームの不正確な変種について検討する。
不正確なスキームを適切に選択することにより、(予想される)剰余ノルムの点において$O(k-1)収束率を許容することを示す。
論文 参考訳(メタデータ) (2024-02-08T20:12:47Z) - Accelerating Distributed Stochastic Optimization via Self-Repellent
Random Walks [11.3631620309434]
エージェントのネットワークをランダムウォーク方式で横断するトークンによって勾配をサンプリングする分散最適化アルゴリズムの一群について検討する。
我々は、正則線型マルコフトークンを非線形マルコフ連鎖、すなわち自己推進ラドムウォーク(SRRW)に従うものに置き換えることで、新しいアプローチをとる。
結果のSA-SRRWの最適化誤差はほぼ確実にゼロに収束し、中心極限定理を証明する。
論文 参考訳(メタデータ) (2024-01-18T00:50:37Z) - First Order Methods with Markovian Noise: from Acceleration to
Variational Inequalities [114.69800889030142]
本稿では,一階変分法の理論解析のための統一的アプローチを提案する。
提案手法は非線形勾配問題とモンテカルロの強い問題の両方をカバーする。
凸法最適化問題の場合、オラクルに強く一致するような境界を与える。
論文 参考訳(メタデータ) (2023-05-25T11:11:31Z) - Langevin Monte Carlo for Contextual Bandits [72.00524614312002]
Langevin Monte Carlo Thompson Sampling (LMC-TS) が提案されている。
提案アルゴリズムは,文脈的帯域幅の特別な場合において,最高のトンプソンサンプリングアルゴリズムと同じサブ線形残差を達成できることを示す。
論文 参考訳(メタデータ) (2022-06-22T17:58:23Z) - Faster One-Sample Stochastic Conditional Gradient Method for Composite
Convex Minimization [61.26619639722804]
滑らかで非滑らかな項の和として形成される凸有限サム目標を最小化するための条件勾配法(CGM)を提案する。
提案手法は, 平均勾配 (SAG) 推定器を備え, 1回に1回のサンプルしか必要としないが, より高度な分散低減技術と同等の高速収束速度を保証できる。
論文 参考訳(メタデータ) (2022-02-26T19:10:48Z) - Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。
我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。
MRP のサブクラスに対する minimax の下位境界を証明する。
論文 参考訳(メタデータ) (2021-09-24T14:48:20Z) - On Stochastic Moving-Average Estimators for Non-Convex Optimization [105.22760323075008]
本稿では,移動平均(SEMA)問題に基づく広く利用されている推定器のパワーを実証する。
これらすべてのアートな結果に対して、これらのアートな問題に対する結果も提示します。
論文 参考訳(メタデータ) (2021-04-30T08:50:24Z) - Parallel Stochastic Mirror Descent for MDPs [72.75921150912556]
無限水平マルコフ決定過程(MDP)における最適政策学習の問題を考える。
リプシッツ連続関数を用いた凸プログラミング問題に対してミラー・ディクセントの変種が提案されている。
このアルゴリズムを一般の場合において解析し,提案手法の動作中に誤差を蓄積しない収束率の推定値を得る。
論文 参考訳(メタデータ) (2021-02-27T19:28:39Z) - Stacking for Non-mixing Bayesian Computations: The Curse and Blessing of
Multimodal Posteriors [8.11978827493967]
MCMCの並列実行, 変動型, モードベースの推論を用いて, できるだけ多くのモードをヒットさせる手法を提案する。
重み付き推論プロセスが真のデータを近似する例と理論的整合性を示す。
いくつかのモデルファミリで実践的な実装を示す。
論文 参考訳(メタデータ) (2020-06-22T15:26:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。