論文の概要: Kernel Stein Discrepancy thinning: a theoretical perspective of
pathologies and a practical fix with regularization
- arxiv url: http://arxiv.org/abs/2301.13528v1
- Date: Tue, 31 Jan 2023 10:23:56 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-01 16:56:47.878305
- Title: Kernel Stein Discrepancy thinning: a theoretical perspective of
pathologies and a practical fix with regularization
- Title（参考訳）: kernel stein discrepancy thinning:病理学の理論的展望と正規化による実際的修正
- Authors: Cl\'ement B\'enard, Brian Staber, S\'ebastien Da Veiga (CREST)
- Abstract要約: Stein Thinning は (Riabiz et al., 2022) によって提案された Markov chain Monte Carlo (MCMC) の後処理出力に対する有望なアルゴリズムである。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Stein thinning is a promising algorithm proposed by (Riabiz et al., 2022) for
post-processing outputs of Markov chain Monte Carlo (MCMC). The main principle
is to greedily minimize the kernelized Stein discrepancy (KSD), which only
requires the gradient of the log-target distribution, and is thus well-suited
for Bayesian inference. The main advantages of Stein thinning are the automatic
remove of the burn-in period, the correction of the bias introduced by recent
MCMC algorithms, and the asymptotic properties of convergence towards the
target distribution. Nevertheless, Stein thinning suffers from several
empirical pathologies, which may result in poor approximations, as observed in
the literature. In this article, we conduct a theoretical analysis of these
pathologies, to clearly identify the mechanisms at stake, and suggest improved
strategies. Then, we introduce the regularized Stein thinning algorithm to
alleviate the identified pathologies. Finally, theoretical guarantees and
extensive experiments show the high efficiency of the proposed algorithm.
- Abstract（参考訳）: Stein Thinning は (Riabiz et al., 2022) がマルコフ連鎖モンテカルロ (MCMC) のポストプロセッシング出力に対して提案した有望なアルゴリズムである。
主な原理は、ログターゲット分布の勾配だけを必要とする核化されたスタイン差分(KSD)を強引に最小化することであり、したがってベイズ推定に適している。
スタイン薄型化の主な利点は、バーンイン期間の自動除去、最近のMCMCアルゴリズムによるバイアスの補正、および目標分布に対する収束の漸近特性である。
それでも、スタインの薄型化はいくつかの経験的病理に悩まされ、文献で見られるように、近似が貧弱になる可能性がある。
本稿では,これらの病理を理論的に解析し,関連するメカニズムを明確に同定し,改善戦略を提案する。
次に, 同定された病理を緩和する正則化スタインシンキングアルゴリズムを導入する。
最後に、理論的な保証と広範な実験により、提案アルゴリズムの高効率性を示す。
関連論文リスト
- Model-Based Reparameterization Policy Gradient Methods: Theory and
Practical Algorithms [88.74308282658133]
Reization (RP) Policy Gradient Methods (PGM) は、ロボット工学やコンピュータグラフィックスにおける連続的な制御タスクに広く採用されている。
近年の研究では、長期強化学習問題に適用した場合、モデルベースRP PGMはカオス的かつ非滑らかな最適化環境を経験する可能性があることが示されている。
本稿では,長期モデルアンロールによる爆発的分散問題を緩和するスペクトル正規化法を提案する。
論文 参考訳（メタデータ） (2023-10-30T18:43:21Z) - Monte Carlo Neural PDE Solver for Learning PDEs via Probabilistic Representation [59.45669299295436]
教師なしニューラルソルバのトレーニングのためのモンテカルロPDEソルバを提案する。
我々は、マクロ現象をランダム粒子のアンサンブルとみなすPDEの確率的表現を用いる。
対流拡散, アレン・カーン, ナヴィエ・ストークス方程式に関する実験により, 精度と効率が著しく向上した。
論文 参考訳（メタデータ） (2023-02-10T08:05:19Z) - Posterior Coreset Construction with Kernelized Stein Discrepancy for
Model-Based Reinforcement Learning [78.30395044401321]
我々は、強化学習(MBRL)のための新しいモデルベースアプローチを開発する。
ターゲット遷移モデルの仮定を緩和し、混合モデルの一般的な族に属する。
連続的な制御環境では、壁時計の時間を最大50%削減することができる。
論文 参考訳（メタデータ） (2022-06-02T17:27:49Z) - Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。
我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。
MRP のサブクラスに対する minimax の下位境界を証明する。
論文 参考訳（メタデータ） (2021-09-24T14:48:20Z) - Differentiable Annealed Importance Sampling and the Perils of Gradient
Noise [68.44523807580438]
Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。
差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。
我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
論文 参考訳（メタデータ） (2021-07-21T17:10:14Z) - Kernel Stein Discrepancy Descent [16.47373844775953]
Kernel Stein Discrepancy (KSD) は近年注目されている。
我々は、目標確率分布を$mathbbRd$上で近似するために、ワッサーシュタイン勾配流の特性について検討する。
これにより、直接実装可能な決定論的スコアベースのメソッドが、$pi$、KSD Descentからサンプリングされる。
論文 参考訳（メタデータ） (2021-05-20T19:05:23Z) - Stein Variational Gradient Descent: many-particle and long-time
asymptotics [0.0]
スタイン変動勾配降下 (SVGD) は相互作用する粒子系に基づくベイズ推論の方法のクラスを指す。
ステイン幾何学の余接空間構成を開発し,その基本的な性質を証明し,多粒子極限を規定する大退化汎関数を決定する。
Stein-Fisherの情報は、長期および多粒子体制における主要な注文貢献として識別されます。
論文 参考訳（メタデータ） (2021-02-25T16:03:04Z) - Continuous Wasserstein-2 Barycenter Estimation without Minimax
Optimization [94.18714844247766]
ワッサーシュタイン・バリセンターは、最適輸送に基づく確率測度の重み付き平均の幾何学的概念を提供する。
本稿では,Wasserstein-2 バリセンタのサンプルアクセスを演算するスケーラブルなアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-02-02T21:01:13Z) - Annealed Stein Variational Gradient Descent [4.020523898765405]
スタイン変動勾配降下は、その柔軟性と精度の近似文献推論において注目されている。
本手法は,マルチモーダル分布から試料を採取する能力を実験的に検討し, (i) 粒子が局所モードから脱出できないこと, (ii) 異なる領域の密度を再現できないこと, という2つの重要な問題に注目する。
論文 参考訳（メタデータ） (2021-01-24T22:18:30Z) - Sliced Kernelized Stein Discrepancy [17.159499204595527]
Kernelized Stein discrepancy (KSD) は、良質なテストやモデル学習に広く用いられている。
最適一次元射影上に定義されたカーネルベースのテスト関数を用いるスライスされたスタイン差分とそのスケーラブルでカーネル化された変種を提案する。
モデル学習においては,異なる相違点を持つ独立成分分析モデルを訓練することにより,既存のSteinの相違点ベースラインに対してその優位性を示す。
論文 参考訳（メタデータ） (2020-06-30T04:58:55Z) - Optimal Thinning of MCMC Output [18.177473712344565]
サンプルパスから固定基数のある状態の部分集合を振り返って選択する問題を考察する。
重圧縮を必要とする問題に適した,カーネルの差分最小化に基づく新しい手法を提案する。
論文 参考訳（メタデータ） (2020-05-08T10:54:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。