論文の概要: Sampling with Mirrored Stein Operators
- arxiv url: http://arxiv.org/abs/2106.12506v1
- Date: Wed, 23 Jun 2021 16:23:34 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-24 15:28:17.185555
- Title: Sampling with Mirrored Stein Operators
- Title(参考訳): ミラードステイン演算子によるサンプリング
- Authors: Jiaxin Shi, Chang Liu, Lester Mackey
- Abstract要約: 制約領域と非ユークリッド測地に適した新しい粒子進化型試料群を紹介する。
新しいサンプリング器は、単純度上の分布を正確に近似し、選択後の推論において有効な信頼区間を提供し、以前の方法よりも高速に収束する。
- 参考スコア(独自算出の注目度): 36.37460207707895
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce a new family of particle evolution samplers suitable for
constrained domains and non-Euclidean geometries. Stein Variational Mirror
Descent and Mirrored Stein Variational Gradient Descent minimize the
Kullback-Leibler (KL) divergence to constrained target distributions by
evolving particles in a dual space defined by a mirror map. Stein Variational
Natural Gradient exploits non-Euclidean geometry to more efficiently minimize
the KL divergence to unconstrained targets. We derive these samplers from a new
class of mirrored Stein operators and adaptive kernels developed in this work.
We demonstrate that these new samplers yield accurate approximations to
distributions on the simplex, deliver valid confidence intervals in
post-selection inference, and converge more rapidly than prior methods in
large-scale unconstrained posterior inference. Finally, we establish the
convergence of our new procedures under verifiable conditions on the target
distribution.
- Abstract(参考訳): 制約領域と非ユークリッド測地に適した新しい粒子進化型試料群を紹介する。
ステイン変分ミラーDescentとミラーレッド変分グレイディエントDescentは、鏡写像で定義される双対空間における粒子の進化による制約対象分布へのクルバック・リーブラー(KL)の偏差を最小化する。
スタイン変分自然勾配は非ユークリッド幾何学を利用して、KLの非拘束対象への発散をより効率的に最小化する。
この研究で開発されたミラー化されたスタイン作用素と適応カーネルからこれらのサンプルを導出する。
これらの新しい標本は, 単純集合上の分布に正確な近似を与え, 選択後の推論において有効な信頼区間を与え, 大規模非拘束後推定において, 従来法よりも高速に収束することを示す。
最後に,対象分布の検証可能な条件下での新たな手続きの収束を確立する。
関連論文リスト
- Independent projections of diffusions: Gradient flows for variational
inference and optimal mean field approximations [0.0]
本稿では,2つの自然条件に対して最適である,独立射影(emphindependent projection)という構成を提案する。
まず、元の拡散が不変測度$rho_*$で可逆であるとき、独立射影は積測度空間に制約された相対エントロピー$H(cdot,|,rho_*)$に対するワッサーシュタイン勾配フローとして機能する。
第2に、独立な座標を持つ全てのプロセスの中で、独立射影は、元の拡散に対する経路空間エントロピーの最も遅い成長速度を示す。
論文 参考訳(メタデータ) (2023-09-23T10:33:59Z) - Chebyshev Particles [0.0]
まず、対象の後方分布を無限次元ユークリッド空間におけるサンプルの写像として考える。
重み付けされたリース分極量を最大化して、ペアの相互作用により、補正可能な部分多様体を識別する新しい基準を提案する。
我々は,合成データを用いた線形状態空間モデルと実世界のデータを用いた非線形ボラティリティモデルを用いたパラメータ推論実験により,高い性能を実現した。
論文 参考訳(メタデータ) (2023-09-10T16:40:30Z) - Metropolis Sampling for Constrained Diffusion Models [11.488860260925504]
近年,画像領域における生成モデルの主要なパラダイムとして拡散モデルが出現している。
我々は、ブラウン運動を反映した、別の単純ノルマント化スキームを導入する。
論文 参考訳(メタデータ) (2023-07-11T17:05:23Z) - Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。
本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
論文 参考訳(メタデータ) (2023-06-27T08:15:28Z) - Sampling with Mollified Interaction Energy Descent [57.00583139477843]
モーフィファイド相互作用エネルギー降下(MIED)と呼ばれる新しい最適化に基づくサンプリング手法を提案する。
MIEDは、モル化相互作用エネルギー(MIE)と呼ばれる確率測度に関する新しいクラスのエネルギーを最小化する
我々は,制約のないサンプリング問題に対して,我々のアルゴリズムがSVGDのような既存の粒子ベースアルゴリズムと同等に動作することを示す。
論文 参考訳(メタデータ) (2022-10-24T16:54:18Z) - Posterior Coreset Construction with Kernelized Stein Discrepancy for
Model-Based Reinforcement Learning [78.30395044401321]
我々は、強化学習(MBRL)のための新しいモデルベースアプローチを開発する。
ターゲット遷移モデルの仮定を緩和し、混合モデルの一般的な族に属する。
連続的な制御環境では、壁時計の時間を最大50%削減することができる。
論文 参考訳(メタデータ) (2022-06-02T17:27:49Z) - Minibatch vs Local SGD with Shuffling: Tight Convergence Bounds and
Beyond [63.59034509960994]
シャッフルに基づく変種(ミニバッチと局所ランダムリシャッフル)について検討する。
ポリアック・ロジャシエヴィチ条件を満たす滑らかな函数に対して、これらのシャッフル型不変量(英語版)(shuffling-based variants)がそれらの置換式よりも早く収束することを示す収束境界を得る。
我々は, 同期シャッフル法と呼ばれるアルゴリズムの修正を提案し, ほぼ均一な条件下では, 下界よりも収束速度が速くなった。
論文 参考訳(メタデータ) (2021-10-20T02:25:25Z) - Variational Refinement for Importance Sampling Using the Forward
Kullback-Leibler Divergence [77.06203118175335]
変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。
重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。
近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
論文 参考訳(メタデータ) (2021-06-30T11:00:24Z) - Annealed Stein Variational Gradient Descent [4.020523898765405]
スタイン変動勾配降下は、その柔軟性と精度の近似文献推論において注目されている。
本手法は,マルチモーダル分布から試料を採取する能力を実験的に検討し, (i) 粒子が局所モードから脱出できないこと, (ii) 異なる領域の密度を再現できないこと, という2つの重要な問題に注目する。
論文 参考訳(メタデータ) (2021-01-24T22:18:30Z) - Exponential ergodicity of mirror-Langevin diffusions [16.012656579770827]
我々はNewton-Langevin拡散と呼ばれる拡散のクラスを提案し、それらが指数関数的に定常性に収束することを証明した。
本研究では, 内部点法に着想を得た戦略を用いて, 凸体上の均一分布からのサンプリング問題に適用する。
論文 参考訳(メタデータ) (2020-05-19T18:00:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。