論文の概要: Stochastic automatic differentiation for Monte Carlo processes
- arxiv url: http://arxiv.org/abs/2307.15406v1
- Date: Fri, 28 Jul 2023 08:59:01 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-31 13:11:08.620929
- Title: Stochastic automatic differentiation for Monte Carlo processes
- Title（参考訳）: モンテカルロ過程の確率的自動微分
- Authors: Guilherme Catumba, Alberto Ramos, Bryan Zaldivar
- Abstract要約: 自動微分法(AD)のモンテカルロプロセスへの拡張について検討する。
ハミルトン的アプローチは、再重み付け手法の変数の変化と解釈できることを示す。
- 参考スコア（独自算出の注目度）: 1.1279808969568252
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Monte Carlo methods represent a cornerstone of computer science. They allow
to sample high dimensional distribution functions in an efficient way. In this
paper we consider the extension of Automatic Differentiation (AD) techniques to
Monte Carlo process, addressing the problem of obtaining derivatives (and in
general, the Taylor series) of expectation values. Borrowing ideas from the
lattice field theory community, we examine two approaches. One is based on
reweighting while the other represents an extension of the Hamiltonian approach
typically used by the Hybrid Monte Carlo (HMC) and similar algorithms. We show
that the Hamiltonian approach can be understood as a change of variables of the
reweighting approach, resulting in much reduced variances of the coefficients
of the Taylor series. This work opens the door to find other variance reduction
techniques for derivatives of expectation values.
- Abstract（参考訳）: モンテカルロ法はコンピュータ科学の基盤となっている。
それらは効率的な方法で高次元分布関数をサンプリングすることができる。
本稿では,モンテカルロプロセスに対する自動微分(ad)手法の拡張について検討し,期待値の導関数(および一般にテイラー級数)を得る問題に対処する。
格子場理論のコミュニティからアイデアを借用し、2つのアプローチを検討する。
1つは再重み付けに基づいており、もう1つはHybrid Monte Carlo (HMC) と類似のアルゴリズムで一般的に使用されるハミルトンアプローチの拡張を表す。
ハミルトンのアプローチは、再重み付けアプローチの変数の変化として理解でき、結果としてテイラー級数の係数の分散が大幅に減少することを示した。
この研究は、期待値の微分に対する他の分散還元手法を見つけるための扉を開く。
関連論文リスト
- A Stein Gradient Descent Approach for Doubly Intractable Distributions [5.63014864822787]
そこで本研究では,2重に抽出可能な分布を推定するために,モンテカルロ・スタイン変分勾配勾配(MC-SVGD)法を提案する。
提案手法は,後続分布に匹敵する推論性能を提供しながら,既存のアルゴリズムよりもかなりの計算ゲインを達成する。
論文 参考訳（メタデータ） (2024-10-28T13:42:27Z) - von Mises Quasi-Processes for Bayesian Circular Regression [57.88921637944379]
円値ランダム関数上の表現的および解釈可能な分布の族を探索する。
結果の確率モデルは、統計物理学における連続スピンモデルと関係を持つ。
後続推論のために、高速マルコフ連鎖モンテカルロサンプリングに寄与するストラトノビッチのような拡張を導入する。
論文 参考訳（メタデータ） (2024-06-19T01:57:21Z) - Logistic Variational Bayes Revisited [1.256245863497516]
変分ロジスティック回帰はベイズ近似の一般的な方法である。
エビデンス・ロウアー・バウンド(英語版)の難易度のため、著者はモンテカルロ(英語版)の使用、すなわち二次的あるいは境界を推論に用いた。
本稿では,ソフトプラス関数の期待値に対する新たなバウンダリを提案する。
我々は,この境界が最先端技術よりも厳密であり,その結果の変動後部が最先端技術の性能を達成することを示す。
論文 参考訳（メタデータ） (2024-06-02T11:32:28Z) - Variational Laplace Autoencoders [53.08170674326728]
変分オートエンコーダは、遅延変数の後部を近似するために、償却推論モデルを用いる。
完全分解ガウス仮定の限定的後部表現性に対処する新しい手法を提案する。
また、深部生成モデルのトレーニングのための変分ラプラスオートエンコーダ(VLAE)という一般的なフレームワークも提示する。
論文 参考訳（メタデータ） (2022-11-30T18:59:27Z) - Recursive Monte Carlo and Variational Inference with Auxiliary Variables [64.25762042361839]
再帰的補助変数推論(RAVI)はフレキシブルな提案を利用するための新しいフレームワークである。
RAVIは、表現力のある表現力のある家族を推論するためのいくつかの既存の手法を一般化し、統一する。
RAVIの設計枠組みと定理を,SalimansらによるMarkov Chain Variational Inferenceを用いて解析し,改良することにより示す。
論文 参考訳（メタデータ） (2022-03-05T23:52:40Z) - q-Paths: Generalizing the Geometric Annealing Path using Power Means [51.73925445218366]
我々は、幾何学と算術の混合を特別なケースとして含むパスのファミリーである$q$-pathsを紹介した。
幾何経路から離れた小さな偏差がベイズ推定に経験的利得をもたらすことを示す。
論文 参考訳（メタデータ） (2021-07-01T21:09:06Z) - A Discrete Variational Derivation of Accelerated Methods in Optimization [68.8204255655161]
最適化のための異なる手法を導出できる変分法を導入する。
我々は1対1の対応において最適化手法の2つのファミリを導出する。
自律システムのシンプレクティシティの保存は、ここでは繊維のみに行われる。
論文 参考訳（メタデータ） (2021-06-04T20:21:53Z) - Machine Learning and Variational Algorithms for Lattice Field Theory [1.198562319289569]
格子量子場論の研究において、格子理論を定義するパラメータは連続体物理学にアクセスする臨界性に向けて調整されなければならない。
経路積分の領域に適用される輪郭変形に基づいてモンテカルロ推定器を「変形」する手法を提案する。
我々は,フローベースMCMCが臨界減速を緩和し,オブザーシフォールドが原理的応用のばらつきを指数関数的に低減できることを実証した。
論文 参考訳（メタデータ） (2021-06-03T16:37:05Z) - Sampling Permutations for Shapley Value Estimation [1.0323063834827415]
Shapley値に基づくゲーム理論属性技術は、機械学習モデルの解釈に広く使用される。
シャプリー値の計算は置換集合上の和として表現できるので、近似のためのこれらの置換のサブセットをサンプリングする共通のアプローチである。
残念なことに、標準的なモンテカルロサンプリング法は遅い収束を示すことができ、より洗練された準モンテカルロ法は置換の空間でよく定義されていない。
論文 参考訳（メタデータ） (2021-04-25T16:44:18Z) - Sampling in Combinatorial Spaces with SurVAE Flow Augmented MCMC [83.48593305367523]
ハイブリッドモンテカルロ(Hybrid Monte Carlo)は、複素連続分布からサンプリングする強力なマルコフ連鎖モンテカルロ法である。
本稿では,SurVAEフローを用いたモンテカルロ法の拡張に基づく新しい手法を提案する。
本稿では,統計学,計算物理学,機械学習など,様々な分野におけるアルゴリズムの有効性を実証し,代替アルゴリズムと比較した改良点を考察する。
論文 参考訳（メタデータ） (2021-02-04T02:21:08Z) - Sparse Orthogonal Variational Inference for Gaussian Processes [34.476453597078894]
誘導点を用いたガウス過程に対するスパース変分近似の新しい解釈を導入する。
この定式化は既存の近似を復元し、同時に限界確率と新しい変分推論アルゴリズムのより厳密な下界を得ることができることを示す。
論文 参考訳（メタデータ） (2019-10-23T15:01:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。