論文の概要: Near-Optimal Approximations for Bayesian Inference in Function Space
- arxiv url: http://arxiv.org/abs/2502.18279v1
- Date: Tue, 25 Feb 2025 15:10:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-26 15:22:32.369418
- Title: Near-Optimal Approximations for Bayesian Inference in Function Space
- Title（参考訳）: 関数空間におけるベイズ推論の近似近似
- Authors: Veit Wild, James Wu, Dino Sejdinovic, Jeremias Knoblauch,
- Abstract要約: 再生カーネルヒルベルト空間(RKHS)上で定義されたベイズ後部に対するスケーラブルな推論アルゴリズムを提案する。
我々は、Kosambi-Karhunen-Loeve展開の最初の$M$成分への射影による無限次元ランゲヴィン拡散を近似する。
- 参考スコア（独自算出の注目度）: 13.176654901681921
- License:
- Abstract: We propose a scalable inference algorithm for Bayes posteriors defined on a reproducing kernel Hilbert space (RKHS). Given a likelihood function and a Gaussian random element representing the prior, the corresponding Bayes posterior measure $\Pi_{\text{B}}$ can be obtained as the stationary distribution of an RKHS-valued Langevin diffusion. We approximate the infinite-dimensional Langevin diffusion via a projection onto the first $M$ components of the Kosambi-Karhunen-Lo\`eve expansion. Exploiting the thus obtained approximate posterior for these $M$ components, we perform inference for $\Pi_{\text{B}}$ by relying on the law of total probability and a sufficiency assumption. The resulting method scales as $O(M^3+JM^2)$, where $J$ is the number of samples produced from the posterior measure $\Pi_{\text{B}}$. Interestingly, the algorithm recovers the posterior arising from the sparse variational Gaussian process (SVGP) (see Titsias, 2009) as a special case, owed to the fact that the sufficiency assumption underlies both methods. However, whereas the SVGP is parametrically constrained to be a Gaussian process, our method is based on a non-parametric variational family $\mathcal{P}(\mathbb{R}^M)$ consisting of all probability measures on $\mathbb{R}^M$. As a result, our method is provably close to the optimal $M$-dimensional variational approximation of the Bayes posterior $\Pi_{\text{B}}$ in $\mathcal{P}(\mathbb{R}^M)$ for convex and Lipschitz continuous negative log likelihoods, and coincides with SVGP for the special case of a Gaussian error likelihood.
- Abstract（参考訳）: 再生カーネルヒルベルト空間 (RKHS) 上で定義されたベイズ後部に対するスケーラブルな推論アルゴリズムを提案する。
事前を表す確率関数とガウスランダム要素が与えられたとき、対応するベイズ測度 $\Pi_{\text{B}}$ は、RKHS値ランゲヴィン拡散の定常分布として得られる。
我々は、Kosambi-Karhunen-Lo\eve展開の最初の$M$成分への射影による無限次元ランゲヴィン拡散を近似する。
これらの$M$成分に対して得られた近似的後部を爆発させ、全確率の法則と十分仮定を頼りに$\Pi_{\text{B}}$の推論を行う。
結果のメソッドは$O(M^3+JM^2)$とスケールし、$J$は後続測度$\Pi_{\text{B}}$から生成されるサンプルの数である。
興味深いことに、このアルゴリズムはスパース変分ガウス過程(SVGP)から生じる後部を特別なケースとして回復する(Titsias, 2009)。
しかしながら、SVGP はガウス過程としてパラメトリックに制約されているのに対し、我々の方法は、$\mathbb{R}^M$ 上の全ての確率測度からなる非パラメトリックな変動族 $\mathcal{P}(\mathbb{R}^M)$ に基づいている。
その結果、この手法は、凸およびリプシッツ連続負のログ確率に対してベイズ後方の$\Pi_{\text{B}}$ in $\mathcal{P}(\mathbb{R}^M)$の最適$M$次元変動近似に確実に近づき、ガウス誤差確率の特別な場合においてSVGPと一致する。
関連論文リスト
- Outsourced diffusion sampling: Efficient posterior inference in latent spaces of generative models [65.71506381302815]
本稿では、$p(mathbfxmidmathbfy) propto p_theta(mathbfx)$ という形式の後続分布からサンプリングするコストを償却する。
多くのモデルと関心の制約に対して、ノイズ空間の後方はデータ空間の後方よりも滑らかであり、そのような償却推論に対してより快適である。
論文 参考訳（メタデータ） (2025-02-10T19:49:54Z) - Variable Selection in Convex Piecewise Linear Regression [5.366354612549172]
本稿では,凸片方向線形回帰における変数選択の解としてスパース勾配を提案する。
亜ガウス雑音下でのSpGDには非漸近局所収束解析が提供される。
論文 参考訳（メタデータ） (2024-11-04T16:19:09Z) - Log-Concave Coupling for Sampling Neural Net Posteriors [0.4604003661048266]
単一層ニューラルネットワークのサンプリングアルゴリズムを提案する。
このアルゴリズムは、後続密度の$w$と補助確率変数$xi$との結合に基づいている。
補助確率変数 $xi$ の辺密度のスコアは$w|xi$ 以上の期待値によって決定される。
論文 参考訳（メタデータ） (2024-07-26T15:05:41Z) - Projection by Convolution: Optimal Sample Complexity for Reinforcement Learning in Continuous-Space MDPs [56.237917407785545]
本稿では,円滑なベルマン作用素を持つ連続空間マルコフ決定過程(MDP)の一般クラスにおいて,$varepsilon$-optimal Policyを学習する問題を考察する。
我々のソリューションの鍵となるのは、調和解析のアイデアに基づく新しい射影技術である。
我々の結果は、連続空間 MDP における2つの人気と矛盾する視点のギャップを埋めるものである。
論文 参考訳（メタデータ） (2024-05-10T09:58:47Z) - A Unified Framework for Uniform Signal Recovery in Nonlinear Generative
Compressed Sensing [68.80803866919123]
非線形測定では、ほとんどの先行結果は一様ではない、すなわち、すべての$mathbfx*$に対してではなく、固定された$mathbfx*$に対して高い確率で保持される。
本フレームワークはGCSに1ビット/一様量子化観測と単一インデックスモデルを標準例として適用する。
また、指標集合が計量エントロピーが低い製品プロセスに対して、より厳密な境界を生み出す濃度不等式も開発する。
論文 参考訳（メタデータ） (2023-09-25T17:54:19Z) - Forward-backward Gaussian variational inference via JKO in the
Bures-Wasserstein Space [19.19325201882727]
変分推論 (VI) は、ターゲット分布の$pi$を、抽出可能な分布の族の元によって近似しようとする。
本研究では,フォワード・バック・ガウス変分推論(FB-GVI)アルゴリズムを開発し,ガウスVIを解く。
提案アルゴリズムでは,$pi$ が log-smooth かつ log-concave である場合に,最先端の収束保証が得られる。
論文 参考訳（メタデータ） (2023-04-10T19:49:50Z) - A Law of Robustness beyond Isoperimetry [84.33752026418045]
我々は、任意の分布上でニューラルネットワークパラメータを補間する頑健性の低い$Omega(sqrtn/p)$を証明した。
次に、$n=mathrmpoly(d)$のとき、スムーズなデータに対する過度なパラメータ化の利点を示す。
我々は、$n=exp(omega(d))$ のとき、$O(1)$-Lipschitz の頑健な補間関数の存在を否定する。
論文 参考訳（メタデータ） (2022-02-23T16:10:23Z) - Convergence of Sparse Variational Inference in Gaussian Processes
Regression [29.636483122130027]
計算コストが$mathcalO(log N)2D(log N)2)$の手法を推論に利用できることを示す。
論文 参考訳（メタデータ） (2020-08-01T19:23:34Z) - Convergence of Langevin Monte Carlo in Chi-Squared and Renyi Divergence [8.873449722727026]
推定値である$widetildemathcalO(depsilon-1)$が,これらの測定値の既知レートを改善することを示す。
特に凸および1次滑らかなポテンシャルについて、LCCアルゴリズムは、これらの測定値の既知率を改善するために$widetildemathcalO(depsilon-1)$を推定する。
論文 参考訳（メタデータ） (2020-07-22T18:18:28Z) - Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。
i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
論文 参考訳（メタデータ） (2020-07-16T06:44:44Z) - Linear Time Sinkhorn Divergences using Positive Features [51.50788603386766]
エントロピー正則化で最適な輸送を解くには、ベクトルに繰り返し適用される$ntimes n$ kernel matrixを計算する必要がある。
代わりに、$c(x,y)=-logdotpvarphi(x)varphi(y)$ ここで$varphi$は、地上空間から正のorthant $RRr_+$への写像であり、$rll n$である。
論文 参考訳（メタデータ） (2020-06-12T10:21:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。