論文の概要: Fast rates in Bayesian online learning with approximate posteriors
- arxiv url: http://arxiv.org/abs/2608.25706v1
- Date: Wed, 26 Aug 2026 12:25:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-27 14:15:15.817977
- Title: Fast rates in Bayesian online learning with approximate posteriors
- Title（参考訳）: 近似後進によるベイズオンライン学習の速さ
- Abstract要約: 厳密なベイズ予測は高速な予測的後悔の保証を享受するが、正確な後続の更新や表現はオンライン利用には高すぎるかもしれない。
本研究は, 後方近似の累積値は, 正確なギブス後方の収縮半径と近似と正確な後方とのワッサーシュタイン距離との相互作用によって制御可能であることを示す。
- 参考スコア（独自算出の注目度）: 2.1997815944423516
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Exact Bayes prediction enjoys fast predictive regret guarantees, but exact posterior updating or representation may be too costly for online use. We study when these statistical guarantees are preserved by computational approximations. We show that the cumulative price of posterior approximation can be governed by the interaction between the contraction radius of the exact Gibbs posterior and the Wasserstein distance between the approximate and exact posteriors. Our general theorem shows that whenever exact Bayes prediction achieves a fast regret bound, any approximate posterior method that tracks the exact posterior with sufficient accuracy inherits the same fast regret, up to an additive term determined by the approximation error. Three online learning examples are developed. For linear models with strongly convex regularized losses, a projected Langevin algorithm yields an approximate posterior that achieves logarithmic regret. For an infinite-dimensional canonical exponential family sequence model over a Sobolev ellipsoid, a prior-preserving truncation method attains the minimax predictive regret rate with sublinear memory and constant update cost per observation. For random-design Gaussian process (GP) regression, a sparse variational posterior with inducing variables achieves the same predictive regret rate as the exact GP, but at substantially lower computational cost.
- Abstract（参考訳）: 厳密なベイズ予測は高速な予測的後悔の保証を享受するが、正確な後続の更新や表現はオンライン利用には高すぎるかもしれない。
これらの統計的保証が計算近似によっていつ保存されるかを研究する。
本研究は, 後方近似の累積値は, 正確なギブス後方の収縮半径と近似と正確な後方とのワッサーシュタイン距離との相互作用によって制御可能であることを示す。
我々の一般的な定理は、正確なベイズ予想が高速な後悔境界に達すると、近似誤差によって決定される加法項まで、正確な後方を十分な精度で追跡する近似的な後続法が同じ高速な後悔を継承することを示している。
3つのオンライン学習例が開発されている。
強い凸正則化損失を持つ線形モデルに対して、射影ランゲヴィンアルゴリズムは対数的後悔を達成する近似的な後方を求める。
ソボレフ楕円体上の無限次元正準指数系列モデルにおいて、保存前のトランケーション法は、サブリニアメモリと観測毎の一定更新コストでミニマックス予測後悔率を達成する。
ランダム設計ガウス過程(GP)回帰では、変数を誘導するスパース変分後部は正確なGPと同じ予測的後悔率を得るが、計算コストはかなり低い。
関連論文リスト
- Bandit Convex Optimization with Gradient Prediction Adaptivity [56.816177049016794]
本研究では, 楽観的な勾配予測が, 最悪の後悔の保証を予測順応的に改善できるかどうかを考察する。
鍵となるアイデアは、分散が勾配ノルムではなく予測誤差でスケールする、新しい分散還元勾配推定器である。
我々は、$(sqrtmathbbE[S_T])$としてスケールする情報理論の下限を確立し、最も達成可能な予測適応的後悔の基本的な特徴を提供する。
論文 参考訳（メタデータ） (2026-05-21T08:57:38Z) - Self-Supervised Laplace Approximation for Bayesian Uncertainty Quantification [45.61685127984694]
我々は,ベイズモデルの予測不確実性を,自己予測データに基づいて定量化する。
Self-Supervised Laplace Approximation (SSLA)のモジュール構造は、さまざまな事前仕様をプラグインすることができます。
高価なリフィットを回避すべく、ASSLAと呼ばれるSSLAの近似バージョンをさらに導入する。
論文 参考訳（メタデータ） (2026-05-12T14:46:08Z) - Variation Due to Regularization Tractably Recovers Bayesian Deep Learning [44.16006844888796]
本稿では,正規化による変動に基づく大規模ネットワークの不確実性定量化手法を提案する。
正規化変動(RegVar)は、無限小極限においてベイズ深層学習におけるラプラス近似を正確に回復する厳密な不確実性を推定する。
複数のデータセットにまたがる実験により、RegVarは不確実な予測を効果的に識別するだけでなく、学習した表現の安定性に関する洞察を提供する。
論文 参考訳（メタデータ） (2024-03-15T20:47:39Z) - Quantifying predictive uncertainty of aphasia severity in stroke patients with sparse heteroscedastic Bayesian high-dimensional regression [47.1405366895538]
高次元データに対する疎線型回帰法は、通常、残留物が一定の分散を持つと仮定するが、これは実際には破ることができる。
本稿では,ヘテロセダスティック分割経験的ベイズ期待条件最大化アルゴリズムを用いて,高次元ヘテロセダスティック線形回帰モデルを推定する。
論文 参考訳（メタデータ） (2023-09-15T22:06:29Z) - Variational Prediction [95.00085314353436]
本稿では,変動境界を用いた後部予測分布に対する変動近似の学習手法を提案する。
このアプローチは、テスト時間の限界化コストを伴わずに、優れた予測分布を提供することができる。
論文 参考訳（メタデータ） (2023-07-14T18:19:31Z) - Sampling from Gaussian Process Posteriors using Stochastic Gradient
Descent [43.097493761380186]
勾配アルゴリズムは線形系を解くのに有効な方法である。
最適値に収束しない場合であっても,勾配降下は正確な予測を導出することを示す。
実験的に、勾配降下は十分に大規模または不条件の回帰タスクにおいて最先端の性能を達成する。
論文 参考訳（メタデータ） (2023-06-20T15:07:37Z) - Density Estimation with Autoregressive Bayesian Predictives [1.5771347525430772]
密度推定の文脈では、標準的なベイズ的アプローチは、後方予測をターゲットとする。
我々は、データを潜在空間にマッピングする自己回帰ニューラルネットワークを用いて、帯域幅の新たなパラメータ化を開発する。
論文 参考訳（メタデータ） (2022-06-13T20:43:39Z) - Imputation-Free Learning from Incomplete Observations [73.15386629370111]
本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。
バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。
我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
論文 参考訳（メタデータ） (2021-07-05T12:44:39Z) - Online nonparametric regression with Sobolev kernels [99.12817345416846]
我々は、ソボレフ空間のクラス上の後悔の上限を$W_pbeta(mathcalX)$, $pgeq 2, beta>fracdp$ とする。
上界は minimax regret analysis で支えられ、$beta> fracd2$ または $p=infty$ の場合、これらの値は(本質的に)最適である。
論文 参考訳（メタデータ） (2021-02-06T15:05:14Z) - Reducing the Amortization Gap in Variational Autoencoders: A Bayesian
Random Function Approach [38.45568741734893]
GPモデルの推論は、セミアモタイズ法よりもはるかに高速な1つのフィードフォワードパスによって行われる。
提案手法は,複数のベンチマークデータセットの最先端データよりも高い確率でテストデータが得られることを示す。
論文 参考訳（メタデータ） (2021-02-05T13:01:12Z) - Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。
そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。
勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
論文 参考訳（メタデータ） (2020-06-04T21:51:21Z) - Consistent Online Gaussian Process Regression Without the Sample
Complexity Bottleneck [14.309243378538012]
本稿では,現在の後方中心のHellingerメトリックに対して,エラー近傍を修正可能なオンライン圧縮方式を提案する。
一定の誤差半径の場合、POG は集団後部の近傍 (Theorem 1(ii)) に収束するが、特徴空間の計量エントロピーによって決定される有限メモリのオン・ウォーストに収束する。
論文 参考訳（メタデータ） (2020-04-23T11:52:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。