論文の概要: Particle-based Online Bayesian Sampling
- arxiv url: http://arxiv.org/abs/2302.14796v1
- Date: Tue, 28 Feb 2023 17:46:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-01 15:01:33.992949
- Title: Particle-based Online Bayesian Sampling
- Title(参考訳): 粒子を用いたオンラインベイズサンプリング
- Authors: Yifan Yang, Chang Liu, Zheng Zhang
- Abstract要約: 粒子の集合を用いて近似分布を表すオンライン粒子に基づく変分推論(OPVI)アルゴリズムについて検討する。
近似の利用による勾配誤差を低減するために, ばらつきを低減するために, バッチサイズを増大させるサブ線形を含む。
実験の結果,提案アルゴリズムは既存のベイズサンプリング手法をオンライン環境に適用するよりも優れた結果が得られることがわかった。
- 参考スコア(独自算出の注目度): 24.290436348629452
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Online optimization has gained increasing interest due to its capability of
tracking real-world streaming data. Although online optimization methods have
been widely studied in the setting of frequentist statistics, few works have
considered online optimization with the Bayesian sampling problem. In this
paper, we study an Online Particle-based Variational Inference (OPVI) algorithm
that uses a set of particles to represent the approximating distribution. To
reduce the gradient error caused by the use of stochastic approximation, we
include a sublinear increasing batch-size method to reduce the variance. To
track the performance of the OPVI algorithm with respect to a sequence of
dynamically changing target posterior, we provide a detailed theoretical
analysis from the perspective of Wasserstein gradient flow with a dynamic
regret. Synthetic and Bayesian Neural Network experiments show that the
proposed algorithm achieves better results than naively applying existing
Bayesian sampling methods in the online setting.
- Abstract(参考訳): 実世界のストリーミングデータを追跡する能力により、オンライン最適化への関心が高まっている。
オンライン最適化手法は、頻繁な統計の設定において広く研究されているが、ベイジアンサンプリング問題によるオンライン最適化を考える研究はほとんどない。
本稿では,粒子の集合を用いて近似分布を表すオンライン粒子に基づく変分推論(OPVI)アルゴリズムについて検討する。
確率近似による勾配誤差を低減するために, ばらつきを低減するために, バッチサイズを増大させるサブ線形を含む。
動的に変化する目標後方の系列に対するopviアルゴリズムの性能を追跡するために,wasserstein勾配流の観点から,動的後悔を伴う詳細な理論的解析を行う。
合成およびベイジアンニューラルネットワーク実験により,提案アルゴリズムは既存のベイジアンサンプリング手法をオンライン環境に適用するよりも優れた結果が得られることが示された。
関連論文リスト
- On diffusion models for amortized inference: Benchmarking and improving
stochastic control and sampling [96.7808454149545]
本研究では,非正規化密度やエネルギー関数を持つ分布からサンプルを抽出する拡散モデルの訓練問題について検討する。
シミュレーションに基づく変分法や非政治手法など,拡散構造推論手法のベンチマークを行った。
我々の結果は、過去の研究の主張に疑問を投げかけながら、既存のアルゴリズムの相対的な利点を浮き彫りにした。
論文 参考訳(メタデータ) (2024-02-07T18:51:49Z) - Distributed Markov Chain Monte Carlo Sampling based on the Alternating
Direction Method of Multipliers [143.6249073384419]
本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。
我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。
シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
論文 参考訳(メタデータ) (2024-01-29T02:08:40Z) - Online Network Source Optimization with Graph-Kernel MAB [62.6067511147939]
大規模ネットワークにおける最適なソース配置をオンラインで学習するためのグラフカーネルマルチアームバンディットアルゴリズムであるGrab-UCBを提案する。
適応グラフ辞書モデルを用いて,ネットワークプロセスを記述する。
我々は、ネットワークパラメータに依存する性能保証を導出し、シーケンシャルな意思決定戦略の学習曲線にさらに影響を及ぼす。
論文 参考訳(メタデータ) (2023-07-07T15:03:42Z) - Thompson sampling for improved exploration in GFlowNets [75.89693358516944]
生成フローネットワーク(Generative Flow Networks, GFlowNets)は、合成対象物上の分布からのサンプリングを、学習可能なアクションポリシーを用いたシーケンシャルな意思決定問題として扱う、アモータイズされた変分推論アルゴリズムである。
2つの領域において、TS-GFNは、過去の研究で使われたオフ・ポリティクス・サーベイ・ストラテジーよりも、探索を改善し、目標分布への収束を早くすることを示す。
論文 参考訳(メタデータ) (2023-06-30T14:19:44Z) - Low-rank extended Kalman filtering for online learning of neural
networks from streaming data [71.97861600347959]
非定常データストリームから非線形関数のパラメータを推定するための効率的なオンライン近似ベイズ推定アルゴリズムを提案する。
この方法は拡張カルマンフィルタ (EKF) に基づいているが、新しい低ランク+斜角行列分解法を用いている。
変分推論に基づく手法とは対照的に,本手法は完全に決定論的であり,ステップサイズチューニングを必要としない。
論文 参考訳(メタデータ) (2023-05-31T03:48:49Z) - Learning Rate Free Sampling in Constrained Domains [21.853333421463603]
我々は、完全に学習率の低い制約付き領域をサンプリングするための新しい粒子ベースのアルゴリズム一式を導入する。
我々は,本アルゴリズムの性能を,単純度に基づくターゲットからのサンプリングを含む,様々な数値的な例で示す。
論文 参考訳(メタデータ) (2023-05-24T09:31:18Z) - Differentiable Annealed Importance Sampling and the Perils of Gradient
Noise [68.44523807580438]
Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。
差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。
我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
論文 参考訳(メタデータ) (2021-07-21T17:10:14Z) - Adaptive Importance Sampling for Finite-Sum Optimization and Sampling
with Decreasing Step-Sizes [4.355567556995855]
ステップサイズを小さくした有限サム最適化とサンプリングのための適応的重要度サンプリングのための簡易かつ効率的なアルゴリズムであるavareを提案する。
標準的な技術的条件下では、$mathcalO(T2/3)$と$mathcalO(T5/6)$の動的後悔をそれぞれ、$mathcalO(T5/6)$のステップサイズで実行するときに達成している。
論文 参考訳(メタデータ) (2021-03-23T00:28:15Z) - Quantized Variational Inference [6.09170287691728]
ELBO最適化のために、量子変分推論が分散自由勾配をいかに生み出すかを示す。
量子化変分推論フレームワークを用いることで、スコア関数と再パラメータ化勾配の両方に高速収束がもたらされることを示す。
論文 参考訳(メタデータ) (2020-11-04T13:22:50Z) - Iterative Surrogate Model Optimization (ISMO): An active learning
algorithm for PDE constrained optimization with deep neural networks [14.380314061763508]
反復代理モデル最適化(ISMO)と呼ばれる新しい能動学習アルゴリズムを提案する。
このアルゴリズムはディープニューラルネットワークに基づいており、その重要な特徴は、ディープニューラルネットワークと基礎となる標準最適化アルゴリズムの間のフィードバックループを通じて、トレーニングデータの反復的な選択である。
論文 参考訳(メタデータ) (2020-08-13T07:31:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。