論文の概要: Statistical Guarantees and Algorithmic Convergence Issues of Variational
Boosting
- arxiv url: http://arxiv.org/abs/2010.09540v2
- Date: Thu, 22 Oct 2020 00:15:06 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-05 20:54:38.515250
- Title: Statistical Guarantees and Algorithmic Convergence Issues of Variational
Boosting
- Title(参考訳): 変分ブースティングの統計的保証とアルゴリズム収束問題
- Authors: Biraj Subhra Guha, Anirban Bhattacharya and Debdeep Pati
- Abstract要約: 我々は、小さな帯域幅のガウス混合変分族を提案することにより、ベイズ変分増分を保証する。
変動アルゴリズムとしてFrank-Wolfe最適化の関数型を用いる。
変動族と不一致測度の選択が収束と有限サンプル統計特性の両方にどのように影響するかを示す。
- 参考スコア(独自算出の注目度): 6.9827388859232045
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We provide statistical guarantees for Bayesian variational boosting by
proposing a novel small bandwidth Gaussian mixture variational family. We
employ a functional version of Frank-Wolfe optimization as our variational
algorithm and study frequentist properties of the iterative boosting updates.
Comparisons are drawn to the recent literature on boosting, describing how the
choice of the variational family and the discrepancy measure affect both
convergence and finite-sample statistical properties of the optimization
routine. Specifically, we first demonstrate stochastic boundedness of the
boosting iterates with respect to the data generating distribution. We next
integrate this within our algorithm to provide an explicit convergence rate,
ending with a result on the required number of boosting updates.
- Abstract(参考訳): ガウス混合変分系を新規に提案することにより,ベイズ変動促進のための統計的保証を提供する。
変動アルゴリズムとしてFrank-Wolfe最適化の関数バージョンを採用し、反復ブースティング更新の頻繁な特性について検討する。
近年の増進に関する文献と比較し、変分族と差分族の選択が最適化ルーチンの収束性と有限サンプル統計特性にどのように影響するかを述べる。
具体的には,データ生成分布に関して,昇降イテレートの確率的有界性を示す。
次にこれをアルゴリズムに統合して,明示的な収束率を提供します。
関連論文リスト
- Non-asymptotic Convergence of Discrete-time Diffusion Models: New
Approach and Improved Rate [54.596887384531236]
我々は離散時間拡散モデルの下で、分布のかなり大きなクラスに対する収束保証を確立する。
パラメータ依存を明示した分布の興味深いクラスに対して,結果の専門化を行う。
本稿では,新しい加速サンプリング器を提案し,対応する正則サンプリング器の収束率を桁違いに向上することを示す。
論文 参考訳(メタデータ) (2024-02-21T16:11:47Z) - Exact Manifold Gaussian Variational Bayes [76.95091121622674]
複雑なモデルにおける変分推論(VI)の最適化アルゴリズムを提案する。
本研究では,変分行列上の正定値制約を暗黙的に満足するガウス変分推論の効率的なアルゴリズムを開発する。
ブラックボックスの性質のため、EMGVBは複雑なモデルにおけるVIのための準備が整ったソリューションである。
論文 参考訳(メタデータ) (2022-10-26T10:12:31Z) - Generalizing Bayesian Optimization with Decision-theoretic Entropies [102.82152945324381]
統計的決定論の研究からシャノンエントロピーの一般化を考える。
まず,このエントロピーの特殊なケースがBO手順でよく用いられる獲得関数に繋がることを示す。
次に、損失に対する選択肢の選択が、どのようにして柔軟な獲得関数の族をもたらすかを示す。
論文 参考訳(メタデータ) (2022-10-04T04:43:58Z) - Variational Refinement for Importance Sampling Using the Forward
Kullback-Leibler Divergence [77.06203118175335]
変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。
重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。
近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
論文 参考訳(メタデータ) (2021-06-30T11:00:24Z) - Optimal Static Mutation Strength Distributions for the $(1+\lambda)$
Evolutionary Algorithm on OneMax [1.0965065178451106]
人口が十分に大きくなると、このような最適な分布は驚くほど複雑で直感に反する可能性がある。
人口が十分に大きくなると、このような最適な分布は驚くほど複雑で直感に反する可能性がある。
論文 参考訳(メタデータ) (2021-02-09T16:56:25Z) - Accelerated, Optimal, and Parallel: Some Results on Model-Based
Stochastic Optimization [33.71051480619541]
凸最適化問題を解決するためのモデルベース手法の近似近位点(aProx)ファミリを拡張します。
我々は、非漸近収束保証と、ミニバッチサイズの線形スピードアップを提供する加速スキームを提供する。
我々は,「補間」問題に対する新しい基本定数を同定し,収束率の改善と下界の整合性を示す。
論文 参考訳(メタデータ) (2021-01-07T18:58:39Z) - Recursive Inference for Variational Autoencoders [34.552283758419506]
従来の変分オートエンコーダ(VAE)の推論ネットワークは典型的に償却される。
この欠点に対処するために、最近の半修正アプローチが提案されている。
精度の高い償却推論アルゴリズムを導入する。
論文 参考訳(メタデータ) (2020-11-17T10:22:12Z) - Randomised Gaussian Process Upper Confidence Bound for Bayesian
Optimisation [60.93091603232817]
改良されたガウス過程上信頼境界(GP-UCB)取得関数を開発した。
これは、分布から探索・探索トレードオフパラメータをサンプリングすることによって行われる。
これにより、期待されるトレードオフパラメータが、関数のベイズ的後悔に縛られることなく、問題によりよく適合するように変更できることが証明される。
論文 参考訳(メタデータ) (2020-06-08T00:28:41Z) - The Power of Factorial Powers: New Parameter settings for (Stochastic)
Optimization [18.046669772867446]
これらのシーケンスが楽しむ多くの顕著な特性をリストアップし、運動量法、加速速度、分散還元法(SVRG)を単純化するためにそれらを適用することができる。
本研究では、収束証明に現れる定数を定義するための柔軟なツールとして、分解力の使用を提案する。
論文 参考訳(メタデータ) (2020-06-01T20:35:42Z) - Gaussian Process Boosting [6.85316573653194]
ガウス過程と混合効果モデルを組み合わせた新しい手法を提案する。
シミュレーションおよび実世界のデータセットに対する既存手法と比較して予測精度が向上する。
論文 参考訳(メタデータ) (2020-04-06T13:19:54Z) - On the Dual Formulation of Boosting Algorithms [92.74617630106559]
AdaBoost,LogitBoost,Soft-marginBoostのラグランジュ問題は、すべて一般化されたヒンジ損失エントロピーの双対問題であることを示す。
これらのブースティングアルゴリズムの2つの問題を見て、より良いマージン分布を維持するという観点から、ブースティングの成功を理解することができることを示す。
論文 参考訳(メタデータ) (2009-01-23T02:14:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。