論文の概要: Statistical Guarantees and Algorithmic Convergence Issues of Variational Boosting

• arxiv url: http://arxiv.org/abs/2010.09540v2
• Date: Thu, 22 Oct 2020 00:15:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-05 20:54:38.515250
• Title: Statistical Guarantees and Algorithmic Convergence Issues of Variational Boosting
• Title（参考訳）: 変分ブースティングの統計的保証とアルゴリズム収束問題
• Authors: Biraj Subhra Guha, Anirban Bhattacharya and Debdeep Pati
• Abstract要約: 我々は、小さな帯域幅のガウス混合変分族を提案することにより、ベイズ変分増分を保証する。 変動アルゴリズムとしてFrank-Wolfe最適化の関数型を用いる。 変動族と不一致測度の選択が収束と有限サンプル統計特性の両方にどのように影響するかを示す。
• 参考スコア（独自算出の注目度）: 6.9827388859232045
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We provide statistical guarantees for Bayesian variational boosting by proposing a novel small bandwidth Gaussian mixture variational family. We employ a functional version of Frank-Wolfe optimization as our variational algorithm and study frequentist properties of the iterative boosting updates. Comparisons are drawn to the recent literature on boosting, describing how the choice of the variational family and the discrepancy measure affect both convergence and finite-sample statistical properties of the optimization routine. Specifically, we first demonstrate stochastic boundedness of the boosting iterates with respect to the data generating distribution. We next integrate this within our algorithm to provide an explicit convergence rate, ending with a result on the required number of boosting updates.
• Abstract（参考訳）: ガウス混合変分系を新規に提案することにより,ベイズ変動促進のための統計的保証を提供する。 変動アルゴリズムとしてFrank-Wolfe最適化の関数バージョンを採用し、反復ブースティング更新の頻繁な特性について検討する。 近年の増進に関する文献と比較し、変分族と差分族の選択が最適化ルーチンの収束性と有限サンプル統計特性にどのように影響するかを述べる。 具体的には,データ生成分布に関して,昇降イテレートの確率的有界性を示す。 次にこれをアルゴリズムに統合して,明示的な収束率を提供します。

関連論文リスト

• Sample-efficient Bayesian Optimisation Using Known Invariances [56.34916328814857]
  バニラと制約付きBOアルゴリズムは、不変目的を最適化する際の非効率性を示す。 我々はこれらの不変カーネルの最大情報ゲインを導出する。 核融合炉用電流駆動システムの設計に本手法を用い, 高性能溶液の探索を行った。
  論文  参考訳（メタデータ） (2024-10-22T12:51:46Z)
• Variance-Reducing Couplings for Random Features [57.73648780299374]
  ランダム機能(RF)は、機械学習においてカーネルメソッドをスケールアップする一般的なテクニックである。 ユークリッド空間と離散入力空間の両方で定義されるRFを改善するための結合を求める。 パラダイムとしての分散還元の利点と限界について、驚くほどの結論に達した。
  論文  参考訳（メタデータ） (2024-05-26T12:25:09Z)
• Manifold Gaussian Variational Bayes on the Precision Matrix [70.44024861252554]
  複雑なモデルにおける変分推論(VI)の最適化アルゴリズムを提案する。 本研究では,変分行列上の正定値制約を満たすガウス変分推論の効率的なアルゴリズムを開発した。 MGVBPはブラックボックスの性質のため、複雑なモデルにおけるVIのための準備が整ったソリューションである。
  論文  参考訳（メタデータ） (2022-10-26T10:12:31Z)
• Generalizing Bayesian Optimization with Decision-theoretic Entropies [102.82152945324381]
  統計的決定論の研究からシャノンエントロピーの一般化を考える。 まず,このエントロピーの特殊なケースがBO手順でよく用いられる獲得関数に繋がることを示す。 次に、損失に対する選択肢の選択が、どのようにして柔軟な獲得関数の族をもたらすかを示す。
  論文  参考訳（メタデータ） (2022-10-04T04:43:58Z)
• Variational Refinement for Importance Sampling Using the Forward Kullback-Leibler Divergence [77.06203118175335]
  変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。 重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。 近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
  論文  参考訳（メタデータ） (2021-06-30T11:00:24Z)
• Optimal Static Mutation Strength Distributions for the $(1+\lambda)$ Evolutionary Algorithm on OneMax [1.0965065178451106]
  人口が十分に大きくなると、このような最適な分布は驚くほど複雑で直感に反する可能性がある。 人口が十分に大きくなると、このような最適な分布は驚くほど複雑で直感に反する可能性がある。
  論文  参考訳（メタデータ） (2021-02-09T16:56:25Z)
• Recursive Inference for Variational Autoencoders [34.552283758419506]
  従来の変分オートエンコーダ(VAE)の推論ネットワークは典型的に償却される。 この欠点に対処するために、最近の半修正アプローチが提案されている。 精度の高い償却推論アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-11-17T10:22:12Z)
• The Power of Factorial Powers: New Parameter settings for (Stochastic) Optimization [18.046669772867446]
  これらのシーケンスが楽しむ多くの顕著な特性をリストアップし、運動量法、加速速度、分散還元法(SVRG)を単純化するためにそれらを適用することができる。 本研究では、収束証明に現れる定数を定義するための柔軟なツールとして、分解力の使用を提案する。
  論文  参考訳（メタデータ） (2020-06-01T20:35:42Z)
• Gaussian Process Boosting [13.162429430481982]
  ガウス過程と混合効果モデルを組み合わせた新しい手法を提案する。 シミュレーションおよび実世界のデータセットに対する既存手法と比較して予測精度が向上する。
  論文  参考訳（メタデータ） (2020-04-06T13:19:54Z)
• On the Dual Formulation of Boosting Algorithms [92.74617630106559]
  AdaBoost,LogitBoost,Soft-marginBoostのラグランジュ問題は、すべて一般化されたヒンジ損失エントロピーの双対問題であることを示す。 これらのブースティングアルゴリズムの2つの問題を見て、より良いマージン分布を維持するという観点から、ブースティングの成功を理解することができることを示す。
  論文  参考訳（メタデータ） (2009-01-23T02:14:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。