論文の概要: Mixture weights optimisation for Alpha-Divergence Variational Inference
- arxiv url: http://arxiv.org/abs/2106.05114v1
- Date: Wed, 9 Jun 2021 14:47:05 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-10 22:29:56.207628
- Title: Mixture weights optimisation for Alpha-Divergence Variational Inference
- Title（参考訳）: Alpha-Divergence変分推論のための混合重み最適化
- Authors: Kam\'elia Daudel and Randal Douc
- Abstract要約: 本稿では,変分推論のための$alpha$-divergence最小化手法について述べる。
すべての$alpha neq 1$に対して定義されるパワードネッセントはそのようなアルゴリズムである。
一階近似により、新しいアルゴリズムであるRenyi Descentを導入することができる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper focuses on $\alpha$-divergence minimisation methods for
Variational Inference. More precisely, we are interested in algorithms
optimising the mixture weights of any given mixture model, without any
information on the underlying distribution of its mixture components
parameters. The Power Descent, defined for all $\alpha \neq 1$, is one such
algorithm and we establish in our work the full proof of its convergence
towards the optimal mixture weights when $\alpha <1$. Since the
$\alpha$-divergence recovers the widely-used forward Kullback-Leibler when
$\alpha \to 1$, we then extend the Power Descent to the case $\alpha = 1$ and
show that we obtain an Entropic Mirror Descent. This leads us to investigate
the link between Power Descent and Entropic Mirror Descent: first-order
approximations allow us to introduce the Renyi Descent, a novel algorithm for
which we prove an $O(1/N)$ convergence rate. Lastly, we compare numerically the
behavior of the unbiased Power Descent and of the biased Renyi Descent and we
discuss the potential advantages of one algorithm over the other.
- Abstract（参考訳）: 本稿では,変分推論のための$\alpha$-divergence最小化手法について述べる。
より正確には、混合成分パラメータの基本的な分布に関する情報なしで、任意の混合モデルの混合重量を最適化するアルゴリズムに興味がある。
すべての$\alpha \neq 1$に対して定義されるPower Descentはそのようなアルゴリズムであり、$\alpha <1$のときの最適混合重みへの収束の完全な証明を確立する。
$\alpha \to 1$ のとき、$\alpha$-divergence は広く使われているKullback-Leibler を復元するので、Power Descent を $\alpha = 1$ の場合に拡張し、エントロピックミラー Descent を得ることを示す。
これにより、パワー・ディクセントとエントロピック・ミラー・ディクセントの関連性を調べることができる: 1次近似は、$O(1/N)$収束率を証明する新しいアルゴリズムであるRenyi Descentを導入することができる。
最後に,偏りのないパワー降下とバイアス付きレーニー降下の挙動を数値的に比較し,一方のアルゴリズムの利点について考察する。
関連論文リスト
- Learning general Gaussian mixtures with efficient score matching [16.06356123715737]
我々は、$d$次元で$k$ガウシアンの混合を学習する問題を研究する。
我々は、下層の混合成分について分離を前提としない。
我々は、ターゲット混合物から$dmathrmpoly(k/varepsilon)$サンプルを抽出し、サンプル-ポリノミカル時間で実行し、サンプリング器を構築するアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-04-29T17:30:36Z) - Fast UCB-type algorithms for stochastic bandits with heavy and super
heavy symmetric noise [45.60098988395789]
マルチアームバンディットのためのUCB型アルゴリズムを構築するための新しいアルゴリズムを提案する。
報酬の対称雑音の場合、$O(log TsqrtKTlog T)$ regret bound を $Oleft の代わりに達成できることを示す。
論文 参考訳（メタデータ） (2024-02-10T22:38:21Z) - Adaptive, Doubly Optimal No-Regret Learning in Strongly Monotone and Exp-Concave Games with Gradient Feedback [75.29048190099523]
オンライン勾配降下(OGD)は、強い凸性や単調性仮定の下では二重最適であることが知られている。
本稿では,これらのパラメータの事前知識を必要としない完全適応型OGDアルゴリズム,textsfAdaOGDを設計する。
論文 参考訳（メタデータ） (2023-10-21T18:38:13Z) - Extra-Newton: A First Approach to Noise-Adaptive Accelerated
Second-Order Methods [57.050204432302195]
本研究では,2次スムーズな凸関数を最小化するための普遍的かつ適応的な2次法を提案する。
我々のアルゴリズムは、オラクルフィードバックが分散$sigma2$であるときに$O(sigma / sqrtT)$収束を達成し、決定論的オラクルで$O(1 / T3)$に収束を改善する。
論文 参考訳（メタデータ） (2022-11-03T14:12:51Z) - High Probability Bounds for a Class of Nonconvex Algorithms with AdaGrad
Stepsize [55.0090961425708]
本研究では,AdaGradのスムーズな非確率問題に対する簡易な高確率解析法を提案する。
我々はモジュラーな方法で解析を行い、決定論的設定において相補的な$mathcal O (1 / TT)$収束率を得る。
我々の知る限りでは、これは真に適応的なスキームを持つAdaGradにとって初めての高い確率である。
論文 参考訳（メタデータ） (2022-04-06T13:50:33Z) - Forward Looking Best-Response Multiplicative Weights Update Methods [14.519198115835966]
エンフェルティプリケートウェイト更新法の新しい変種は、独自のエンフェルティプリケート平衡を持つエンフェルティプリケートサムゲームに対する最終点収束を保証する
以上の結果から,本アルゴリズムは従来手法と比較して,収束率と収縮領域の両方において有意な利得が得られることが明らかとなった。
論文 参考訳（メタデータ） (2021-06-07T13:03:33Z) - Privacy amplification and decoupling without smoothing [0.0]
我々は、$$alpha in (1,2$) のサンドイッチ付き R'enyi エントロピーの観点から、プライバシーの増幅とデカップリングの達成可能性を証明する。
この証明が 1 に近い$alpha$ に対して有効であるという事実は、境界が完全量子 AEP あるいはエントロピーの蓄積から来る多くの応用において滑らかな min-エントロピーをバイパスできることを意味する。
論文 参考訳（メタデータ） (2021-05-11T21:01:46Z) - Convergence of Langevin Monte Carlo in Chi-Squared and Renyi Divergence [8.873449722727026]
推定値である$widetildemathcalO(depsilon-1)$が,これらの測定値の既知レートを改善することを示す。
特に凸および1次滑らかなポテンシャルについて、LCCアルゴリズムは、これらの測定値の既知率を改善するために$widetildemathcalO(depsilon-1)$を推定する。
論文 参考訳（メタデータ） (2020-07-22T18:18:28Z) - Learning Halfspaces with Tsybakov Noise [50.659479930171585]
テュバコフ雑音の存在下でのハーフスペースの学習可能性について検討する。
真半空間に関して誤分類誤差$epsilon$を達成するアルゴリズムを与える。
論文 参考訳（メタデータ） (2020-06-11T14:25:02Z) - Robustly Learning any Clusterable Mixture of Gaussians [55.41573600814391]
本研究では,高次元ガウス混合系の対向ロバスト条件下での効率的な学習性について検討する。
理論的に最適に近い誤り証明である$tildeO(epsilon)$の情報を、$epsilon$-corrupted $k$-mixtureで学習するアルゴリズムを提供する。
我々の主な技術的貢献は、ガウス混合系からの新しい頑健な識別可能性証明クラスターであり、これは正方形の定度証明システムによって捉えることができる。
論文 参考訳（メタデータ） (2020-05-13T16:44:12Z) - Curse of Dimensionality on Randomized Smoothing for Certifiable
Robustness [151.67113334248464]
我々は、他の攻撃モデルに対してスムースな手法を拡張することは困難であることを示す。
我々はCIFARに関する実験結果を示し,その理論を検証した。
論文 参考訳（メタデータ） (2020-02-08T22:02:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。