論文の概要: Local convexity of the TAP free energy and AMP convergence for
Z2-synchronization
- arxiv url: http://arxiv.org/abs/2106.11428v3
- Date: Sat, 15 Apr 2023 18:06:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-19 01:21:51.067581
- Title: Local convexity of the TAP free energy and AMP convergence for
Z2-synchronization
- Title（参考訳）: Z2同期化のためのTAP自由エネルギーの局所凸性とAMP収束
- Authors: Michael Celentano, Zhou Fan, Song Mei
- Abstract要約: 本稿では,Z2同期化のためのTAP手法を用いて平均場変動ベイズ推定について検討する。
任意の信号強度$lambda > 1$に対して、ベイズ法則の平均付近で機能するTAP自由エネルギーのユニークな局所最小化が存在することを示す。
- 参考スコア（独自算出の注目度）: 17.940267599218082
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We study mean-field variational Bayesian inference using the TAP approach,
for Z2-synchronization as a prototypical example of a high-dimensional Bayesian
model. We show that for any signal strength $\lambda > 1$ (the weak-recovery
threshold), there exists a unique local minimizer of the TAP free energy
functional near the mean of the Bayes posterior law. Furthermore, the TAP free
energy in a local neighborhood of this minimizer is strongly convex.
Consequently, a natural-gradient/mirror-descent algorithm achieves linear
convergence to this minimizer from a local initialization, which may be
obtained by a constant number of iterates of Approximate Message Passing (AMP).
This provides a rigorous foundation for variational inference in high
dimensions via minimization of the TAP free energy.
We also analyze the finite-sample convergence of AMP, showing that AMP is
asymptotically stable at the TAP minimizer for any $\lambda > 1$, and is
linearly convergent to this minimizer from a spectral initialization for
sufficiently large $\lambda$. Such a guarantee is stronger than results
obtainable by state evolution analyses, which only describe a fixed number of
AMP iterations in the infinite-sample limit.
Our proofs combine the Kac-Rice formula and Sudakov-Fernique Gaussian
comparison inequality to analyze the complexity of critical points that satisfy
strong convexity and stability conditions within their local neighborhoods.
- Abstract（参考訳）: 我々は,高次元ベイズモデルのプロトタイプ例として,Z2同期化のためのTAPアプローチを用いた平均場変動ベイズ推定について検討した。
任意の信号強度$\lambda > 1$(弱回復しきい値)に対して、ベイズ後法の平均に近いタップ自由エネルギー汎関数の局所的な最小化が存在することを示す。
さらに、この最小化器の局所近傍におけるTAP自由エネルギーは強い凸である。
したがって、自然勾配/ミラー希薄アルゴリズムは、近似メッセージパッシング(amp)の一定数のイテレートによって得られる局所初期化から、この最小化への線形収束を達成することができる。
これにより、タップ自由エネルギーの最小化による高次元の変分推論の厳密な基礎が得られる。
また、AMPの有限サンプル収束を解析し、AMPは任意の$\lambda > 1$のTAP最小値において漸近的に安定であり、十分に大きな$\lambda$のスペクトル初期化からこの最小値に線型収束することを示す。
このような保証は状態進化解析によって得られる結果よりも強く、無限サンプル極限における固定数のAMP反復のみを記述する。
この証明は、kac-rice 公式と sudakov-fernique gaussian comparison inequality を組み合わせることで、局所近傍における強い凸性と安定性条件を満たす臨界点の複雑性を分析する。
関連論文リスト
- Flow matching achieves almost minimax optimal convergence [50.38891696297888]
フローマッチング (FM) は, シミュレーションのない生成モデルとして注目されている。
本稿では,大試料径のFMの収束特性を$p$-Wasserstein 距離で論じる。
我々は、FMが1leq p leq 2$でほぼ最小の収束率を達成できることを確立し、FMが拡散モデルに匹敵する収束率に達するという最初の理論的証拠を示す。
論文 参考訳（メタデータ） (2024-05-31T14:54:51Z) - Non-asymptotic estimates for accelerated high order Langevin Monte Carlo algorithms [8.058385158111207]
我々は,高次元対象分布からサンプルを得るために,aHOLAとaHOLLAという2つの新しいアルゴリズムを提案する。
ワッサースタイン1およびワッサースタイン2分布におけるaHOLAの非漸近収束速度を確立する。
論文 参考訳（メタデータ） (2024-05-09T11:12:03Z) - Mean-field variational inference with the TAP free energy: Geometric and
statistical properties in linear models [20.311583934266903]
我々は,TAP自由エネルギーのランドスケープが局所最小化器の広い近傍で強く凸していることを示す。
我々は、TAP自由エネルギーが到達可能な局所最小化器の類似性を証明し、この最小化器に基づく後部推論を正しく示す。
論文 参考訳（メタデータ） (2023-11-14T17:35:01Z) - Sharper Analysis for Minibatch Stochastic Proximal Point Methods:
Stability, Smoothness, and Deviation [41.082982732100696]
我々は,凸複合リスク最小化問題の解法として,近位点法(M-SPP)のミニバッチ変種について検討した。
ミニバッチサイズが$n$で二次数が$T$のM-SPPは、予想外収束の速さを楽しむことを示す。
小さい$n$-large-$T$設定では、この結果はSPP型アプローチの最もよく知られた結果を大幅に改善する。
論文 参考訳（メタデータ） (2023-01-09T00:13:34Z) - Asymptotically Unbiased Instance-wise Regularized Partial AUC
Optimization: Theory and Algorithm [101.44676036551537]
One-way partial AUC (OPAUC) と Two-way partial AUC (TPAUC) はバイナリ分類器の平均性能を測定する。
既存の手法のほとんどはPAUCをほぼ最適化するしかなく、制御不能なバイアスにつながる。
本稿では,分散ロバスト最適化AUCによるPAUC問題の簡易化について述べる。
論文 参考訳（メタデータ） (2022-10-08T08:26:22Z) - Sudakov-Fernique post-AMP, and a new proof of the local convexity of the
TAP free energy [0.6091702876917281]
我々は、特性に関連するが異なる自由エネルギーを含む比較不等式法を導出する。
我々は、エル・アラウイら(2022)が関連するが異なる自由エネルギーのアルゴリズムを含む予想を証明した。
論文 参考訳（メタデータ） (2022-08-19T21:21:06Z) - KL-Entropy-Regularized RL with a Generative Model is Minimax Optimal [70.15267479220691]
モデル強化学習のサンプル複雑性を,生成的分散自由モデルを用いて検討・解析する。
我々の分析は、$varepsilon$が十分小さい場合、$varepsilon$-optimal Policyを見つけるのが、ほぼ最小の最適化であることを示している。
論文 参考訳（メタデータ） (2022-05-27T19:39:24Z) - Minibatch vs Local SGD with Shuffling: Tight Convergence Bounds and
Beyond [63.59034509960994]
シャッフルに基づく変種(ミニバッチと局所ランダムリシャッフル)について検討する。
ポリアック・ロジャシエヴィチ条件を満たす滑らかな函数に対して、これらのシャッフル型不変量(英語版)(shuffling-based variants)がそれらの置換式よりも早く収束することを示す収束境界を得る。
我々は, 同期シャッフル法と呼ばれるアルゴリズムの修正を提案し, ほぼ均一な条件下では, 下界よりも収束速度が速くなった。
論文 参考訳（メタデータ） (2021-10-20T02:25:25Z) - Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。
我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。
MRP のサブクラスに対する minimax の下位境界を証明する。
論文 参考訳（メタデータ） (2021-09-24T14:48:20Z) - On the Convergence of Stochastic Extragradient for Bilinear Games with
Restarted Iteration Averaging [96.13485146617322]
本稿では, ステップサイズが一定であるSEG法の解析を行い, 良好な収束をもたらす手法のバリエーションを示す。
平均化で拡張した場合、SEGはナッシュ平衡に確実に収束し、スケジュールされた再起動手順を組み込むことで、その速度が確実に加速されることを証明した。
論文 参考訳（メタデータ） (2021-06-30T17:51:36Z) - Convergence Rates of Stochastic Gradient Descent under Infinite Noise
Variance [14.06947898164194]
ヘビーテールは様々なシナリオで勾配降下 (sgd) で現れる。
SGDの収束保証は、潜在的に無限のばらつきを持つ状態依存性および重尾ノイズ下で提供します。
その結果,SGDは無限に分散した重尾雑音下であっても,地球最適値に収束できることが示された。
論文 参考訳（メタデータ） (2021-02-20T13:45:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。