論文の概要: Sudakov-Fernique post-AMP, and a new proof of the local convexity of the TAP free energy

• arxiv url: http://arxiv.org/abs/2208.09550v1
• Date: Fri, 19 Aug 2022 21:21:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-23 14:39:39.227293
• Title: Sudakov-Fernique post-AMP, and a new proof of the local convexity of the TAP free energy
• Title（参考訳）: Sudakov-FerniqueポストAMPとTAP自由エネルギーの局所凸性の新しい証明
• Authors: Michael Celentano
• Abstract要約: 我々は、特性に関連するが異なる自由エネルギーを含む比較不等式法を導出する。 我々は、エル・アラウイら(2022)が関連するが異なる自由エネルギーのアルゴリズムを含む予想を証明した。
• 参考スコア（独自算出の注目度）: 0.6091702876917281
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In many problems in modern statistics and machine learning, it is often of interest to establish that a first order method on a non-convex risk function eventually enters a region of parameter space in which the risk is locally convex. We derive an asymptotic comparison inequality, which we call the Sudakov-Fernique post-AMP inequality, which, in a certain class of problems involving a GOE matrix, is able to probe properties of an optimization landscape locally around the iterates of an approximate message passing (AMP) algorithm. As an example of its use, we provide a new, and arguably simpler, proof of some of the results of Celentano et al. (2021), which establishes that the so-called TAP free energy in the $\mathbb{Z}_2$-synchronization problem is locally convex in the region to which AMP converges. We further prove a conjecture of El Alaoui et al. (2022) involving the local convexity of a related but distinct TAP free energy, which, as a consequence, confirms that their algorithm efficiently samples from the Sherrington-Kirkpatrick Gibbs measure throughout the "easy" regime.
• Abstract（参考訳）: 現代の統計学や機械学習における多くの問題において、非凸リスク関数上の一階法が最終的に、そのリスクが局所凸であるパラメータ空間の領域に入ることを保証することがしばしば重要である。 我々は、Sudakov-FerniqueポストAMP不等式(英語版)と呼ばれる漸近的比較不等式を導出し、GOE行列を含むある種の問題において、近似メッセージパッシング(AMP)アルゴリズムの反復点付近の最適化ランドスケープの特性を探索することができる。 その使用例として、celentano et al. (2021) のいくつかの結果の、新しく、そして間違いなくより単純な証明を提供する。これは、$\mathbb{z}_2$-synchronization 問題におけるいわゆるタップ自由エネルギーが、amp が収束する領域において局所的に凸であることを立証するものである。 さらに、関係するが異なるTAP自由エネルギーの局所凸性を含むEl Alaoui et al. (2022) の予想を証明し、その結果、シェリントン・カークパトリック・ギブズ測度のアルゴリズムが「容易」な状態を通じて効率的にサンプリングできることを確認する。

関連論文リスト

• Non-asymptotic estimates for accelerated high order Langevin Monte Carlo algorithms [8.058385158111207]
  我々は,高次元対象分布からサンプルを得るために,aHOLAとaHOLLAという2つの新しいアルゴリズムを提案する。 ワッサースタイン1およびワッサースタイン2分布におけるaHOLAの非漸近収束速度を確立する。
  論文  参考訳（メタデータ） (2024-05-09T11:12:03Z)
• Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers [143.6249073384419]
  本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。 我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。 シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
  論文  参考訳（メタデータ） (2024-01-29T02:08:40Z)
• Optimal Multi-Distribution Learning [88.3008613028333]
  マルチディストリビューション学習は、$k$の異なるデータ分散における最悪のリスクを最小限に抑える共有モデルを学ぶことを目指している。 本稿では, (d+k)/varepsilon2の順に, サンプルの複雑さを伴って, ヴァレプシロン最適ランダム化仮説を導出するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-12-08T16:06:29Z)
• On the Estimation Performance of Generalized Power Method for Heteroscedastic Probabilistic PCA [21.9585534723895]
  我々は,少なくとも幾何的にあるしきい値に束縛されたGPM間の適切な繰り返しを仮定すると,GPMは,ある「相対分解」の残余部分であるしきい値に減少することを示す。 そこで本研究では,PCA手法を用いて,ガウス以下の雑音設定による優れた性能を示す。
  論文  参考訳（メタデータ） (2023-12-06T11:41:17Z)
• Mean-field variational inference with the TAP free energy: Geometric and statistical properties in linear models [20.311583934266903]
  我々は,TAP自由エネルギーのランドスケープが局所最小化器の広い近傍で強く凸していることを示す。 我々は、TAP自由エネルギーが到達可能な局所最小化器の類似性を証明し、この最小化器に基づく後部推論を正しく示す。
  論文  参考訳（メタデータ） (2023-11-14T17:35:01Z)
• Sample Complexity for Quadratic Bandits: Hessian Dependent Bounds and Optimal Algorithms [64.10576998630981]
  最適なヘッセン依存型サンプルの複雑さを, 初めて厳密に評価した。 ヘシアン非依存のアルゴリズムは、すべてのヘシアンインスタンスに対して最適なサンプル複雑さを普遍的に達成する。 本アルゴリズムにより得られたサンプルの最適複雑さは,重み付き雑音分布においても有効である。
  論文  参考訳（メタデータ） (2023-06-21T17:03:22Z)
• Approximation of optimization problems with constraints through kernel Sum-Of-Squares [77.27820145069515]
  我々は、点的不等式が非負の kSoS 関数のクラス内で等式となることを示す。 また, 等式制約に焦点をあてることで, 散乱不等式を用いることで, 制約のサンプリングにおける次元性の呪いを軽減することができることを示す。
  論文  参考訳（メタデータ） (2023-01-16T10:30:04Z)
• Optimal variance-reduced stochastic approximation in Banach spaces [114.8734960258221]
  可分バナッハ空間上で定義された収縮作用素の定点を推定する問題について検討する。 演算子欠陥と推定誤差の両方に対して漸近的でない境界を確立する。
  論文  参考訳（メタデータ） (2022-01-21T02:46:57Z)
• Nearest neighbor empirical processes [7.034466417392574]
  近辺から所与の点$x$への応答に基づく実証測度を導入し、中央統計量として研究する。 均一な非漸近境界は、一様エントロピー数上でよく知られた条件の下で成立し、しばしばVapnik-Chervonenkis (Vapnik-Chervonenkis) と呼ばれる。 これは、標準公式を用いて、全データの代わりに最も近い隣人だけを用いて分散を推定できる可能性を示唆している。
  論文  参考訳（メタデータ） (2021-10-27T08:15:20Z)
• Lifting the Convex Conjugate in Lagrangian Relaxations: A Tractable Approach for Continuous Markov Random Fields [53.31927549039624]
  断片的な離散化は既存の離散化問題と矛盾しないことを示す。 この理論を2つの画像のマッチング問題に適用する。
  論文  参考訳（メタデータ） (2021-07-13T12:31:06Z)
• Local convexity of the TAP free energy and AMP convergence for Z2-synchronization [17.940267599218082]
  本稿では,Z2同期化のためのTAP手法を用いて平均場変動ベイズ推定について検討する。 任意の信号強度$lambda > 1$に対して、ベイズ法則の平均付近で機能するTAP自由エネルギーのユニークな局所最小化が存在することを示す。
  論文  参考訳（メタデータ） (2021-06-21T22:08:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。