論文の概要: Asymptotics of Non-Convex Generalized Linear Models in High-Dimensions: A proof of the replica formula

• arxiv url: http://arxiv.org/abs/2502.20003v1
• Date: Thu, 27 Feb 2025 11:29:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-28 14:59:01.788412
• Title: Asymptotics of Non-Convex Generalized Linear Models in High-Dimensions: A proof of the replica formula
• Title（参考訳）: 高次元における非凸一般化線形モデルの漸近性:レプリカ公式の証明
• Authors: Matteo Vilucchio, Yatin Dandi, Cedric Gerbelot, Florent Krzakala,
• Abstract要約: 非次元ガウス正規化モデルの最適性を証明するために,アルゴリズムをどのように利用できるかを示す。 また, 負の正則化モデルの最適性を証明するために, テューキー損失を用いる方法を示す。
• 参考スコア（独自算出の注目度）: 17.036996839737828
• License:
• Abstract: The analytic characterization of the high-dimensional behavior of optimization for Generalized Linear Models (GLMs) with Gaussian data has been a central focus in statistics and probability in recent years. While convex cases, such as the LASSO, ridge regression, and logistic regression, have been extensively studied using a variety of techniques, the non-convex case remains far less understood despite its significance. A non-rigorous statistical physics framework has provided remarkable predictions for the behavior of high-dimensional optimization problems, but rigorously establishing their validity for non-convex problems has remained a fundamental challenge. In this work, we address this challenge by developing a systematic framework that rigorously proves replica-symmetric formulas for non-convex GLMs and precisely determines the conditions under which these formulas are valid. Remarkably, the rigorous replica-symmetric predictions align exactly with the conjectures made by physicists, and the so-called replicon condition. The originality of our approach lies in connecting two powerful theoretical tools: the Gaussian Min-Max Theorem, which we use to provide precise lower bounds, and Approximate Message Passing (AMP), which is shown to achieve these bounds algorithmically. We demonstrate the utility of this framework through significant applications: (i) by proving the optimality of the Tukey loss over the more commonly used Huber loss under a $\varepsilon$ contaminated data model, (ii) establishing the optimality of negative regularization in high-dimensional non-convex regression and (iii) characterizing the performance limits of linearized AMP algorithms. By rigorously validating statistical physics predictions in non-convex settings, we aim to open new pathways for analyzing increasingly complex optimization landscapes beyond the convex regime.
• Abstract（参考訳）: 一般化線形モデル(GLM)の高次元挙動のガウスデータによる解析的特徴は,近年,統計学と確率学において中心的な焦点となっている。 LASSO,尾根回帰,ロジスティック回帰などの凸症例は様々な手法を用いて広範囲に研究されているが,非凸症例は,その意義にもかかわらず理解されていない。 非厳密な統計物理学の枠組みは高次元最適化問題の挙動を顕著に予測しているが、非凸問題の妥当性を厳格に確立することは根本的な課題である。 本研究では,非凸GLMのレプリカ対称式を厳密に証明し,これらの式が有効である条件を正確に決定する体系的枠組みを開発することにより,この問題に対処する。 興味深いことに、厳密なレプリカ対称予想は物理学者による予想と、いわゆるリプリコン条件と正確に一致している。 アプローチの独創性は、2つの強力な理論ツールを結合することにある: 正確な下界を提供するために使用されるガウスの最小定理と、これらの境界をアルゴリズム的に達成するために示される近似メッセージパッシング(AMP)である。 私たちは、重要なアプリケーションを通して、このフレームワークの実用性を実証します。 (i)より一般的に使用されるハマー損失に対して、チューキー損失の最適性を$\varepsilon$汚染データモデルで証明すること。 (二)高次元非凸回帰における負正則化の最適性を確立すること。 (iii)線形化AMPアルゴリズムの性能限界を特徴づける。 非凸状態における統計的物理予測を厳密に検証することにより、凸状態を超えた複雑な最適化景観を解析するための新たな経路を開拓することを目指している。

関連論文リスト

• The Convex Landscape of Neural Networks: Characterizing Global Optima and Stationary Points via Lasso Models [75.33431791218302]
  ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。 本稿では,凸型神経回復モデルについて検討する。 定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。 また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
  論文  参考訳（メタデータ） (2023-12-19T23:04:56Z)
• Convex Parameter Estimation of Perturbed Multivariate Generalized Gaussian Distributions [18.95928707619676]
  本稿では,MGGDパラメータの確立された特性を持つ凸定式化を提案する。 提案するフレームワークは, 精度行列, 平均, 摂動の様々な正規化を組み合わせ, 柔軟である。 実験により, 平均ベクトルパラメータに対して, 同様の性能でより正確な精度と共分散行列推定を行うことができた。
  論文  参考訳（メタデータ） (2023-12-12T18:08:04Z)
• Adaptive Linear Estimating Equations [5.985204759362746]
  本稿では,デバイアス推定器の一般的な構成法を提案する。 適応線形推定方程式の考え方を利用し、正規性の理論的保証を確立する。 我々の推定器の健全な特徴は、マルチアームバンディットの文脈では、我々の推定器は非漸近的な性能を保っていることである。
  論文  参考訳（メタデータ） (2023-07-14T12:55:47Z)
• Curvature-Independent Last-Iterate Convergence for Games on Riemannian Manifolds [77.4346324549323]
  本研究では, 多様体の曲率に依存しないステップサイズが, 曲率非依存かつ直線的最終点収束率を達成することを示す。 我々の知る限りでは、曲率非依存率や/または最終点収束の可能性はこれまでに検討されていない。
  論文  参考訳（メタデータ） (2023-06-29T01:20:44Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• Statistical optimality and stability of tangent transform algorithms in logit models [6.9827388859232045]
  我々は,データ生成過程の条件として,ロジカルオプティマによって引き起こされるリスクに対して,非漸近上界を導出する。 特に,データ生成過程の仮定なしにアルゴリズムの局所的変動を確立する。 我々は,大域収束が得られる半直交設計を含む特別な場合について検討する。
  論文  参考訳（メタデータ） (2020-10-25T05:15:13Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)
• A Dynamical Systems Approach for Convergence of the Bayesian EM Algorithm [59.99439951055238]
  我々は、(離散時間)リアプノフ安定性理論が、必ずしも勾配ベースではない最適化アルゴリズムの分析(および潜在的な設計)において、いかに強力なツールとして役立つかを示す。 本稿では,不完全データベイズフレームワークにおけるパラメータ推定を,MAP-EM (maximum a reari expectation-maximization) と呼ばれる一般的な最適化アルゴリズムを用いて行うことに着目したML問題について述べる。 高速収束(線形あるいは二次的)が達成され,S&Cアプローチを使わずに発表することが困難であった可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-23T01:34:18Z)
• Asymptotic Errors for Teacher-Student Convex Generalized Linear Models (or : How to Prove Kabashima's Replica Formula) [23.15629681360836]
  凸一般化線形モデルの再構成性能に関する解析式を検証した。 解析的継続を行えば、結果を凸(非強直)問題に拡張できることを示す。 主流学習法に関する数値的な例で,本主張を述べる。
  論文  参考訳（メタデータ） (2020-06-11T16:26:35Z)
• Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
  経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。 分散による離散乗法雑音のパラメータによく現れることを示す。 最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
  論文  参考訳（メタデータ） (2020-06-11T09:58:01Z)
• On Low-rank Trace Regression under General Sampling Distribution [9.699586426043885]
  クロスバリデード推定器は一般仮定でほぼ最適誤差境界を満たすことを示す。 また, クロスバリデーション推定器はパラメータ選択理論に着想を得た手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2019-04-18T02:56:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。