論文の概要: Topological Exploration of High-Dimensional Empirical Risk Landscapes: general approach, and applications to phase retrieval

• arxiv url: http://arxiv.org/abs/2602.17779v1
• Date: Thu, 19 Feb 2026 19:21:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-23 18:01:41.116697
• Title: Topological Exploration of High-Dimensional Empirical Risk Landscapes: general approach, and applications to phase retrieval
• Title（参考訳）: 高次元経験的リスク景観のトポロジカル探索 : 一般的なアプローチと位相探索への応用
• Authors: Antoine Maillard, Tony Bonnaire, Giulio Biroli,
• Abstract要約: 高次元ガウス単射モデルに対する経験的リスクの展望を考察する。 まず、これらの複雑さに関する文献で以前に確立された変分式を劇的に単純化できることを示す。 本研究では,損失景観の位相図の完全な導出を行う実位相探索問題に適用する。
• 参考スコア（独自算出の注目度）: 9.290757451344673
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We consider the landscape of empirical risk minimization for high-dimensional Gaussian single-index models (generalized linear models). The objective is to recover an unknown signal $\boldsymbolθ^\star \in \mathbb{R}^d$ (where $d \gg 1$) from a loss function $\hat{R}(\boldsymbolθ)$ that depends on pairs of labels $(\mathbf{x}_i \cdot \boldsymbolθ, \mathbf{x}_i \cdot \boldsymbolθ^\star)_{i=1}^n$, with $\mathbf{x}_i \sim \mathcal{N}(0, I_d)$, in the proportional asymptotic regime $n \asymp d$. Using the Kac-Rice formula, we analyze different complexities of the landscape -- defined as the expected number of critical points -- corresponding to various types of critical points, including local minima. We first show that some variational formulas previously established in the literature for these complexities can be drastically simplified, reducing to explicit variational problems over a finite number of scalar parameters that we can efficiently solve numerically. Our framework also provides detailed predictions for properties of the critical points, including the spectral properties of the Hessian and the joint distribution of labels. We apply our analysis to the real phase retrieval problem for which we derive complete topological phase diagrams of the loss landscape, characterizing notably BBP-type transitions where the Hessian at local minima (as predicted by the Kac-Rice formula) becomes unstable in the direction of the signal. We test the predictive power of our analysis to characterize gradient flow dynamics, finding excellent agreement with finite-size simulations of local optimization algorithms, and capturing fine-grained details such as the empirical distribution of labels. Overall, our results open new avenues for the asymptotic study of loss landscapes and topological trivialization phenomena in high-dimensional statistical models.
• Abstract（参考訳）: 本研究では,高次元ガウス単インデックスモデル(一般化線形モデル)に対する経験的リスク最小化の展望を考察する。 目的は、損失関数 $\hat{R}(\boldsymbolθ)$ から未知の信号 $\boldsymbolθ^\star \in \mathbb{R}^d$ (ここで $d \gg 1$) を回収することであり、これはラベルのペアである $(\mathbf{x}_i \cdot \boldsymbolθ, \mathbf{x}_i \cdot \boldsymbolθ^\star)_{i=1}^n$ と $\mathbf{x}_i \sim \mathcal{N}(0, I_d)$ に依存する。 Kac-Riceの公式を用いて、局所ミニマを含む様々な臨界点のタイプに対応する、風景の様々な複雑さ(期待される臨界点の数として定義される)を分析する。 まず、これらの複雑性に関する文献で以前に確立された変分式を劇的に単純化し、有限個のスカラーパラメータに対する明示的な変分問題を減らし、数値的に効率的に解けることを示した。 このフレームワークはまた、ヘッセンのスペクトル特性やラベルの合同分布など、臨界点の性質の詳細な予測も提供する。 我々は,ロスランドスケープの全位相図を導出する実位相探索問題に適用し,局所ミニマにおけるヘシアンが信号方向に不安定になるようなBBP型遷移を特徴付ける。 本研究では, 局所最適化アルゴリズムの有限サイズシミュレーションと良好な一致を見出すとともに, ラベルの実験的分布などの微細な詳細を把握し, 勾配流れのダイナミクスを特徴づける解析の予測力を検証した。 本研究の結果は, 高次元統計モデルにおける損失景観と位相的自明化現象の漸近研究の新たな道を開くものである。

関連論文リスト

• Local minima of the empirical risk in high dimension: General theorems and convex examples [8.748904058015574]
  我々は、データベクトル$mathbfxi$が$d-最小化であるような高次元経験的リスクの一般的なモデルを考える。 我々は推定誤差と予測誤差に基づいてシャープを導出する。
  論文  参考訳（メタデータ） (2025-02-04T03:02:24Z)
• A Sample Efficient Alternating Minimization-based Algorithm For Robust Phase Retrieval [56.67706781191521]
  そこで本研究では,未知の信号の復元を課題とする,ロバストな位相探索問題を提案する。 提案するオラクルは、単純な勾配ステップと外れ値を用いて、計算学的スペクトル降下を回避している。
  論文  参考訳（メタデータ） (2024-09-07T06:37:23Z)
• A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
  本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。 i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。 その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
  論文  参考訳（メタデータ） (2024-04-18T16:46:08Z)
• Computational-Statistical Gaps in Gaussian Single-Index Models [77.1473134227844]
  単次元モデル(Single-Index Models)は、植木構造における高次元回帰問題である。 我々は,統計的クエリ (SQ) と低遅延多項式 (LDP) フレームワークの両方において,計算効率のよいアルゴリズムが必ずしも$Omega(dkstar/2)$サンプルを必要とすることを示した。
  論文  参考訳（メタデータ） (2024-03-08T18:50:19Z)
• Information-Theoretic Thresholds for Planted Dense Cycles [52.076657911275525]
  本研究では,社会科学や生物科学においてユビキタスな小世界ネットワークのランダムグラフモデルについて検討する。 植え込み高密度サイクルの検出と回復の両面において、情報理論の閾値を$n$, $tau$、エッジワイド信号対雑音比$lambda$で特徴づける。
  論文  参考訳（メタデータ） (2024-02-01T03:39:01Z)
• Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector Problems [98.34292831923335]
  オンライン相関解析の問題から,emphStochastic Scaled-Gradient Descent (SSD)アルゴリズムを提案する。 我々はこれらのアイデアをオンライン相関解析に適用し、局所収束率を正規性に比例した最適な1時間スケールのアルゴリズムを初めて導いた。
  論文  参考訳（メタデータ） (2021-12-29T18:46:52Z)
• Analytic Study of Families of Spurious Minima in Two-Layer ReLU Neural Networks [15.711517003382484]
  ヘッセンスペクトルは、$d$で成長する$Theta(d)$固有値を除いて、正近傍に集中していることが示される。 これにより、分岐理論の強力な道具を用いてミニマの作成と消滅が可能となる。
  論文  参考訳（メタデータ） (2021-07-21T22:05:48Z)
• Lattice partition recovery with dyadic CART [79.96359947166592]
  我々は、$d$次元格子上の加法ガウス雑音によって破損したピースワイド定値信号について検討する。 この形式のデータは、多くのアプリケーションで自然に発生し、統計処理や信号処理の文献において、信号の検出やテスト、ノイズの除去、推定といったタスクが広く研究されている。 本稿では,未知の信号の一貫性領域によって誘導される格子の分割を推定する,分割回復の問題について考察する。 我々は、DCARTベースの手順が、下位分割を$sigma2 k*の順序で一貫して推定することを証明した。
  論文  参考訳（メタデータ） (2021-05-27T23:41:01Z)
• A finite sample analysis of the benign overfitting phenomenon for ridge function estimation [0.0]
  テキストリッジ型非線形モデルの有限サンプル解析を提案する。 本研究は,2重降下現象のテクスタイト推定問題とテクスタイト予測問題の両方について,テクスタイトオーバーパラメトリクス状態について検討する。
  論文  参考訳（メタデータ） (2020-07-25T08:40:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。