論文の概要: Benign population landscapes do not transfer to empirical risk minimization in nonsmooth optimization

• arxiv url: http://arxiv.org/abs/2611.01384v1
• Date: Sun, 01 Nov 2026 00:45:27 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:44:13.847091
• Title: Benign population landscapes do not transfer to empirical risk minimization in nonsmooth optimization
• Title（参考訳）: 良性集団の景観は非滑らかな最適化における経験的リスク最小化に移行しない
• Abstract要約: 良性反復法は、データサイエンスにおける非滑らかな問題の成功を説明する。 厳密なサドルを避ける方法に対しては、臨界点への収束は最小化への収束を意味する。 しかしながら、この設定において、良性幾何は経験的な目的に移行する必要はないことを示す。
• 参考スコア（独自算出の注目度）: 21.305661022798407
• License:
• Abstract: Benign landscapes provide a geometric explanation for the success of iterative methods on nonconvex problems arising in data science. The landscape is benign if every local minimizer is global and every other critical point is a strict saddle. For methods that avoid strict saddles, convergence to a critical point therefore implies convergence to a global minimizer. For smooth stochastic optimization, a common strategy for establishing such landscapes proceeds in two steps: $(i)$ establish benign geometry for the population objective---which is often easier to analyze---and $(ii)$ transfer this geometry to the empirical objective using concentration of gradients and Hessians. Recent work has extended saddle-point avoidance guarantees to weakly convex nonsmooth optimization through the notion of active strict saddles. We show, however, that benign population geometry need not transfer to empirical objectives in this setting. Specifically, for robust phase retrieval with Gaussian measurements---a well-studied and highly structured problem---the population objective is benign. Nevertheless, the empirical objective has sharp spurious local minima with probability bounded away from zero as the sample size tends to infinity. This asymptotic probability lower bound is independent of the dimension.
• Abstract（参考訳）: 良質な風景は、データ科学における非凸問題に対する反復的手法の成功に関する幾何学的な説明を提供する。 ローカルなミニマライザがすべてグローバルで、その他の重要なポイントが厳格なサドルであれば、ランドスケープは良心的です。 厳密なサドルを避ける方法に対しては、臨界点への収束は、大域的最小値への収束を意味する。 滑らかな確率的最適化のために、そのような景観を確立するための一般的な戦略は次の2つのステップで進行する。 (i) 人口目的のための良性幾何学を確立する--しばしば分析しやすく--および$ (ii)この幾何を勾配とヘッセンの濃度を使って経験的目的に転移する。 最近の研究は、アクティブな厳密なサドルの概念を通じて、非滑らかな最適化を弱凸にするサドル点回避の保証を拡張している。 しかし、この設定では、良性集団幾何学は経験的な目的に移行する必要はない。 具体的には、ガウス測度を用いたロバストな位相探索 -- 十分に研究され、高度に構造化された問題 -- に対して、人口目標が良質である。 それでも、経験的目的は、サンプルサイズが無限大になる傾向にあるため、確率がゼロから離れた急激な局所最小値を持つ。 この漸近確率下界は次元とは独立である。

関連論文リスト

• Wasserstein approximation of measures via orthogonal frames: statistical and computational complexities [5.4906300053327834]
  PCAのような次元還元法は、データ内のほとんどの変動をキャプチャする部分空間を識別するが、その内部では区別されていない。 We pose this task as Wasserstein approximation of the data distribution。 軽微な仮定では,経験的リスク最小化法と局所勾配法の両方が,ほぼ最適速度で個体群・最適フレームを回復することを示した。
  論文  参考訳（メタデータ） (2026-10-27T03:36:48Z)
• Across the Loss Landscape with Progressive Growth [51.366966420881646]
  成長を漸進的緩和と見なして、より平坦な地域に向けての訓練戦略がいかに成長・最適化されるかを示す。 制御されたおもちゃの流域や現実的なResNet/CI-100環境でこれらの予測を実証的に検証する。 プログレッシブな部分空間成長は、より平坦な解を確実に生成するが、曲率の低減は、普遍的にテスト性能の向上に変換されず、平坦性一般化接続における微妙さを強調している。
  論文  参考訳（メタデータ） (2026-08-25T13:50:48Z)
• Stochastic Saddle Avoidance Beyond Unit Excitation and Smoothness: A Pathwise Lyapunov-Perron Framework [13.105625785987321]
  ユニット(UE)はサドル回避の一般的な前提であるが、実際のノイズ構造を単純化する。 有限サム問題では、勾配ノイズは低次元のデータ依存部分空間に存在することがある。 UEを使わずに再帰の回避定理をほぼ確実に証明する。
  論文  参考訳（メタデータ） (2026-08-04T01:34:36Z)
• Fitting Unknown Number of Hyperplanes with Manifold Optimization [57.48093263119306]
  未知数の線形平面をデータに適合させることは、機械学習の根本的な課題である。 既存のアプローチはしばしば最適な最適化に苦しむか、幾何的整合性に欠ける。
  論文  参考訳（メタデータ） (2026-05-27T14:02:20Z)
• Zeroth-Order Optimization Finds Flat Minima [51.41529512093436]
  標準二点推定器によるゼロ階最適化は、ヘッセンの小さなトレースを持つ解を好むことを示す。 さらに、凸関数と十分に滑らかな関数に対する近似平坦なミニマに対して、ゼロ階最適化の収束率を提供する。
  論文  参考訳（メタデータ） (2025-06-05T17:59:09Z)
• Methods with Local Steps and Random Reshuffling for Generally Smooth Non-Convex Federated Optimization [52.61737731453222]
  非マシーン学習問題は通常、標準的な滑らかさの仮定に従わない。 本稿では,ローカルステップ,クライアントの部分的参加,ランダムランダムリシャッフルによる新しい手法の提案と解析を行う。 我々の理論は、標準的な滑らかな問題に対する既知の結果と一致している。
  論文  参考訳（メタデータ） (2024-12-03T19:20:56Z)
• Riemannian stochastic optimization methods avoid strict saddle points [68.80251170757647]
  研究中のポリシーは、確率 1 の厳密なサドル点/部分多様体を避けていることを示す。 この結果は、アルゴリズムの極限状態が局所最小値にしかならないことを示すため、重要な正当性チェックを提供する。
  論文  参考訳（メタデータ） (2023-11-04T11:12:24Z)
• STay-ON-the-Ridge: Guaranteed Convergence to Local Minimax Equilibrium in Nonconvex-Nonconcave Games [34.04699387005116]
  非競合対象に対してmin-maxサイクルを収束させることが保証される手法を提案する。 我々の方法は問題の潜在的な性質を満たすように設計されている。
  論文  参考訳（メタデータ） (2022-10-18T11:33:30Z)
• STORM+: Fully Adaptive SGD with Momentum for Nonconvex Optimization [74.1615979057429]
  本研究では,スムーズな損失関数に対する期待値である非バッチ最適化問題について検討する。 我々の研究は、学習率と運動量パラメータを適応的に設定する新しいアプローチとともに、STORMアルゴリズムの上に構築されている。
  論文  参考訳（メタデータ） (2021-11-01T15:43:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。