論文の概要: Convergence of optimizers implies eigenvalues filtering at equilibrium

• arxiv url: http://arxiv.org/abs/2510.09034v1
• Date: Fri, 10 Oct 2025 06:09:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 00:38:48.203238
• Title: Convergence of optimizers implies eigenvalues filtering at equilibrium
• Title（参考訳）: 最適化器の収束は平衡における固有値フィルタリングを意味する
• Authors: Jerome Bolte, Quoc-Tung Le, Edouard Pauwels,
• Abstract要約: 我々は、異なる勾配が、そのハイパーパラメータによって決定される固有値フィルタとして効果的に機能すると主張している。 これらの知見に触発されて、拡張固有値フィルタリングを示す2つの新しいアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 7.901604416781478
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Ample empirical evidence in deep neural network training suggests that a variety of optimizers tend to find nearly global optima. In this article, we adopt the reversed perspective that convergence to an arbitrary point is assumed rather than proven, focusing on the consequences of this assumption. From this viewpoint, in line with recent advances on the edge-of-stability phenomenon, we argue that different optimizers effectively act as eigenvalue filters determined by their hyperparameters. Specifically, the standard gradient descent method inherently avoids the sharpest minima, whereas Sharpness-Aware Minimization (SAM) algorithms go even further by actively favoring wider basins. Inspired by these insights, we propose two novel algorithms that exhibit enhanced eigenvalue filtering, effectively promoting wider minima. Our theoretical analysis leverages a generalized Hadamard--Perron stable manifold theorem and applies to general semialgebraic $C^2$ functions, without requiring additional non-degeneracy conditions or global Lipschitz bound assumptions. We support our conclusions with numerical experiments on feed-forward neural networks.
• Abstract（参考訳）: ディープニューラルネットワークトレーニングにおける実験的な証拠は、さまざまなオプティマイザがほぼグローバルなオプティマを見つける傾向があることを示唆している。 本稿では、この仮定の結果に焦点をあてて、任意の点への収束が証明されるよりもむしろ仮定されるという逆の視点を採用する。 この観点から、近年の安定性現象の進展に合わせて、各最適化器は、過度パラメータによって決定される固有値フィルタとして効果的に機能すると主張している。 具体的には、標準勾配降下法は本質的に最もシャープな最小値を避けるが、シャープネス・アウェア最小化(SAM)アルゴリズムはより広い流域を積極的に好んでさらに発展する。 これらの知見に触発されて、拡張固有値フィルタリングを示す2つの新しいアルゴリズムを提案し、より広範なミニマを効果的に促進する。 我々の理論解析は一般化されたアダマール-ペロンの安定多様体定理を利用し、追加の非退化条件や大域リプシッツ有界仮定を必要とせず、一般半代数の$C^2$函数に適用する。 我々は、フィードフォワードニューラルネットワークに関する数値実験で結論を支持した。

関連論文リスト

• Taming Nonconvex Stochastic Mirror Descent with General Bregman Divergence [25.717501580080846]
  本稿では、現代の非最適化設定における勾配フォワードミラー(SMD)の収束を再考する。 トレーニングのために,線形ネットワーク問題に対する確率収束アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-02-27T17:56:49Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Robust Stochastic Optimization via Gradient Quantile Clipping [6.2844649973308835]
  グラディエントDescent(SGD)のための量子クリッピング戦略を導入する。 通常のクリッピングチェーンとして、グラデーション・ニュー・アウトリージを使用します。 本稿では,Huberiles を用いたアルゴリズムの実装を提案する。
  論文  参考訳（メタデータ） (2023-09-29T15:24:48Z)
• The Inductive Bias of Flatness Regularization for Deep Matrix Factorization [58.851514333119255]
  この研究は、ディープ線形ネットワークにおけるヘッセン解の最小トレースの帰納バイアスを理解するための第一歩となる。 測定値の標準等尺性(RIP)が1より大きいすべての深さについて、ヘッセンのトレースを最小化することは、対応する終端行列パラメータのシャッテン 1-ノルムを最小化するのとほぼ同値であることを示す。
  論文  参考訳（メタデータ） (2023-06-22T23:14:57Z)
• Nonasymptotic theory for two-layer neural networks: Beyond the bias-variance trade-off [10.182922771556742]
  本稿では,ReLUアクティベーション機能を持つ2層ニューラルネットワークに対する漸近的一般化理論を提案する。 過度にパラメータ化されたランダムな特徴モデルは次元性の呪いに悩まされ、従って準最適であることを示す。
  論文  参考訳（メタデータ） (2021-06-09T03:52:18Z)
• Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
  暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。 彼らは不利な姿勢と収束の不安定さに悩まされる。 本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
  論文  参考訳（メタデータ） (2021-06-06T18:05:02Z)
• Lipschitz Bounded Equilibrium Networks [3.2872586139884623]
  本稿では、平衡ニューラルネットワーク、すなわち暗黙の方程式で定義されるネットワークの新しいパラメータ化を提案する。 新しいパラメータ化は、制約のない最適化を通じてトレーニング中にリプシッツ境界を許容する。 画像分類実験では、リプシッツ境界は非常に正確であり、敵攻撃に対する堅牢性を向上させることが示されている。
  論文  参考訳（メタデータ） (2020-10-05T01:00:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。