論文の概要: Closed-Form Steepest Descent Direction toward Flat Minima: Reducing Upper Bounds on the Loss Hessian Eigenspectrum in Neural Networks

• arxiv url: http://arxiv.org/abs/2606.28662v1
• Date: Sat, 27 Jun 2026 00:47:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:15.63493
• Title: Closed-Form Steepest Descent Direction toward Flat Minima: Reducing Upper Bounds on the Loss Hessian Eigenspectrum in Neural Networks
• Title（参考訳）: 平坦なミニマに向けての終局的な最深度方向:ニューラルネットワークにおけるロスヘッセン固有スペクトル上の上界の低減
• Abstract要約: 我々は、WS上界の勾配を解析的に導出し、平坦なミニマへと導く方向を特徴付ける。 実験により、HSR正則化はヘッセン固有値スペクトルを狭め、鋭いミニマ点やサドル点を避け、平坦なミニマへの収束を促進することが示されている。
• 参考スコア（独自算出の注目度）: 3.011579195399507
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The flatness hypothesis suggests that flatness of the loss landscape, as measured by the eigenvalues of the loss Hessian, correlates with better neural network generalization. While various algorithms reduce these eigenvalues, most focus on procedural design, leaving it unclear how data distributions and NN parameters structurally determine directions toward flat minima. Characterizing these directions analytically is generally intractable. To overcome this mathematical difficulty, recent studies derived the Wolkowicz-Styan (WS) upper bound on the maximum eigenvalue of the cross-entropy loss Hessian in three-layer NNs. Although this upper bound is differentiable, its gradient was not derived. Therefore, we analytically derive the gradient of the WS upper bound to characterize directions leading to flat minima. Based on this, we propose Hessian Spectral Range (HSR) Regularization, which updates parameters along the steepest descent direction of the WS bound. Experiments demonstrate that HSR Regularization narrows the Hessian eigenvalue spectrum, avoids sharp minima and saddle points, and promotes convergence to flat minima. Although the applicability of this method is currently limited to cross-entropy loss and three-layer architectures, to the best of the authors' knowledge, this is the first study to report a closed-form gradient that promotes convergence to flat minima without numerical approximations. Therefore, the theoretical analysis of this gradient is expected to contribute to the further development of NNs.
• Abstract（参考訳）: 平坦性仮説は、損失ヘッセンの固有値によって測定された損失景観の平坦性は、より良いニューラルネットワークの一般化と相関していることを示唆している。 様々なアルゴリズムがこれらの固有値を減少させるが、ほとんどの場合、手続き設計に重点を置いており、データ分布とNNパラメータがどのように平坦なミニマへの方向を決定するかは明らかになっていない。 これらの方向を解析的に特徴づけることは一般的に難解である。 この数学的困難を克服するために、最近の研究は、3層NNにおけるクロスエントロピー損失 Hessian の最大固有値上の Wolkowicz-Styan (WS) 上界を導出した。 この上限は微分可能であるが、勾配は導出されなかった。 したがって、WS上界の勾配を解析的に導出し、平坦な最小値につながる方向を特徴付ける。 これに基づいて、WS 境界の最も急勾配方向に沿ってパラメータを更新する Hessian Spectral Range (HSR) Regularization を提案する。 実験により、HSR正則化はヘッセン固有値スペクトルを狭め、鋭いミニマ点やサドル点を避け、平坦なミニマへの収束を促進することが示されている。 この手法の適用性は現在, クロスエントロピー損失と3層アーキテクチャに限られているが, 著者らの知る限りでは, 数値近似を伴わずに平坦なミニマへの収束を促進する閉形式勾配を報告した最初の研究である。 したがって、この勾配の理論解析は、NNのさらなる発展に寄与することが期待されている。

関連論文リスト

• Across the Loss Landscape with Progressive Growth [51.366966420881646]
  成長を漸進的緩和と見なして、より平坦な地域に向けての訓練戦略がいかに成長・最適化されるかを示す。 制御されたおもちゃの流域や現実的なResNet/CI-100環境でこれらの予測を実証的に検証する。 プログレッシブな部分空間成長は、より平坦な解を確実に生成するが、曲率の低減は、普遍的にテスト性能の向上に変換されず、平坦性一般化接続における微妙さを強調している。
  論文  参考訳（メタデータ） (2026-08-25T13:50:48Z)
• Fisher-Geometric Sharpness and the Implicit Bias of SGD toward Flat Minima [0.0]
  勾配降下(SGD)は、平らなミニマを暗黙的に好んでいる。 滑らかな関数保存型再パラメータ化の下では不変であることが証明される。 MNIST と CIFAR-10 の実験により、SR はユークリッドのシャープネスがそうでない方法で一般化を確実に追跡することを確認した。
  論文  参考訳（メタデータ） (2026-06-18T16:48:18Z)
• SDS-LoRA: Overcoming Anisotropic Gradient Scaling in Low-Rank Adaptation [64.33799467286265]
  Low-Rank Adaptation (LoRA)は、大規模な事前訓練されたモデルの下流タスクへの効率的な適応を可能にする。 完全な微調整勾配が低ランク行列に逆伝播すると,その特異値によって誘導される異方性スケーリングを受けることを示す。 本稿では,後方パスから特異値を構造的に分離する新しい低ランクパラメータ化SDS-LoRAを提案する。
  論文  参考訳（メタデータ） (2026-06-15T09:27:50Z)
• Wolkowicz-Styan Upper Bound on the Hessian Eigenspectrum for Cross-Entropy Loss in Nonlinear Smooth Neural Networks [3.011579195399507]
  損失幾何学と一般化との関係はまだよく理解されていない。 本研究は非線形で滑らかな多層ニューラルネットワークに焦点をあて、ヘッセンの最大固有値に対する閉形式上界を導出する。 導出上界は、アフィン変換パラメータ、隠れ層次元、およびトレーニングサンプル間の計算性の度合いの関数として表される。
  論文  参考訳（メタデータ） (2026-04-11T13:16:29Z)
• Revisiting Zeroth-Order Optimization: Minimum-Variance Two-Point Estimators and Directionally Aligned Perturbations [57.179679246370114]
  乱摂動の分布は, 摂動段差がゼロになる傾向にあるため, 推定子の分散を最小限に抑える。 以上の結果から, 一定の長さを維持するのではなく, 真の勾配に方向を合わせることが可能であることが示唆された。
  論文  参考訳（メタデータ） (2025-10-22T19:06:39Z)
• Convergence Rates for Gradient Descent on the Edge of Stability in Overparametrised Least Squares [33.60489399178793]
  ニューラルネットワーク上の勾配降下は、安定性の端と呼ばれる大きなステップサイズで頻繁に実行される。 過度にパラメータ化された最小二乗の設定において、学習率の高い勾配降下に対する収束率を提供する。
  論文  参考訳（メタデータ） (2025-10-20T13:02:41Z)
• Stable Minima of ReLU Neural Networks Suffer from the Curse of Dimensionality: The Neural Shattering Phenomenon [25.998397575754865]
  平坦さ/低(ロス)曲率の暗黙バイアスとそのReLUネットワークの一般化への影響について検討する。 平坦性は一般化を示唆するが, 入力次元が大きくなるにつれて収束速度は指数関数的に低下する。
  論文  参考訳（メタデータ） (2025-06-25T19:10:03Z)
• A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
  本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。 i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。 その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
  論文  参考訳（メタデータ） (2024-04-18T16:46:08Z)
• On the Convergence of Gradient Descent for Large Learning Rates [55.33626480243135]
  固定ステップサイズを使用すると収束が不可能であることを示す。 正方形損失を持つ線形ニューラルネットワークの場合,これを証明した。 また、勾配に対するリプシッツ連続性のような強い仮定を必要とせず、より一般的な損失に対する収束の不可能性も証明する。
  論文  参考訳（メタデータ） (2024-02-20T16:01:42Z)
• Implicit regularization in AI meets generalized hardness of approximation in optimization -- Sharp results for diagonal linear networks [0.0]
  直交線形ネットワークの勾配流による暗黙の正規化について, 鋭い結果を示す。 これを近似の一般化硬度における相転移現象と関連付ける。 結果の非シャープ性は、基礎追従最適化問題に対して、GHA現象が起こらないことを意味する。
  論文  参考訳（メタデータ） (2023-07-13T13:27:51Z)
• Last-Iterate Convergence of Adaptive Riemannian Gradient Descent for Equilibrium Computation [52.73824786627612]
  本稿では,テクスト幾何学的強単調ゲームに対する新たな収束結果を確立する。 我々のキーとなる結果は、RGDがテクスト幾何学的手法で最終定位線形収束を実現することを示しています。 全体として、ユークリッド設定を超えるゲームに対して、幾何学的に非依存な最終点収束解析を初めて提示する。
  論文  参考訳（メタデータ） (2023-06-29T01:20:44Z)
• The Inductive Bias of Flatness Regularization for Deep Matrix Factorization [58.851514333119255]
  この研究は、ディープ線形ネットワークにおけるヘッセン解の最小トレースの帰納バイアスを理解するための第一歩となる。 測定値の標準等尺性(RIP)が1より大きいすべての深さについて、ヘッセンのトレースを最小化することは、対応する終端行列パラメータのシャッテン 1-ノルムを最小化するのとほぼ同値であることを示す。
  論文  参考訳（メタデータ） (2023-06-22T23:14:57Z)
• Beyond the Edge of Stability via Two-step Gradient Updates [49.03389279816152]
  Gradient Descent(GD)は、現代の機械学習の強力な仕事場である。 GDが局所最小値を見つける能力は、リプシッツ勾配の損失に対してのみ保証される。 この研究は、2段階の勾配更新の分析を通じて、単純だが代表的でありながら、学習上の問題に焦点をあてる。
  論文  参考訳（メタデータ） (2022-06-08T21:32:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。