論文の概要: Wolkowicz-Styan Upper Bound on the Hessian Eigenspectrum for Cross-Entropy Loss in Nonlinear Smooth Neural Networks

• arxiv url: http://arxiv.org/abs/2604.10202v2
• Date: Tue, 14 Apr 2026 04:13:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-15 14:01:13.325626
• Title: Wolkowicz-Styan Upper Bound on the Hessian Eigenspectrum for Cross-Entropy Loss in Nonlinear Smooth Neural Networks
• Title（参考訳）: 非線形スムーズニューラルネットワークにおけるクロスエントロピー損失のヘッセン固有スペクトル上のWolkowicz-Styan上界
• Authors: Yuto Omae, Kazuki Sakai, Yohei Kakimoto, Makoto Sasaki, Yusuke Sakai, Hirotaka Takahashi,
• Abstract要約: 損失幾何学と一般化との関係はまだよく理解されていない。 本研究は非線形で滑らかな多層ニューラルネットワークに焦点をあて、ヘッセンの最大固有値に対する閉形式上界を導出する。 導出上界は、アフィン変換パラメータ、隠れ層次元、およびトレーニングサンプル間の計算性の度合いの関数として表される。
• 参考スコア（独自算出の注目度）: 3.011579195399507
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural networks (NNs) are central to modern machine learning and achieve state-of-the-art results in many applications. However, the relationship between loss geometry and generalization is still not well understood. The local geometry of the loss function near a critical point is well-approximated by its quadratic form, obtained through a second-order Taylor expansion. The coefficients of the quadratic term correspond to the Hessian matrix, whose eigenspectrum allows us to evaluate the sharpness of the loss at the critical point. Extensive research suggests flat critical points generalize better, while sharp ones lead to higher generalization error. However, sharpness requires the Hessian eigenspectrum, but general matrix characteristic equations have no closed-form solution. Therefore, most existing studies on evaluating loss sharpness rely on numerical approximation methods. Existing closed-form analyses of the eigenspectrum are primarily limited to simplified architectures, such as linear or ReLU-activated networks; consequently, theoretical analysis of smooth nonlinear multilayer neural networks remains limited. Against this background, this study focuses on nonlinear, smooth multilayer neural networks and derives a closed-form upper bound for the maximum eigenvalue of the Hessian with respect to the cross-entropy loss by leveraging the Wolkowicz-Styan bound. Specifically, the derived upper bound is expressed as a function of the affine transformation parameters, hidden layer dimensions, and the degree of orthogonality among the training samples. The primary contribution of this paper is an analytical characterization of loss sharpness in smooth nonlinear multilayer neural networks via a closed-form expression, avoiding explicit numerical eigenspectrum computation. We hope that this work provides a small yet meaningful step toward unraveling the mysteries of deep learning.
• Abstract（参考訳）: ニューラルネットワーク(NN)は現代の機械学習の中心であり、多くのアプリケーションで最先端の結果を達成する。 しかし、損失幾何学と一般化の関係はまだよく理解されていない。 臨界点近傍の損失関数の局所幾何学は、2階テイラー展開によって得られる二次形式によってよく近似される。 二次項の係数は、固有スペクトルが臨界点における損失の鋭さを評価することができるヘッセン行列に対応する。 広範な研究は、平坦な臨界点がより良く一般化し、鋭い点がより高い一般化誤差をもたらすことを示唆している。 しかし、鋭さはヘッセン固有スペクトルを必要とするが、一般行列特性方程式は閉形式解を持たない。 したがって、損失のシャープネスを評価するための既存の研究は、数値近似法に依存している。 既存の固有スペクトルの閉形式解析は主に線形あるいはReLU活性化ネットワークのような単純化されたアーキテクチャに限られており、滑らかな非線形多層ニューラルネットワークの理論解析は依然として限られている。 そこで本研究では,非線形で滑らかな多層ニューラルネットワークに着目し,Wolkowicz-Styan境界を利用して,ヘッセンの最大固有値に対する閉形式上界を導出する。 具体的には、導出した上界は、アフィン変換パラメータ、隠された層次元、およびトレーニングサンプル間の直交度として表される。 本論文の主な貢献は,滑らかな非線形多層ニューラルネットワークにおける損失シャープ性の解析的特徴であり,明示的な数値固有スペクトル計算を回避している。 この研究が、ディープラーニングの謎を解き明かすための、小さくて有意義なステップを提供することを期待しています。

関連論文リスト

• Diagonalizing the Softmax: Hadamard Initialization for Tractable Cross-Entropy Dynamics [29.85277126753054]
  クロスエントロピー(CE)損失はディープラーニングを支配しているが、既存の理論はしばしば単純化に依存している。 標準的なニューラルネットワークベクトルを持つ標準ネットワークの詳細な特徴付けを行う。
  論文  参考訳（メタデータ） (2025-12-03T17:45:09Z)
• Gradient Flow Equations for Deep Linear Neural Networks: A Survey from a Network Perspective [0.0]
  本論文は, 深い線形ニューラルネットワークに付随する勾配流方程式の動的および損失景観の理解における最近の進歩について調査する。 ロスランドスケープは、無限に多くの大域的ミニマ点とサドル点によって特徴づけられる。 論文で使用した隣接行列表現は、商空間構造の存在を強調することができる。
  論文  参考訳（メタデータ） (2025-11-13T14:39:32Z)
• Sharpness of Minima in Deep Matrix Factorization: Exact Expressions [5.736588561666141]
  我々は,任意の最小値における二乗誤差損失のヘシアンに対する最初の正確な表現を示す。 本研究では,勾配学習中の脱走現象について検討した。
  論文  参考訳（メタデータ） (2025-09-30T04:50:28Z)
• Error Bound Analysis for the Regularized Loss of Deep Linear Neural Networks [8.46000784973359]
  本研究では,深部線形ネットワークの正則化二乗損失の局所的幾何学的景観について検討する。 ネットワーク幅と正規化パラメータの緩やかな条件下での正規化損失に対する誤差を確定する。 理論的な結果を支持するため,数値実験を行い,勾配勾配が臨界点に線形に収束することを実証した。
  論文  参考訳（メタデータ） (2025-02-16T14:53:52Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• The Inductive Bias of Flatness Regularization for Deep Matrix Factorization [58.851514333119255]
  この研究は、ディープ線形ネットワークにおけるヘッセン解の最小トレースの帰納バイアスを理解するための第一歩となる。 測定値の標準等尺性(RIP)が1より大きいすべての深さについて、ヘッセンのトレースを最小化することは、対応する終端行列パラメータのシャッテン 1-ノルムを最小化するのとほぼ同値であることを示す。
  論文  参考訳（メタデータ） (2023-06-22T23:14:57Z)
• Phenomenology of Double Descent in Finite-Width Neural Networks [29.119232922018732]
  二重降下(double descend)は、モデルが属する体制に依存して行動を記述する。 我々は影響関数を用いて、人口減少とその下限の適切な表現を導出する。 本分析に基づき,損失関数が二重降下に与える影響について検討した。
  論文  参考訳（メタデータ） (2022-03-14T17:39:49Z)
• Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks [83.58049517083138]
  勾配勾配勾配を用いた2層ReLUネットワークについて検討する。 SGDは単純な解に偏りがあることが示される。 また,データポイントと異なる場所で結び目が発生するという経験的証拠も提供する。
  論文  参考訳（メタデータ） (2021-11-03T15:14:20Z)
• On Convergence of Training Loss Without Reaching Stationary Points [62.41370821014218]
  ニューラルネットワークの重み変数は、損失関数の勾配が消える定常点に収束しないことを示す。 エルゴード理論の力学系に基づく新しい視点を提案する。
  論文  参考訳（メタデータ） (2021-10-12T18:12:23Z)
• Convex Geometry and Duality of Over-parameterized Neural Networks [70.15611146583068]
  有限幅2層ReLUネットワークの解析のための凸解析手法を開発した。 正規化学習問題に対する最適解が凸集合の極点として特徴づけられることを示す。 高次元では、トレーニング問題は無限に多くの制約を持つ有限次元凸問題としてキャストできることが示される。
  論文  参考訳（メタデータ） (2020-02-25T23:05:33Z)
• A Generalized Neural Tangent Kernel Analysis for Two-layer Neural Networks [87.23360438947114]
  重み劣化を伴う雑音勾配降下は依然として「カーネル様」の挙動を示すことを示す。 これは、トレーニング損失が一定の精度まで線形に収束することを意味する。 また,重み劣化を伴う雑音勾配勾配勾配で学習した2層ニューラルネットワークに対して,新しい一般化誤差を確立する。
  論文  参考訳（メタデータ） (2020-02-10T18:56:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。