論文の概要: Non-normal spectral signatures of instability in neural network training dynamics

• arxiv url: http://arxiv.org/abs/2605.23476v1
• Date: Fri, 22 May 2026 10:36:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-25 17:29:20.315561
• Title: Non-normal spectral signatures of instability in neural network training dynamics
• Title（参考訳）: ニューラルネットワークトレーニングダイナミクスにおける不安定性の非正規スペクトルシグネチャ
• Authors: Souvik Ghosh,
• Abstract要約: 実用用途の線形化更新演算子は一般には非正規であることを示す。 これらの作用素に非正規安定理論を適用することにより、(V)が過渡増幅の早期警戒指標となる保守的な擬スペクトル前駆体境界を導出する。
• 参考スコア（独自算出の注目度）: 0.5307735857768683
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training instabilities in deep networks - loss spikes, oscillatory convergence, and gradient pathologies - are empirically prevalent but lack a rigorous operator-theoretic explanation. We show that the linearized update operators for practically used optimizers are generically non-normal: for Adam, non-normality is controlled by the commutator [H, M] between the Hessian and the diagonal adaptive preconditioner, while for SGD with momentum it arises from the augmented state-space structure of the update map. Applying non-normal stability theory to these operators, we derive a conservative pseudospectral precursor bound in which κ(V) serves as an early-warning indicator of transient amplification even when the spectral radius remains below one, and we establish that exceptional points of the update operator appear as the κ(V) -> \infty limiting case of this framework. Numerical experiments on two-layer networks confirm that the spectral radius ρ(J) provides no separation between stable and unstable training phases while κ(V) separates them by approximately one order of magnitude, complementing the classical sharpness criterion with a continuous severity measure of non-normal amplification. These results establish non-Hermitian operator theory as a useful and underexplored framework for neural network optimization stability, offering a diagnostic language and proof-of-concept benchmark for understanding adaptive optimization stability.
• Abstract（参考訳）: 深層ネットワークにおけるトレーニング不安定性 - 損失スパイク、振動収束、勾配病理 - は経験的に一般的であるが、厳密な演算子理論的な説明がない。 実用的なオプティマイザに対する線形化更新演算子は、一般には非正規であり、Adam の場合、非正規性はヘシアンと対角適応プリコンディショナーの間の通勤[H, M] によって制御され、一方、運動量を持つSGD の場合、更新マップの拡張状態空間構造から生じる。 これらの作用素に非正規安定理論を適用することにより、κ(V) がスペクトル半径が 1 以下であっても過渡増幅の早期警戒指標として機能する保守的擬スペクトル前駆体境界を導出し、更新作用素の例外点が κ(V) -> \infty 制限ケースとして現れることを確かめる。 2層ネットワーク上の数値実験により、スペクトル半径 ρ(J) が安定なトレーニング相と不安定なトレーニング相を分離しないのに対し、κ(V) はそれらを約1桁の規模で分離し、古典的なシャープネス基準と非正規増幅の連続的な重度測定を補完する。 これらの結果は、ニューラルネットワーク最適化安定性の有用な、未探索のフレームワークとして非エルミート作用素理論を確立し、適応最適化安定性を理解するための診断言語と概念実証ベンチマークを提供する。

関連論文リスト

• Structure-Aware Epistemic Uncertainty Quantification for Neural Operator PDE Surrogates [10.39662017167378]
  不確かさの定量化(UQ)は、計算的に効率的かつ空間的に忠実でなければならない。 本稿では,現代のNOに共通するモジュラー・アナロジーを利用した構造対応UQスキームを提案する。 挑戦的なPDEベンチマークの実験では、提案された構造認識設計により、より信頼性の高いカバレッジ、よりタイトなバンド、残留不確実性アライメントの改善が示されている。
  論文  参考訳（メタデータ） (2026-02-24T10:17:24Z)
• A Unified Matrix-Spectral Framework for Stability and Interpretability in Deep Learning [0.0]
  我々は、ディープニューラルネットワークの安定性と解釈可能性を分析する統一的なフレームワークを開発する。 我々は,ジャコビアン,パラメータ勾配,ニューラルタンジェントカーネル演算子,ロスヘッセンのスペクトル情報を単一の安定性尺度に集約するグローバルマトリックス安定度指数を導入する。
  論文  参考訳（メタデータ） (2026-02-01T10:18:37Z)
• Avoiding Premature Collapse: Adaptive Annealing for Entropy-Regularized Structural Inference [1.7523718031184992]
  この障害の基本的なメカニズムは、 textbf Premature Mode Collapseである。 提案手法は,適応型スケジューリングアルゴリズムであるtextbfEfficient Piecewise Hybrid Adaptive Stability Control (EPH-ASC) で,推論過程の安定性をモニタする。
  論文  参考訳（メタデータ） (2026-01-30T14:47:18Z)
• The Procrustean Bed of Time Series: The Optimization Bias of Point-wise Loss [53.542743390809356]
  本稿では,最適化バイアス(EOB)の期待に関する第一原理解析を提案する。 時間列が決定論的で構造化されるほど、ポイントワイドの損失関数によるバイアスがより厳しくなる。 本稿では,DFTとDWTの両原理を同時に実現する具体的ソリューションを提案する。
  論文  参考訳（メタデータ） (2025-12-21T06:08:22Z)
• Analysis of Fourier Neural Operators via Effective Field Theory [11.824913874212802]
  無限次元関数空間におけるFNOの体系的有効場理論解析について述べる。 非線形な活性化は、必然的に周波数入力を周波数モードに分割し、それ以外はスペクトル乱れによって破棄されることを示す。 本研究は, 非線形性によってニューラル演算子が非自明な特徴を捉えることができることの定量化と, スケール不変なアクティベーションと残差接続がFNOにおける特徴学習を促進する理由を説明するものである。
  論文  参考訳（メタデータ） (2025-07-29T14:10:46Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。