論文の概要: A Unified Matrix-Spectral Framework for Stability and Interpretability in Deep Learning
- arxiv url: http://arxiv.org/abs/2602.01136v1
- Date: Sun, 01 Feb 2026 10:18:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-03 19:28:33.618502
- Title: A Unified Matrix-Spectral Framework for Stability and Interpretability in Deep Learning
- Title(参考訳): 深層学習における安定性と解釈性のための統一マトリックススペクトルフレームワーク
- Authors: Ronald Katende,
- Abstract要約: 我々は、ディープニューラルネットワークの安定性と解釈可能性を分析する統一的なフレームワークを開発する。
我々は,ジャコビアン,パラメータ勾配,ニューラルタンジェントカーネル演算子,ロスヘッセンのスペクトル情報を単一の安定性尺度に集約するグローバルマトリックス安定度指数を導入する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We develop a unified matrix-spectral framework for analyzing stability and interpretability in deep neural networks. Representing networks as data-dependent products of linear operators reveals spectral quantities governing sensitivity to input perturbations, label noise, and training dynamics. We introduce a Global Matrix Stability Index that aggregates spectral information from Jacobians, parameter gradients, Neural Tangent Kernel operators, and loss Hessians into a single stability scale controlling forward sensitivity, attribution robustness, and optimization conditioning. We further show that spectral entropy refines classical operator-norm bounds by capturing typical, rather than purely worst-case, sensitivity. These quantities yield computable diagnostics and stability-oriented regularization principles. Synthetic experiments and controlled studies on MNIST, CIFAR-10, and CIFAR-100 confirm that modest spectral regularization substantially improves attribution stability even when global spectral summaries change little. The results establish a precise connection between spectral concentration and analytic stability, providing practical guidance for robustness-aware model design and training.
- Abstract(参考訳): 深層ニューラルネットワークの安定性と解釈可能性を分析するための統合行列スペクトルフレームワークを開発した。
ネットワークを線形演算子のデータ依存生成物として表現することは、入力摂動、ラベルノイズ、トレーニングダイナミクスに対する感度を規定するスペクトル量を明らかにする。
我々は,ジャコビアン,パラメータ勾配,ニューラル・タンジェント・カーネル演算子,ロス・ヘッセンのスペクトル情報を1つの安定性尺度に集約し,前方感度,帰属ロバスト性,最適化条件を決定するグローバルマトリックス安定度指数を導入する。
さらに、スペクトルエントロピーは、純粋に最悪の場合ではなく、典型的な感度を捉えることによって古典的作用素-ノルム境界を洗練させることを示す。
これらの量によって計算可能な診断と安定性指向の正規化原理が得られる。
MNIST、CIFAR-10、CIFAR-100の合成実験と制御研究により、大域的なスペクトルの総和がほとんど変化しない場合でも、モデストスペクトルの正則化が帰属安定性を著しく向上することが確認された。
その結果,スペクトル濃度と解析安定性の正確な関係が確立され,ロバストネスを考慮したモデル設計とトレーニングの実践的ガイダンスが得られた。
関連論文リスト
- SIGMA: Scalable Spectral Insights for LLM Collapse [51.863164847253366]
SIGMA(Spectral Inequalities for Gram Matrix Analysis)は,モデル崩壊のための統一的なフレームワークである。
行列のスペクトル上の決定論的境界を導出するベンチマークを利用することで、SIGMAは表現空間の収縮を追跡するために数学的に基底化された計量を提供する。
我々は、SIGMAが状態への遷移を効果的に捉え、崩壊のメカニズムに関する理論的知見の両方を提供することを示した。
論文 参考訳(メタデータ) (2026-01-06T19:47:11Z) - Analytic and Variational Stability of Deep Learning Systems [0.0]
安定性シグネチャの均一な有界性は、学習の流れに沿って散逸するリャプノフ型エネルギーの存在と等価であることを示す。
スムーズな状況下では、このフレームワークは、スペクトルノルム、アクティベーション規則性、ステップサイズ、学習速度を学習力学の収縮率にリンクする明確な安定性指数を得る。
この理論は、ReLUネットワーク、近近と近近の更新、下位のフローを含む非滑らかな学習システムにまで拡張されている。
論文 参考訳(メタデータ) (2025-12-24T14:43:59Z) - From Eigenmodes to Proofs: Integrating Graph Spectral Operators with Symbolic Interpretable Reasoning [0.0]
完全スペクトル型ニューロシンボリック推論フレームワークであるSpectral NSRを紹介する。
論理ルールをスペクトルテンプレートとして組み込み、グラフスペクトル領域で直接推論を行う。
スペクトルNSRは, 高い精度, 高速な推測, 対向摂動に対する頑健性の向上, 先行するベースラインと比較して高い解釈性を実現している。
論文 参考訳(メタデータ) (2025-09-07T01:12:20Z) - Non-Asymptotic Stability and Consistency Guarantees for Physics-Informed Neural Networks via Coercive Operator Analysis [0.0]
物理インフォームドニューラルネットワーク(PINN)の安定性と一貫性を解析するための統一的理論的枠組みを提案する。
PINNは、サンプルコロケーションと境界点上の残留損失を最小限に抑え、偏微分方程式(PDE)の近似解を求める。
我々は、整合性の作用素レベルと変分の概念の両方を形式化し、ソボレフノルムの残留最小化が、穏やかな正則性の下でエネルギーと一様ノルムの収束をもたらすことを証明した。
論文 参考訳(メタデータ) (2025-06-16T14:41:15Z) - ResKoopNet: Learning Koopman Representations for Complex Dynamics with Spectral Residuals [1.8570740863168362]
高次元力学系のスペクトル成分を近似する方法は理論上の限界に直面していることが多い。
本稿では,コオプマン固有ペアを計算するために,スペクトル残差を明示的に最小化するResKoopNetを紹介する。
様々な物理的および生物学的システムの実験により、ResKoopNetは既存の方法よりも正確なスペクトル近似を達成している。
論文 参考訳(メタデータ) (2025-01-01T02:19:42Z) - Holistic Physics Solver: Learning PDEs in a Unified Spectral-Physical Space [54.13671100638092]
Holistic Physics Mixer (HPM) は、スペクトルと物理情報を統一された空間に統合するためのフレームワークである。
我々はHPMが精度と計算効率の両面で最先端の手法より一貫して優れていることを示す。
論文 参考訳(メタデータ) (2024-10-15T08:19:39Z) - NAG-GS: Semi-Implicit, Accelerated and Robust Stochastic Optimizer [45.47667026025716]
2つの重要な要素に依存した、新しく、堅牢で、加速された反復を提案する。
NAG-GSと呼ばれる手法の収束と安定性は、まず広範に研究されている。
我々は、NAG-arityが、重量減衰を伴う運動量SGDや機械学習モデルのトレーニングのためのAdamWといった最先端の手法と競合していることを示す。
論文 参考訳(メタデータ) (2022-09-29T16:54:53Z) - Stability and Generalization Analysis of Gradient Methods for Shallow
Neural Networks [59.142826407441106]
本稿では,アルゴリズム安定性の概念を活用して,浅層ニューラルネットワーク(SNN)の一般化挙動について検討する。
我々は、SNNを訓練するために勾配降下(GD)と勾配降下(SGD)を考慮する。
論文 参考訳(メタデータ) (2022-09-19T18:48:00Z) - Stability of Neural Networks on Manifolds to Relative Perturbations [118.84154142918214]
グラフニューラルネットワーク(GNN)は多くの実践シナリオにおいて素晴らしいパフォーマンスを示している。
GNNは大規模グラフ上でうまくスケールすることができるが、これは既存の安定性がノード数とともに増加するという事実に矛盾する。
論文 参考訳(メタデータ) (2021-10-10T04:37:19Z) - Fine-Grained Analysis of Stability and Generalization for Stochastic
Gradient Descent [55.85456985750134]
我々は,SGDの反復的リスクによって制御される新しい境界を開発する,平均モデル安定性と呼ばれる新しい安定性尺度を導入する。
これにより、最良のモデルの振舞いによって一般化境界が得られ、低雑音環境における最初の既知の高速境界が導かれる。
我々の知る限りでは、このことはSGDの微分不能な損失関数でさえも初めて知られている安定性と一般化を与える。
論文 参考訳(メタデータ) (2020-06-15T06:30:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。