論文の概要: On the Stability of the Jacobian Matrix in Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2506.08764v1
• Date: Tue, 10 Jun 2025 13:04:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-11 15:11:42.473585
• Title: On the Stability of the Jacobian Matrix in Deep Neural Networks
• Title（参考訳）: ディープニューラルネットワークにおけるヤコビ行列の安定性について
• Authors: Benjamin Dadoun, Soufiane Hayou, Hanan Salam, Mohamed El Amine Seddik, Pierre Youssef,
• Abstract要約: 我々は、疎度と弱相関重みに対応するディープニューラルネットワークの一般的な安定性定理を確立する。 この結果は、確率行列理論の最近の進歩に依拠し、より広範なネットワークモデルにおけるスペクトル安定性の厳密な保証を提供する。
• 参考スコア（独自算出の注目度）: 9.617753464544606
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks are known to suffer from exploding or vanishing gradients as depth increases, a phenomenon closely tied to the spectral behavior of the input-output Jacobian. Prior work has identified critical initialization schemes that ensure Jacobian stability, but these analyses are typically restricted to fully connected networks with i.i.d. weights. In this work, we go significantly beyond these limitations: we establish a general stability theorem for deep neural networks that accommodates sparsity (such as that introduced by pruning) and non-i.i.d., weakly correlated weights (e.g. induced by training). Our results rely on recent advances in random matrix theory, and provide rigorous guarantees for spectral stability in a much broader class of network models. This extends the theoretical foundation for initialization schemes in modern neural networks with structured and dependent randomness.
• Abstract（参考訳）: ディープニューラルネットワークは、入力出力ジャコビアンのスペクトル挙動と密接に結びついている現象である深さが増加するにつれて、爆発的あるいは消滅的な勾配に悩まされることが知られている。 それまでの研究では、ジャコビアン安定性を保証する重要な初期化スキームが特定されていたが、これらの分析は一般に、重み付き完全連結ネットワークに限られる。 この研究は、これらの制限をはるかに超え、深層ニューラルネットワークに対する一般的な安定性定理を確立し、(プルーニングによって導入されたような)スパーシリティと、(訓練によって引き起こされる)弱相関重み(例えば、トレーニングによって引き起こされるg)を許容する。 この結果は、確率行列理論の最近の進歩に依拠し、より広範なネットワークモデルにおけるスペクトル安定性の厳密な保証を提供する。 これにより、構造的および依存的ランダム性を持つ現代のニューラルネットワークにおける初期化スキームの理論的基礎が拡張される。

関連論文リスト

• Convergence Analysis for Learning Orthonormal Deep Linear Neural Networks [27.29463801531576]
  本稿では,正規直交深部線形ニューラルネットワークの学習のための収束解析について述べる。 その結果、隠れた層の増加が収束速度にどのように影響するかが明らかになった。
  論文  参考訳（メタデータ） (2023-11-24T18:46:54Z)
• Polynomially Over-Parameterized Convolutional Neural Networks Contain Structured Strong Winning Lottery Tickets [4.020829863982153]
  十分に小さなネットワークを近似できる構造化ニューラルワークの存在を実証する。 この結果は、Strong Lottery Ticket仮説の周りの最初の部分指数境界を与える。
  論文  参考訳（メタデータ） (2023-11-16T12:38:45Z)
• The Boundaries of Verifiable Accuracy, Robustness, and Generalisation in Deep Learning [71.14237199051276]
  経験的リスクを最小限に抑えるため,古典的な分布に依存しないフレームワークとアルゴリズムを検討する。 理想的な安定かつ正確なニューラルネットワークの計算と検証が極めて難しいタスク群が存在することを示す。
  論文  参考訳（メタデータ） (2023-09-13T16:33:27Z)
• Stabilizing RNN Gradients through Pre-training [3.335932527835653]
  学習理論は、勾配が深さや時間で指数関数的に成長するのを防ぎ、トレーニングを安定させ改善することを提案する。 我々は、既知の安定性理論を拡張し、データとパラメータの分布について最小限の仮定を必要とするディープ・リカレント・ネットワークの幅広いファミリーを包含する。 本稿では,この問題を緩和するための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-08-23T11:48:35Z)
• Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
  ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。 我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。 ニューラルネットの様々な特性をこの新しいカーネルで研究する。
  論文  参考訳（メタデータ） (2023-01-01T02:11:39Z)
• Stability and Generalization Analysis of Gradient Methods for Shallow Neural Networks [59.142826407441106]
  本稿では,アルゴリズム安定性の概念を活用して,浅層ニューラルネットワーク(SNN)の一般化挙動について検討する。 我々は、SNNを訓練するために勾配降下(GD)と勾配降下(SGD)を考慮する。
  論文  参考訳（メタデータ） (2022-09-19T18:48:00Z)
• Robust Training and Verification of Implicit Neural Networks: A Non-Euclidean Contractive Approach [64.23331120621118]
  本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。 組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。 MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
  論文  参考訳（メタデータ） (2022-08-08T03:13:24Z)
• On the Intrinsic Structures of Spiking Neural Networks [66.57589494713515]
  近年、時間依存データやイベント駆動データを扱う大きな可能性から、SNNへの関心が高まっている。 スパイキング計算における本質的な構造の影響を総合的に調査する研究が数多く行われている。 この研究はSNNの本質的な構造を深く掘り下げ、SNNの表現性への影響を解明する。
  論文  参考訳（メタデータ） (2022-06-21T09:42:30Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。