論文の概要: Understanding the Evolution of the Neural Tangent Kernel at the Edge of Stability

• arxiv url: http://arxiv.org/abs/2507.12837v1
• Date: Thu, 17 Jul 2025 06:52:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-18 20:10:24.373055
• Title: Understanding the Evolution of the Neural Tangent Kernel at the Edge of Stability
• Title（参考訳）: 安定の端におけるニューラルタンジェントカーネルの進化を理解する
• Authors: Kaiqi Jiang, Jeremy Cohen, Yuanzhi Li,
• Abstract要約: 本稿では,安定エッジ(EoS)におけるNTK固有ベクトルのダイナミクスを詳細に検討する。 学習速度が大きくなると、最終NTKの固有ベクトルと完全なNTK行列が学習目標との整合性を高めることが観察された。 次に、この現象の基盤となるメカニズムを考察し、2層線形ネットワークの理論解析を行う。
• 参考スコア（独自算出の注目度）: 35.683596966795136
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The study of Neural Tangent Kernels (NTKs) in deep learning has drawn increasing attention in recent years. NTKs typically actively change during training and are related to feature learning. In parallel, recent work on Gradient Descent (GD) has found a phenomenon called Edge of Stability (EoS), in which the largest eigenvalue of the NTK oscillates around a value inversely proportional to the step size. However, although follow-up works have explored the underlying mechanism of such eigenvalue behavior in depth, the understanding of the behavior of the NTK eigenvectors during EoS is still missing. This paper examines the dynamics of NTK eigenvectors during EoS in detail. Across different architectures, we observe that larger learning rates cause the leading eigenvectors of the final NTK, as well as the full NTK matrix, to have greater alignment with the training target. We then study the underlying mechanism of this phenomenon and provide a theoretical analysis for a two-layer linear network. Our study enhances the understanding of GD training dynamics in deep learning.
• Abstract（参考訳）: 近年,ディープラーニングにおけるニューラルタンジェントカーネル(NTK)の研究が注目されている。 NTKは通常、トレーニング中に積極的に変化し、特徴学習に関連する。 並行して、GD(Gradient Descent)に関する最近の研究は、NTKの最大の固有値がステップサイズに逆比例する値の周りに振動する、Edge of stability (EoS)と呼ばれる現象を発見した。 しかし、後続の研究ではそのような固有値の挙動のメカニズムを深く研究しているが、NTK固有ベクトルの挙動の理解はいまだに欠落している。 本稿では,EoSにおけるNTK固有ベクトルのダイナミクスを詳細に検討する。 異なるアーキテクチャ全体にわたって、学習速度が大きくなると、最終NTKの固有ベクトルと完全なNTK行列がトレーニング対象との整合性を高めることが観察される。 次に、この現象の基盤となるメカニズムを考察し、2層線形ネットワークの理論解析を行う。 本研究は,ディープラーニングにおけるGDトレーニングダイナミクスの理解を深めるものである。

関連論文リスト

• Reactivation: Empirical NTK Dynamics Under Task Shifts [12.32540447018987]
  Neural Tangent Kernel(NTK)は、ニューラルネットワークの機能的ダイナミクスを研究する強力なツールである。 いわゆる遅延(lazy, kernel system)では、NTKはトレーニング中も静的であり、ネットワーク機能は静的ニューラルネットワークの特徴空間において線形である。 NTKダイナミクスの研究は、近年、一般化とスケーリングの振る舞いにおいていくつかの重要な発見を導いている。
  論文  参考訳（メタデータ） (2025-07-21T20:13:02Z)
• Neural Tangent Kernel Analysis to Probe Convergence in Physics-informed Neural Solvers: PIKANs vs. PINNs [0.0]
  我々は,ニューラル・タンジェント・カーネル(NTK)理論を用いて,cPIKANの理論的理解を促進することを目的としている。 まず、標準cKANのNTKを教師付き設定で導出し、次に解析を物理インフォームドコンテキストに拡張する。 結果は、標準物理インフォームドニューラルネットワーク(PINN)がキャプチャできない学習力学を公開するcPIKANの文脈において、NTKのトラクタブルな振る舞いを示している。
  論文  参考訳（メタデータ） (2025-06-09T17:30:13Z)
• Connecting NTK and NNGP: A Unified Theoretical Framework for Wide Neural Network Learning Dynamics [6.349503549199403]
  我々は、ディープ・ワイド・ニューラルネットワークの学習プロセスのための包括的なフレームワークを提供する。 拡散相を特徴づけることで、私たちの研究は脳内の表現的ドリフトに光を当てます。
  論文  参考訳（メタデータ） (2023-09-08T18:00:01Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
  ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。 我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。 ニューラルネットの様々な特性をこの新しいカーネルで研究する。
  論文  参考訳（メタデータ） (2023-01-01T02:11:39Z)
• What Can the Neural Tangent Kernel Tell Us About Adversarial Robustness? [0.0]
  ニューラルネットワークとカーネルメソッドを接続する最近の理論の進歩によって得られた分析ツールを用いて、トレーニングされたニューラルネットワークの逆例について研究する。 NTKがいかにして、トレーニングフリーのやり方で敵の例を生成できるかを示し、遅延のやり方で、有限幅のニューラルネットを騙すために移行することを実証する。
  論文  参考訳（メタデータ） (2022-10-11T16:11:48Z)
• Stability and Generalization Analysis of Gradient Methods for Shallow Neural Networks [59.142826407441106]
  本稿では,アルゴリズム安定性の概念を活用して,浅層ニューラルネットワーク(SNN)の一般化挙動について検討する。 我々は、SNNを訓練するために勾配降下(GD)と勾配降下(SGD)を考慮する。
  論文  参考訳（メタデータ） (2022-09-19T18:48:00Z)
• Weighted Neural Tangent Kernel: A Generalized and Improved Network-Induced Kernel [20.84988773171639]
  Neural Tangent Kernel(NTK)は、勾配降下によって訓練された過剰パラメーターニューラルネットワーク(NN)の進化を記述することで、近年、激しい研究を惹きつけている。 Weighted Neural Tangent Kernel (WNTK) は、一般化された改良されたツールであり、異なる勾配の下でパラメータ化されたNNのトレーニングダイナミクスをキャプチャすることができる。 提案する重み更新アルゴリズムでは,実験値と解析値の両方が,数値実験において対応するntkを上回っている。
  論文  参考訳（メタデータ） (2021-03-22T03:16:20Z)
• Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
  過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。 また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
  論文  参考訳（メタデータ） (2020-02-20T15:43:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。