論文の概要: State-Space NTK Collapse Near Bifurcations

• arxiv url: http://arxiv.org/abs/2605.12763v1
• Date: Tue, 12 May 2026 21:20:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-14 23:30:27.695309
• Title: State-Space NTK Collapse Near Bifurcations
• Title（参考訳）: 分岐に近い状態空間NTK崩壊
• Authors: James Hazelden, Eric Shea-Brown,
• Abstract要約: 分岐が学習力学を支配的かつ単純化していることが示される。 分岐近傍では、sNTK を古典的な正規形式システムにおける学習に対応するランクワン作用素に還元することができる。 低ランクな自然勾配法は, 分岐近傍の学習不安定を解消することを示した。
• 参考スコア（独自算出の注目度）: 3.4717425300268094
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Rich feature learning in tasks that unfold over time often requires the model to pass through bifurcations, constituting qualitative changes in the underlying model dynamics. We develop a local theory of gradient descent near these transitions through the empirical state-space neural tangent kernel (sNTK). Our central finding is that bifurcations both dominate and simplify learning dynamics: near bifurcations, we can reduce sNTK to a rank-one operator corresponding to learning in a classical normal form system, providing an analytically tractable description of the local learning geometry, even for high-dimensional recurrent systems. Concretely, we give a procedure for decomposing sNTK into bifurcation-relevant and residual channels, showing that near commonly codimension-1 bifurcations the relevant channel is a rank-one operator that is highly amplified. This amplification causes the bifurcation channel to dominate the full sNTK. Thus, bifurcations locally warp the learning landscape, funneling gradient descent into a few critical dynamical directions and making the nearby kernel and loss geometry predictable from classical normal forms. We illustrate this in a student-teacher recurrent neural network: the first learned bifurcation coincides with a sharp collapse in sNTK effective rank and the emergence of a dominant parameter direction whose restricted sNTK closely matches the landscape predicted by the scalar pitchfork normal form. Finally, we show that low-rank natural gradient methods resolve the resulting learning instability near bifurcations with very little overhead over SGD.
• Abstract（参考訳）: 時間とともに展開するタスクにおけるリッチな特徴学習は、基礎となるモデルダイナミクスの質的な変化を構成するために、モデルに分岐を通さなければならないことが多い。 実験的な状態空間ニューラル・タンジェント・カーネル(sNTK)を通して,これらの遷移近傍の勾配降下の局所理論を開発する。 我々の中心的な発見は、ビフルケーションが学習力学を支配的かつ単純化していることである: ビフルケーションの近くでは、sNTKを古典的な正規形式システムにおける学習に対応するランクワン演算子に還元することができ、高次元のリカレントシステムであっても、局所的な学習幾何学を解析的に抽出可能な記述を提供する。 具体的には、sNTKを分岐関連チャネルと残留チャネルに分解する手順を示し、一般にコメンメンション-1の分岐に近く、関連するチャネルは高度に増幅されたランクワン演算子であることを示す。 この増幅により、分岐チャネルが完全なsNTKを支配する。 このように、分岐は学習風景を局所的に歪め、勾配降下をいくつかの臨界力学方向へと導き、近隣の核と損失幾何学を古典的な正規形式から予測できるようにする。 本稿では,SNTKの有効ランクの急激な崩壊と,SNTKに制限されたパラメータ方向の出現が,スカラーピッチフォルクの正規形によって予測される景観と密接に一致していることを示す。 最後に、低ランクな自然勾配法は、SGDのオーバーヘッドがほとんどないバイフランシエーション付近での学習不安定を解消することを示した。

関連論文リスト

• How many Neurons do we need? A refined Analysis for Shallow Networks trained with Gradient Descent [0.0]
  ニューラル・タンジェント・カーネル・システムにおける2層ニューラルネットワークの一般化特性を解析した。 非パラメトリック回帰の枠組みにおいて、最小限最適であることが知られている収束の速い速度を導出する。
  論文  参考訳（メタデータ） (2023-09-14T22:10:28Z)
• Connecting NTK and NNGP: A Unified Theoretical Framework for Wide Neural Network Learning Dynamics [6.349503549199403]
  我々は、ディープ・ワイド・ニューラルネットワークの学習プロセスのための包括的なフレームワークを提供する。 拡散相を特徴づけることで、私たちの研究は脳内の表現的ドリフトに光を当てます。
  論文  参考訳（メタデータ） (2023-09-08T18:00:01Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• Catapult Dynamics and Phase Transitions in Quadratic Nets [15.388101504755085]
  カタパルト相は2層モデルと2層同種ニューラルネットを含む多種モデルのモデルに存在することを証明します。 一定範囲の学習率において,損失が大きいと重みノルムが低下することを示す。 また、この理論的に導出された範囲を超えて学習率を実証的に研究し、超臨界学習率で訓練されたReLUネットの活性化マップが、学習率を増加させるにつれて、より疎結合になることを示す。
  論文  参考訳（メタデータ） (2023-01-18T19:03:48Z)
• Identifying good directions to escape the NTK regime and efficiently learn low-degree plus sparse polynomials [52.11466135206223]
  広帯域2層ニューラルネットワークはターゲット関数に適合するためにTangent Kernel(NTK)とQuadNTKを併用可能であることを示す。 これにより、終端収束が得られ、NTKとQuadNTKの双方に対して証明可能なサンプル改善が保証される。
  論文  参考訳（メタデータ） (2022-06-08T06:06:51Z)
• On Feature Learning in Neural Networks with Global Convergence Guarantees [49.870593940818715]
  勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。 入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。 また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
  論文  参考訳（メタデータ） (2022-04-22T15:56:43Z)
• Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
  グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。 この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
  論文  参考訳（メタデータ） (2020-11-18T18:52:08Z)
• Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
  過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。 また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
  論文  参考訳（メタデータ） (2020-02-20T15:43:02Z)
• A Generalized Neural Tangent Kernel Analysis for Two-layer Neural Networks [87.23360438947114]
  重み劣化を伴う雑音勾配降下は依然として「カーネル様」の挙動を示すことを示す。 これは、トレーニング損失が一定の精度まで線形に収束することを意味する。 また,重み劣化を伴う雑音勾配勾配勾配で学習した2層ニューラルネットワークに対して,新しい一般化誤差を確立する。
  論文  参考訳（メタデータ） (2020-02-10T18:56:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。