論文の概要: The Global Empirical NTK: Self-Referential Bias and Dimensionality of Gradient Descent Learning

• arxiv url: http://arxiv.org/abs/2605.08746v1
• Date: Sat, 09 May 2026 07:22:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:49.856169
• Title: The Global Empirical NTK: Self-Referential Bias and Dimensionality of Gradient Descent Learning
• Title（参考訳）: 世界的経験的NTK: 自己参照バイアスとグラディエントDescent Learningの次元性
• Abstract要約: 我々は,グローバル経験的ニューラルタンジェントカーネル (NTK) の構造をモデルとして検討した。 NTKは構造的にボトルネックがあり,その有効ランクを制約し,自己参照バイアスを生じさせることを示す。 全体として、NTKは、タスクソリューションに対するGDバイアスを説明できる、トラクタブルな構造を持っていることを示す。
• 参考スコア（独自算出の注目度）: 13.950010831924823
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In training a neural network with gradient descent (GD), each iteration induces a linear operator that governs first-order updates to a model's internal state variables. We define this operator as the Global Empirical Neural Tangent Kernel (NTK). In finite-width networks, the NTK is typically intractable to form, leading prior work to focus on restrictive settings such as tracking outputs only or taking infinite-width limits. Here, we study the structure of the NTK for a range of models. Formulating the model state as the solution to a single global implicit constraint, we derive the NTK as a product of two operators: K, accounting for immediate parameter-to-state interactions, and P, describing internal state-to-state dependencies. For a broad class of weight-based models, including RNNs and transformers, we prove a universal Kronecker-core theorem showing that K admits an exact, computable form given by the Gram matrix of weight-site variables. This core structure reveals that the NTK is structurally bottlenecked, constraining its effective rank and giving rise to a self-referential bias whereby GD preferentially learns within dominant modes of joint hidden and input activity. For recurrent models, we examine the spectrum of the NTK and show when it is biased and low-rank in space or time under the proposed decomposition. We further demonstrate that model dynamics at initialization bias the NTK, restricting learning and preventing task components from being learned effectively. Finally, we show that the NTK associated with a self-attention transformer is likewise structurally constrained to be low-rank. Overall, we show that the NTK possesses tractable structure that explains GD bias toward task solutions and the emergence of low-rank representations. To enable use of the NTK as a practical metric, we build kpflow, a library relying on randomized matrix-free numerical linear algebra.
• Abstract（参考訳）: 勾配降下(GD)を伴うニューラルネットワークのトレーニングでは、各イテレーションは、モデルの内部状態変数への一階更新を管理する線形演算子を誘導する。 我々は,この演算子をグローバル経験的ニューラルタンジェントカーネル (NTK) と定義する。 有限幅ネットワークでは、NTKは典型的には形成が困難であり、以前の作業では出力の追跡や無限幅の制限を受けるといった制限的な設定に重点を置いていた。 本稿では,NTKの構造をモデルとして検討する。 モデル状態を1つの大域的暗黙的制約の解として定式化し、NTKを2つの作用素の積として導出する: K、即時パラメータ-状態間相互作用の説明、P、内部状態-状態間の依存関係を記述する。 RNNや変圧器を含む幅広いウェイトベースモデルに対して、K がウェイトサイト変数のグラマー行列によって与えられる正確な計算可能な形式を持つことを示す普遍的なクロネッカーコア定理を証明した。 このコア構造は、NTKが構造的にボトルネックを伴い、有効ランクを制限し、自己参照バイアスを生じさせ、GDは優先的に、結合隠蔽および入力活性の支配的なモード内で学習することを示している。 繰り返しモデルでは、NTKのスペクトルを調べ、それが空間や時間において偏り、偏りがあるかを示す。 さらに、初期化時のモデルダイナミクスがNTKに偏り、学習が制限され、タスクコンポーネントが効果的に学習されるのを防ぐことを実証する。 最後に、自己アテンション変換器に付随するNTKは、構造的にも低ランクに制約されていることを示す。 全体として、NTKは、タスクソリューションに対するGDバイアスと低ランク表現の出現を説明する、トラクタブルな構造を持っていることを示す。 NTKを実用的な計量として活用するために、ランダム化行列自由数値線型代数に依存するライブラリkpflowを構築した。

関連論文リスト

• Label-NTK Alignments and A Tighter Convergence Bound in the NTK Regime [1.8466658684464594]
  我々は、データラベルとNTK固有スペクトルとの相互作用を特徴付けることにより、よりシャープな収束保証を開発する。 完全スペクトルに依存する洗練された収束境界を導出し、実用的な訓練力学と密接に一致させる。
  論文  参考訳（メタデータ） (2026-05-24T22:04:02Z)
• No More DeLuLu: Physics-Inspired Kernel Networks for Geometrically-Grounded Neural Computation [0.42303492200814446]
  本稿では,2次アライメントと逆2乗近接性を組み合わせたカーネル演算子Yat-productを紹介する。 我々は、それがメルサー核、解析的、有界領域上のリプシッツ、自己正規化であることを証明する。 ニューラル・マター・ネットワーク(NMN)は、ヤット積を唯一の非線形性として使用し、従来の線形活性化正規化ブロックを1つの幾何学的基底演算に置き換えた。
  論文  参考訳（メタデータ） (2026-02-22T01:09:31Z)
• Neural Collapse in Cumulative Link Models for Ordinal Regression: An Analysis with Unconstrained Feature Model [5.339955242953934]
  我々は、通常神経崩壊(ONC)と呼ばれる現象が実際に出現し、以下の3つの特性によって特徴付けられることを示した。 特に、ゼロ正則化極限では、潜伏変数としきい値の間に非常に局所的で単純な幾何学的関係が現れる。
  論文  参考訳（メタデータ） (2025-06-06T06:57:02Z)
• Can Kernel Methods Explain How the Data Affects Neural Collapse? [9.975341265604577]
  ニューラルネットワーク(NN)分類器がゼロトレーニングエラー点を超えると、"Neural Collapse"(NC)現象が発生する。 本稿では,浅いNNに関連付けられたカーネルを用いてNC1を解析する可能性について検討する。
  論文  参考訳（メタデータ） (2024-06-04T08:33:56Z)
• Efficient kernel surrogates for neural network-based regression [0.8030359871216615]
  ニューラルタンジェントカーネル(NTK)の効率的な近似である共役カーネル(CK)の性能について検討する。 CK性能がNTKよりもわずかに劣っていることを示し、特定の場合において、CK性能が優れていることを示す。 NTKの代わりにCKを使用するための理論的基盤を提供するだけでなく,DNNの精度を安価に向上するためのレシピを提案する。
  論文  参考訳（メタデータ） (2023-10-28T06:41:47Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• Learning Neural Constitutive Laws From Motion Observations for Generalizable PDE Dynamics [97.38308257547186]
  多くのNNアプローチは、支配的PDEと物質モデルの両方を暗黙的にモデル化するエンドツーエンドモデルを学ぶ。 PDEの管理はよく知られており、学習よりも明示的に実施されるべきである、と私たちは主張する。 そこで我々は,ネットワークアーキテクチャを利用したニューラル構成則(Neural Constitutive Laws,NCLaw)と呼ばれる新しいフレームワークを導入する。
  論文  参考訳（メタデータ） (2023-04-27T17:42:24Z)
• A Kernel-Based View of Language Model Fine-Tuning [94.75146965041131]
  ニューラル・タンジェント・カーネル(NTK)が事前学習したLMの微調整を記述しているかどうかを検討する。 本稿では,ダウンストリームタスクを暗黙の単語予測問題として定式化することで,微調整中にカーネルベースのダイナミクスをしばしば引き起こすことを示す。
  論文  参考訳（メタデータ） (2022-10-11T17:34:32Z)
• On Feature Learning in Neural Networks with Global Convergence Guarantees [49.870593940818715]
  勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。 入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。 また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
  論文  参考訳（メタデータ） (2022-04-22T15:56:43Z)
• Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
  過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。 また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
  論文  参考訳（メタデータ） (2020-02-20T15:43:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。