論文の概要: Fast Neural Tangent Kernel Alignment, Norm and Effective Rank via Trace Estimation

• arxiv url: http://arxiv.org/abs/2511.10796v1
• Date: Thu, 13 Nov 2025 20:51:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-17 22:42:18.32804
• Title: Fast Neural Tangent Kernel Alignment, Norm and Effective Rank via Trace Estimation
• Title（参考訳）: トレース推定による高速ニューラルネットワークカーネルアライメント,ノルム,有効ランク
• Authors: James Hazelden,
• Abstract要約: 本研究では, トレース推定を用いて, 経験的有限幅NTKを高速に解析する行列自由視点を提案する。 これにより、NTKのトレース、フロベニウスノルム、効果的なランク、アライメントの高速な計算が可能になる。 いわゆる片側推定器は、低サンプリング方式でHutch++より優れていることを示す。
• 参考スコア（独自算出の注目度）: 0.006425846916579409
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The Neural Tangent Kernel (NTK) characterizes how a model's state evolves over Gradient Descent. Computing the full NTK matrix is often infeasible, especially for recurrent architectures. Here, we introduce a matrix-free perspective, using trace estimation to rapidly analyze the empirical, finite-width NTK. This enables fast computation of the NTK's trace, Frobenius norm, effective rank, and alignment. We provide numerical recipes based on the Hutch++ trace estimator with provably fast convergence guarantees. In addition, we show that, due to the structure of the NTK, one can compute the trace using only forward- or reverse-mode automatic differentiation, not requiring both modes. We show these so-called one-sided estimators can outperform Hutch++ in the low-sample regime, especially when the gap between the model state and parameter count is large. In total, our results demonstrate that matrix-free randomized approaches can yield speedups of many orders of magnitude, leading to faster analysis and applications of the NTK.
• Abstract（参考訳）: ニューラル・タンジェント・カーネル(NTK)は、モデルの状態がグラディエント・Descent上でどのように進化するかを特徴付けている。 完全なNTK行列の計算は、特に繰り返しアーキテクチャでは不可能であることが多い。 本稿では、トレース推定を用いて、経験的有限幅NTKを高速に解析する行列自由視点を提案する。 これにより、NTKのトレース、フロベニウスノルム、効果的なランク、アライメントの高速な計算が可能になる。 本稿では,Hutch++トレース推定器に基づく数値レシピを提案する。 さらに,NTKの構造上,どちらのモードも必要とせず,前方モードと逆モードの自動微分のみを用いてトレースを計算することができることを示す。 モデル状態とパラメータ数との差が大きい場合, いわゆる片側推定器は, 低サンプリング方式でHutch++より優れていることを示す。 この結果から,行列のないランダム化手法が数桁の高速化を実現し,NTKの高速な解析と適用が可能となった。

関連論文リスト

• State Estimation Using Sparse DEIM and Recurrent Neural Networks [0.0]
  本稿では,スパース観測時系列から最適なカーネルベクトルを推定する,方程式のないS-DEIMフレームワークを提案する。 カーネルは即時観測では推定できないため,再帰的アーキテクチャが必要であることを示す。 いずれの場合も、比較的単純なRNNアーキテクチャを用いても、結果のS-DEIM推定は満足できる。
  論文  参考訳（メタデータ） (2024-10-21T13:12:22Z)
• Finding Lottery Tickets in Vision Models via Data-driven Spectral Foresight Pruning [14.792099973449794]
  本稿では,スパースネットワークのトレーニングダイナミクスと高密度ネットワークのトレーニングダイナミクスを一致させるアルゴリズムを提案する。 NTKスペクトルにおける通常無視されるデータ依存成分がどのように考慮されるかを示す。 パスeXclusion(PX)は、高頻度でも宝くじを見つけることができる。
  論文  参考訳（メタデータ） (2024-06-03T22:19:42Z)
• Speed Limits for Deep Learning [67.69149326107103]
  熱力学の最近の進歩は、初期重量分布から完全に訓練されたネットワークの最終分布への移動速度の制限を可能にする。 線形および線形化可能なニューラルネットワークに対して,これらの速度制限に対する解析式を提供する。 NTKスペクトルとラベルのスペクトル分解に関するいくつかの妥当なスケーリング仮定を考えると、学習はスケーリングの意味で最適である。
  論文  参考訳（メタデータ） (2023-07-27T06:59:46Z)
• Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
  ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。 我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。 ニューラルネットの様々な特性をこの新しいカーネルで研究する。
  論文  参考訳（メタデータ） (2023-01-01T02:11:39Z)
• Identifying good directions to escape the NTK regime and efficiently learn low-degree plus sparse polynomials [52.11466135206223]
  広帯域2層ニューラルネットワークはターゲット関数に適合するためにTangent Kernel(NTK)とQuadNTKを併用可能であることを示す。 これにより、終端収束が得られ、NTKとQuadNTKの双方に対して証明可能なサンプル改善が保証される。
  論文  参考訳（メタデータ） (2022-06-08T06:06:51Z)
• Scaling Neural Tangent Kernels via Sketching and Random Features [53.57615759435126]
  最近の研究報告では、NTKレグレッションは、小規模データセットでトレーニングされた有限範囲のニューラルネットワークより優れている。 我々は、アークコサインカーネルの拡張をスケッチして、NTKの近距離入力スパーシティ時間近似アルゴリズムを設計する。 CNTKの特徴をトレーニングした線形回帰器が,CIFAR-10データセット上での正確なCNTKの精度と150倍の高速化を実現していることを示す。
  論文  参考訳（メタデータ） (2021-06-15T04:44:52Z)
• Random Features for the Neural Tangent Kernel [57.132634274795066]
  完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。 得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
  論文  参考訳（メタデータ） (2021-04-03T09:08:12Z)
• Learning with Neural Tangent Kernels in Near Input Sparsity Time [5.472561051778218]
  neural tangent kernel(ntk)は、勾配降下によって少なくとも二乗損失の下で訓練された無限に広いニューラルネットワークの挙動を特徴付ける。 変換したデータの内部積がNTK評価を近似するように、入力データをランダム化された低次元特徴空間にマッピングするニアインプットスパーシティ時間アルゴリズムを提案する。 従来の大規模回帰・分類タスクでは,NTKカーネルを用いたNNとNystrom法より訓練された線形回帰器が優れていることを示す。
  論文  参考訳（メタデータ） (2021-04-01T11:56:58Z)
• Optimal Rates for Averaged Stochastic Gradient Descent under Neural Tangent Kernel Regime [50.510421854168065]
  平均勾配勾配勾配は極小収束率が得られることを示す。 本稿では、ReLUネットワークのNTKで指定されたターゲット関数を最適収束速度で学習できることを示す。
  論文  参考訳（メタデータ） (2020-06-22T14:31:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。