論文の概要: Label-NTK Alignments and A Tighter Convergence Bound in the NTK Regime

• arxiv url: http://arxiv.org/abs/2605.25275v1
• Date: Sun, 24 May 2026 22:04:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:19.059235
• Title: Label-NTK Alignments and A Tighter Convergence Bound in the NTK Regime
• Title（参考訳）: NTKレジームにおけるラベル-NTKアライメントとタイター収束境界
• Authors: Ruchirinkil Marreddy, Chaoyue Liu,
• Abstract要約: 我々は、データラベルとNTK固有スペクトルとの相互作用を特徴付けることにより、よりシャープな収束保証を開発する。 完全スペクトルに依存する洗練された収束境界を導出し、実用的な訓練力学と密接に一致させる。
• 参考スコア（独自算出の注目度）: 1.8466658684464594
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Neural Tangent Kernel (NTK) framework explains optimization in over-parameterized neural networks via approximately linearized dynamics, yielding exponential convergence guarantees. However, existing results are often overly pessimistic and do not match the fast training in practice, as they depend on the smallest NTK eigenvalue, which is typically extremely small in practice. In this work, we develop sharper convergence guarantees by characterizing the interaction between data labels and the NTK eigen-spectrum. We identify two key phenomena, Label-NTK alignment and Residual-NTK alignment, showing that projections of labels and residuals onto NTK eigenvectors scale with the corresponding eigenvalues. We provide empirical evidence and theoretical justification under mild data assumptions. Exploiting these alignment properties, we derive a refined convergence bound that depends on the full spectrum and closely matches practical training dynamics, significantly improving over classical worst-case results. We further obtain improved generalization bounds. Experiments on MLPs and CNNs across multiple datasets validate our theory.
• Abstract（参考訳）: Neural Tangent Kernel (NTK) フレームワークは、ほぼ線形化されたダイナミクスを介して、過度にパラメータ化されたニューラルネットワークの最適化を説明し、指数収束を保証する。 しかし、既存の結果は過度に悲観的であり、実際は最小のNTK固有値に依存しているため、高速な訓練と一致しないことが多い。 本研究では,データラベルとNTK固有スペクトルの相互作用を特徴付けることにより,よりシャープな収束保証を開発する。 ラベル-NTKアライメントと残留-NTKアライメントという2つの重要な現象を同定し、ラベルと残差のNTK固有ベクトルへの投影が対応する固有値と共にスケールすることを示す。 軽度のデータ仮定の下で実証的な証拠と理論的正当性を提供する。 これらのアライメント特性をエクスプロイトすると、完全スペクトルに依存し、実践的なトレーニング力学と密接に一致し、古典的な最悪の結果よりも大幅に改善される洗練された収束境界が導かれる。 さらに、改良された一般化境界を得る。 複数のデータセットにまたがるMLPとCNNの実験により、我々の理論が検証された。

関連論文リスト

• Generalization Bound of Gradient Flow through Training Trajectory and Data-dependent Kernel [55.82768375605861]
  我々は、カーネル法における古典的ラデマッハ複雑性と整合する勾配流の一般化を確立する。 NTKのような静的カーネルとは異なり、LPKはトレーニング軌跡全体をキャプチャし、データと最適化の両方に適応する。
  論文  参考訳（メタデータ） (2025-06-12T23:17:09Z)
• Efficient kernel surrogates for neural network-based regression [0.8030359871216615]
  ニューラルタンジェントカーネル(NTK)の効率的な近似である共役カーネル(CK)の性能について検討する。 CK性能がNTKよりもわずかに劣っていることを示し、特定の場合において、CK性能が優れていることを示す。 NTKの代わりにCKを使用するための理論的基盤を提供するだけでなく,DNNの精度を安価に向上するためのレシピを提案する。
  論文  参考訳（メタデータ） (2023-10-28T06:41:47Z)
• Neural Tangent Kernels Motivate Graph Neural Networks with Cross-Covariance Graphs [94.44374472696272]
  グラフニューラルネットワーク(GNN)の文脈におけるNTKとアライメントについて検討する。 その結果、2層GNNのアライメントの最適性に関する理論的保証が確立された。 これらの保証は、入力と出力データの相互共分散の関数であるグラフシフト演算子によって特徴づけられる。
  論文  参考訳（メタデータ） (2023-10-16T19:54:21Z)
• Towards Demystifying the Generalization Behaviors When Neural Collapse Emerges [132.62934175555145]
  Neural Collapse(NC)は、トレーニング末期(TPT)におけるディープニューラルネットワークのよく知られた現象である 本稿では,列車の精度が100%に達した後も,継続訓練がテストセットの精度向上に繋がる理由を理論的に説明する。 我々はこの新たに発見された性質を「非保守的一般化」と呼ぶ。
  論文  参考訳（メタデータ） (2023-10-12T14:29:02Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Efficient Bound of Lipschitz Constant for Convolutional Layers by Gram Iteration [122.51142131506639]
  循環行列理論を用いて畳み込み層のスペクトルノルムに対して、精密で高速で微分可能な上界を導入する。 提案手法は, 精度, 計算コスト, スケーラビリティの観点から, 他の最先端手法よりも優れていることを示す。 これは畳み込みニューラルネットワークのリプシッツ正則化に非常に効果的であり、並行アプローチに対する競合的な結果である。
  論文  参考訳（メタデータ） (2023-05-25T15:32:21Z)
• On Feature Learning in Neural Networks with Global Convergence Guarantees [49.870593940818715]
  勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。 入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。 また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
  論文  参考訳（メタデータ） (2022-04-22T15:56:43Z)
• Label-Aware Neural Tangent Kernel: Toward Better Generalization and Local Elasticity [39.401063331251066]
  ラベル認識部分とラベル認識部分の階層の重ね合わせであるラベル認識カーネルを2つ導入する。 提案したカーネルでトレーニングしたモデルは、一般化能力と局所弾性率の観点からNNをシミュレートする。
  論文  参考訳（メタデータ） (2020-10-22T14:54:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。