論文の概要: The Neural Tangent Kernel for Classification

• arxiv url: http://arxiv.org/abs/2605.17606v2
• Date: Fri, 22 May 2026 23:38:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 16:32:37.649877
• Title: The Neural Tangent Kernel for Classification
• Title（参考訳）: 分類のためのニューラルタンジェントカーネル
• Authors: Jonathan Plenk, Sergio Calvo-Ordonez, Alvaro Cartea, Yarin Gal, Mark van der Wilk, Kamil Ciosek,
• Abstract要約: 広いニューラルネットワークでは、ニューラル・タンジェント・カーネル(NTK)はトレーニング中にほぼ一定である。 パラメータ空間の正規化は、クロスエントロピー損失のトレーニング中に一定のNTKを保証することを示す。 正規化がない場合には、ターゲットが非退化しているとき、すなわち全てのクラスが厳密に正の確率を持つとき、レジームが回復する。
• 参考スコア（独自算出の注目度）: 33.20539886208262
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In wide neural networks, the Neural Tangent Kernel (NTK) remains approximately constant during training, providing a powerful theoretical tool for studying training dynamics, generalization, and connections to kernel methods. However, this theory is largely restricted to regression losses. It was previously thought that training on a classification loss, or more generally losses involving nonlinear output transformations, breaks this property, leading to divergent logits and a breakdown of the linearization. In this paper, we extend NTK theory to classification by identifying conditions under which wide neural networks remain in the lazy training regime. We show that parameter-space regularization ensures a constant NTK during training for cross-entropy loss, while in the absence of regularization the regime is recovered when targets are non-degenerate, i.e. when all classes have strictly positive probability. Under these conditions, training is well-approximated by the linearized model, yielding an explicit characterization of the solution in terms of the NTK. We further analyze the distribution of trained predictors induced by random initialization and relate this notion of model uncertainty to Bayesian methods.
• Abstract（参考訳）: ニューラルネットワークでは、ニューラルタンジェントカーネル(NTK)はトレーニング中にほぼ一定であり、トレーニングダイナミクス、一般化、カーネルメソッドへの接続を研究するための強力な理論ツールを提供する。 しかし、この理論は回帰損失に大きく制限されている。 以前は、非線型出力変換を含む分類損失のトレーニングは、この特性を破り、分岐ロジットと線形化の分解をもたらすと考えられていた。 本稿では,ニューラルネットワークが遅延学習体制に留まっている条件を特定することによって,NTK理論を分類に拡張する。 パラメータ空間の正規化は、クロスエントロピー損失のトレーニング中に一定のNTKを保証する一方で、正規化がない場合、ターゲットが非退化している場合、すなわち全てのクラスが厳密な正の確率を持つ場合、レギュレーションが回復されることを示す。 これらの条件下では、トレーニングは線形化モデルによってよく近似され、NTKの観点で解の明示的な特徴を与える。 さらに、ランダム初期化によって誘導される訓練された予測子の分布を解析し、このモデル不確実性の概念をベイズ法に関連付ける。

関連論文リスト

• Divergence of Empirical Neural Tangent Kernel in Classification Problems [0.0]
  分類問題では、完全連結ニューラルネットワーク(FCN)と残留ニューラルネットワーク(ResNet)は、ニューラルタンジェントカーネル(NTK)に基づくカーネルロジスティック回帰によって近似できない。 ネットワーク幅が大きくなるにつれて、NTKはトレーニングサンプル上で常にNTKに均一に収束しないことを示す。
  論文  参考訳（メタデータ） (2025-04-15T12:30:21Z)
• Issues with Neural Tangent Kernel Approach to Neural Networks [13.710104651002869]
  我々はNTKの導出を再検討し、この等価定理を評価するために数値実験を行う。 ニューラルネットワークとそれに対応する更新NTKにレイヤーを追加すると、予測器エラーの一致した変化が得られないことを観察する。 これらの観察から、同値定理は実際にはうまく機能せず、ニューラルネットワークのトレーニングプロセスに適切に対処するかどうか疑問が呈される。
  論文  参考訳（メタデータ） (2025-01-19T03:21:06Z)
• The Challenges of the Nonlinear Regime for Physics-Informed Neural Networks [0.0]
  非線形シナリオではNTKの視点が不足していることを示す。 線形および非線形の両方の場合において,そのような手法の収束保証について検討する。
  論文  参考訳（メタデータ） (2024-02-06T10:24:36Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
  グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。 この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
  論文  参考訳（メタデータ） (2020-11-18T18:52:08Z)
• Frequentist Uncertainty in Recurrent Neural Networks via Blockwise Influence Functions [121.10450359856242]
  リカレントニューラルネットワーク(RNN)は、シーケンシャルおよび時系列データのモデリングに有効である。 RNNにおける既存の不確実性定量化のアプローチは、主にベイズ法に基づいている。 a)モデルトレーニングに干渉せず、その精度を損なうことなく、(b)任意のRNNアーキテクチャに適用し、(c)推定不確かさ間隔に関する理論的カバレッジ保証を提供する。
  論文  参考訳（メタデータ） (2020-06-20T22:45:32Z)
• A Generalized Neural Tangent Kernel Analysis for Two-layer Neural Networks [87.23360438947114]
  重み劣化を伴う雑音勾配降下は依然として「カーネル様」の挙動を示すことを示す。 これは、トレーニング損失が一定の精度まで線形に収束することを意味する。 また,重み劣化を伴う雑音勾配勾配勾配で学習した2層ニューラルネットワークに対して,新しい一般化誤差を確立する。
  論文  参考訳（メタデータ） (2020-02-10T18:56:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。