論文の概要: Nonlocal Neural Tangent Kernels via Parameter-Space Interactions

• arxiv url: http://arxiv.org/abs/2509.12467v1
• Date: Mon, 15 Sep 2025 21:23:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-17 17:50:52.77618
• Title: Nonlocal Neural Tangent Kernels via Parameter-Space Interactions
• Title（参考訳）: パラメータ空間相互作用による非局所的ニューラルネットワークカーネル
• Authors: Sriram Nagaraj, Vishakh Hari,
• Abstract要約: Neural Tangent Kernel(NTK)は、勾配流下でのニューラルネットワークのトレーニングダイナミクスに関する洞察を提供する。 本稿では,局所勾配をパラメータ空間の非局所的相互作用に基づく近似に置き換える非局所ニューラルネットワークカーネル(NNTK)を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Neural Tangent Kernel (NTK) framework has provided deep insights into the training dynamics of neural networks under gradient flow. However, it relies on the assumption that the network is differentiable with respect to its parameters, an assumption that breaks down when considering non-smooth target functions or parameterized models exhibiting non-differentiable behavior. In this work, we propose a Nonlocal Neural Tangent Kernel (NNTK) that replaces the local gradient with a nonlocal interaction-based approximation in parameter space. Nonlocal gradients are known to exist for a wider class of functions than the standard gradient. This allows NTK theory to be extended to nonsmooth functions, stochastic estimators, and broader families of models. We explore both fixed-kernel and attention-based formulations of this nonlocal operator. We illustrate the new formulation with numerical studies.
• Abstract（参考訳）: Neural Tangent Kernel(NTK)フレームワークは、勾配流下でのニューラルネットワークのトレーニングダイナミクスに関する深い洞察を提供する。 しかし、それはネットワークがパラメータに関して微分可能であるという仮定に依存しており、非滑らかなターゲット関数や非微分可能な振る舞いを示すパラメータ化モデルを考えると、その仮定は崩壊する。 本研究では、局所勾配をパラメータ空間の非局所相互作用に基づく近似に置き換える非局所ニューラルネットワークカーネル(NNTK)を提案する。 非局所勾配は標準勾配よりも広いクラスの函数に対して存在することが知られている。 これにより、NTK理論は非滑らかな関数、確率的推定器、より広いモデルの族にまで拡張できる。 この非局所作用素の固定カーネルと注意に基づく定式化について検討する。 数値計算による新しい定式化について説明する。

関連論文リスト

• Convergence analysis of wide shallow neural operators within the framework of Neural Tangent Kernel [4.313136216120379]
  我々は、ニューラルタンジェントカーネル(NTK)の枠組み内で、広い浅層ニューラル演算子と物理インフォームド浅部ニューラル演算子の勾配降下の収束解析を行う。 過度なパラメータ化の設定の下では、勾配降下は連続時間であるか離散時間であるかに関わらず、大域的な最小値を見つけることができる。
  論文  参考訳（メタデータ） (2024-12-07T05:47:28Z)
• BrowNNe: Brownian Nonlocal Neurons & Activation Functions [0.0]
  低トレーニングデータにおけるブラウンニューラルアクティベーション関数がReLUに勝っていることを示す。 本実験は,低トレーニングデータにおけるブラウン神経活性化機能の優れた機能を示す。
  論文  参考訳（メタデータ） (2024-06-21T19:40:30Z)
• Neural Operators with Localized Integral and Differential Kernels [77.76991758980003]
  本稿では,2つのフレームワークで局所的な特徴をキャプチャできる演算子学習の原理的アプローチを提案する。 我々はCNNのカーネル値の適切なスケーリングの下で微分演算子を得ることを示す。 局所積分演算子を得るには、離散連続的畳み込みに基づくカーネルの適切な基底表現を利用する。
  論文  参考訳（メタデータ） (2024-02-26T18:59:31Z)
• Stochastic Marginal Likelihood Gradients using Neural Tangent Kernels [78.6096486885658]
  線形化されたラプラス近似に下界を導入する。 これらの境界は漸進的な最適化が可能であり、推定精度と計算複雑性とのトレードオフを可能にする。
  論文  参考訳（メタデータ） (2023-06-06T19:02:57Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Learning Discretized Neural Networks under Ricci Flow [48.47315844022283]
  低精度重みとアクティベーションからなる離散ニューラルネットワーク(DNN)について検討する。 DNNは、訓練中に微分不可能な離散関数のために無限あるいはゼロの勾配に悩まされる。
  論文  参考訳（メタデータ） (2023-02-07T10:51:53Z)
• Nonlocal Kernel Network (NKN): a Stable and Resolution-Independent Deep Neural Network [23.465930256410722]
  非ローカルカーネルネットワーク(NKN)は、ディープニューラルネットワークを特徴とする解像度独立である。 NKNは、支配方程式の学習や画像の分類など、さまざまなタスクを処理できる。
  論文  参考訳（メタデータ） (2022-01-06T19:19:35Z)
• Optimal Rates for Averaged Stochastic Gradient Descent under Neural Tangent Kernel Regime [50.510421854168065]
  平均勾配勾配勾配は極小収束率が得られることを示す。 本稿では、ReLUネットワークのNTKで指定されたターゲット関数を最適収束速度で学習できることを示す。
  論文  参考訳（メタデータ） (2020-06-22T14:31:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。