論文の概要: Efficient Analysis of the Distilled Neural Tangent Kernel

• arxiv url: http://arxiv.org/abs/2602.11320v2
• Date: Tue, 17 Feb 2026 22:59:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-19 13:51:30.942588
• Title: Efficient Analysis of the Distilled Neural Tangent Kernel
• Title（参考訳）: 希釈型ニューラルネットワークカーネルの効率的解析
• Authors: Jamie Mahowald, Brian Bell, Alex Ho, Michael Geyer,
• Abstract要約: データ次元自体を圧縮することで、NTK計算を削減できることを示す。 本稿では,NTKで調整したデータセット蒸留と最先端の投射法を組み合わせた,蒸留ニューラルネットワークカーネル(DNTK)を提案する。
• 参考スコア（独自算出の注目度）: 0.8137198664755599
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural tangent kernel (NTK) methods are computationally limited by the need to evaluate large Jacobians across many data points. Existing approaches reduce this cost primarily through projecting and sketching the Jacobian. We show that NTK computation can also be reduced by compressing the data dimension itself using NTK-tuned dataset distillation. We demonstrate that the neural tangent space spanned by the input data can be induced by dataset distillation, yielding a 20-100$\times$ reduction in required Jacobian calculations. We further show that per-class NTK matrices have low effective rank that is preserved by this reduction. Building on these insights, we propose the distilled neural tangent kernel (DNTK), which combines NTK-tuned dataset distillation with state-of-the-art projection methods to reduce up NTK computational complexity by up to five orders of magnitude while preserving kernel structure and predictive performance.
• Abstract（参考訳）: ニューラル・タンジェント・カーネル(NTK)法は、多くのデータポイントにわたって大きなヤコビアンを評価する必要があるため、計算的に制限されている。 既存のアプローチは、主にヤコビアンを投影してスケッチすることで、このコストを削減する。 NTK調整したデータセット蒸留を用いて,データ次元自体を圧縮することにより,NTK計算の削減も可能であることを示す。 入力データによって分散されたニューラル・タンジェント空間は,20-100$\times$で必要なヤコビアン計算を減らし,データセット蒸留により誘導できることを実証した。 さらに,クラス毎のNTK行列は,この還元により保存される有効ランクが低いことを示す。 これらの知見に基づいて,NTKを用いたデータセット蒸留と最先端の予測手法を組み合わせることで,カーネル構造と予測性能を保ちながら,NTKの計算複雑性を最大5桁まで低減する,蒸留ニューラルタンジェントカーネル(DNTK)を提案する。

関連論文リスト

• Scalable Linearized Laplace Approximation via Surrogate Neural Kernel [11.227924985781423]
  本稿では,Linearized Laplace Approximation (LLA) のカーネルを近似するスケーラブルな手法を提案する。 我々は、内部積がニューラルタンジェントカーネル(NTK)を複製するコンパクトな特徴表現を学習する代理ディープニューラルネットワーク(DNN)を使用している。
  論文  参考訳（メタデータ） (2026-01-29T15:15:41Z)
• Stochastic Marginal Likelihood Gradients using Neural Tangent Kernels [78.6096486885658]
  線形化されたラプラス近似に下界を導入する。 これらの境界は漸進的な最適化が可能であり、推定精度と計算複雑性とのトレードオフを可能にする。
  論文  参考訳（メタデータ） (2023-06-06T19:02:57Z)
• Dataset Distillation with Convexified Implicit Gradients [69.16247946639233]
  メタ段階更新の計算に暗黙の勾配を効果的に利用できるかを示す。 さらに,凍結した有限幅ニューラルネットワーク上での学習に対応する凸近似をアルゴリズムに装備する。
  論文  参考訳（メタデータ） (2023-02-13T23:53:16Z)
• Joint Edge-Model Sparse Learning is Provably Efficient for Graph Neural Networks [89.28881869440433]
  本稿では,グラフニューラルネットワーク(GNN)における結合エッジモデルスパース学習の理論的特徴について述べる。 解析学的には、重要なノードをサンプリングし、最小のマグニチュードでプルーニングニューロンをサンプリングすることで、サンプルの複雑さを減らし、テスト精度を損なうことなく収束を改善することができる。
  論文  参考訳（メタデータ） (2023-02-06T16:54:20Z)
• Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
  本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。 我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。 RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
  論文  参考訳（メタデータ） (2022-10-21T15:56:13Z)
• Scaling Neural Tangent Kernels via Sketching and Random Features [53.57615759435126]
  最近の研究報告では、NTKレグレッションは、小規模データセットでトレーニングされた有限範囲のニューラルネットワークより優れている。 我々は、アークコサインカーネルの拡張をスケッチして、NTKの近距離入力スパーシティ時間近似アルゴリズムを設計する。 CNTKの特徴をトレーニングした線形回帰器が,CIFAR-10データセット上での正確なCNTKの精度と150倍の高速化を実現していることを示す。
  論文  参考訳（メタデータ） (2021-06-15T04:44:52Z)
• Random Features for the Neural Tangent Kernel [57.132634274795066]
  完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。 得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
  論文  参考訳（メタデータ） (2021-04-03T09:08:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。