論文の概要: Feature Identification via the Empirical NTK

• arxiv url: http://arxiv.org/abs/2510.00468v1
• Date: Wed, 01 Oct 2025 03:39:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 16:59:20.358243
• Title: Feature Identification via the Empirical NTK
• Title（参考訳）: 経験的NTKによる特徴同定
• Authors: Jennifer Lin,
• Abstract要約: 我々は、経験的ニューラルネットワーク(eNTK)の固有解析が、訓練されたニューラルネットワークで使われる特徴を表面化できることを示す。 eNTKは、最上部の固有空間が地上構造と整合する鋭い崖を示す。 我々は,層状eNTKが特定の層に特徴を局在させ,eNTK固有スペクトルの進化がグルーキング相転移の診断に有効であることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We provide evidence that eigenanalysis of the empirical neural tangent kernel (eNTK) can surface the features used by trained neural networks. Across two standard toy models for mechanistic interpretability, Toy Models of Superposition (TMS) and a 1-layer MLP trained on modular addition, we find that the eNTK exhibits sharp spectral cliffs whose top eigenspaces align with ground-truth features. In TMS, the eNTK recovers the ground-truth features in both the sparse (high superposition) and dense regimes. In modular arithmetic, the eNTK can be used to recover Fourier feature families. Moreover, we provide evidence that a layerwise eNTK localizes features to specific layers and that the evolution of the eNTK eigenspectrum can be used to diagnose the grokking phase transition. These results suggest that eNTK analysis may provide a practical handle for feature discovery and for detecting phase changes in small models.
• Abstract（参考訳）: 我々は、経験的ニューラルネットワーク(eNTK)の固有解析が、訓練されたニューラルネットワークで使われる特徴を表面化できることを示す。 メカニカル・インタプリタビリティのための2つの標準玩具モデル, トイ・モデル・オブ・スーパーポジション (TMS) , およびモジュラー付加を訓練した1層MLPにおいて, eNTKは, 最高固有空間が接地構造と整合する鋭いスペクトル崖を示す。 TMSでは、eNTKはスパース(高重ね合わせ)と密度レジームの両方の基底構造を回復する。 モジュラー演算では、eNTKを使ってフーリエ特徴ファミリを復元することができる。 さらに,層状eNTKが特定の層に特徴を局在させ,eNTK固有スペクトルの進化がグルーキング相転移の診断に有効であることを示す。 これらの結果から,eNTK解析は,小モデルにおける特徴発見と位相変化の検出に実用的な手掛かりとなる可能性が示唆された。

関連論文リスト

• Global Convergence and Rich Feature Learning in $L$-Layer Infinite-Width Neural Networks under $μ$P Parametrization [66.03821840425539]
  本稿では, テンソル勾配プログラム(SGD)フレームワークを用いた$L$層ニューラルネットワークのトレーニング力学について検討する。 SGDにより、これらのネットワークが初期値から大きく逸脱する線形独立な特徴を学習できることを示す。 このリッチな特徴空間は、関連するデータ情報をキャプチャし、トレーニングプロセスの収束点が世界最小であることを保証する。
  論文  参考訳（メタデータ） (2025-03-12T17:33:13Z)
• Analytic Convolutional Layer: A Step to Analytic Neural Network [15.596391258983463]
  ACL(Analytic Convolutional Layer)は、分析的畳み込みカーネル(ACK)と従来の畳み込みカーネルのモザイクである。 ACLはニューラルネットワーク解釈の手段を提供するので、ニューラルネットワークの固有の解釈可能性の道を開くことができる。
  論文  参考訳（メタデータ） (2024-07-03T07:10:54Z)
• Unraveling Feature Extraction Mechanisms in Neural Networks [10.13842157577026]
  本稿では, ニューラルネットワークカーネル(NTK)に基づく理論的手法を提案し, そのメカニズムを解明する。 これらのモデルが勾配降下時の統計的特徴をどのように活用し、最終決定にどのように統合されるかを明らかにする。 自己注意モデルとCNNモデルはn-gramの学習の限界を示すが、乗算モデルはこの領域で優れていると考えられる。
  論文  参考訳（メタデータ） (2023-10-25T04:22:40Z)
• Momentum Diminishes the Effect of Spectral Bias in Physics-Informed Neural Networks [72.09574528342732]
  物理インフォームドニューラルネットワーク(PINN)アルゴリズムは、偏微分方程式(PDE)を含む幅広い問題を解く上で有望な結果を示している。 彼らはしばしば、スペクトルバイアスと呼ばれる現象のために、ターゲット関数が高周波の特徴を含むとき、望ましい解に収束しない。 本研究は, 運動量による勾配降下下で進化するPINNのトレーニングダイナミクスを, NTK(Neural Tangent kernel)を用いて研究するものである。
  論文  参考訳（メタデータ） (2022-06-29T19:03:10Z)
• On Feature Learning in Neural Networks with Global Convergence Guarantees [49.870593940818715]
  勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。 入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。 また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
  論文  参考訳（メタデータ） (2022-04-22T15:56:43Z)
• Exploring Linear Feature Disentanglement For Neural Networks [63.20827189693117]
  Sigmoid、ReLU、Tanhなどの非線形活性化関数は、ニューラルネットワーク(NN)において大きな成功を収めた。 サンプルの複雑な非線形特性のため、これらの活性化関数の目的は、元の特徴空間から線形分離可能な特徴空間へサンプルを投影することである。 この現象は、現在の典型的なNNにおいて、すべての特徴がすべての非線形関数によって変換される必要があるかどうかを探求することに興味をそそる。
  論文  参考訳（メタデータ） (2022-03-22T13:09:17Z)
• The Spectral Bias of Polynomial Neural Networks [63.27903166253743]
  PNN(Polynomial Neural Network)は、高頻度情報を重要視する画像生成と顔認識に特に有効であることが示されている。 これまでの研究では、ニューラルネットワークが低周波関数に対して$textitspectral bias$を示しており、トレーニング中に低周波成分のより高速な学習をもたらすことが示されている。 このような研究に触発されて、我々はPNNのTangent Kernel(NTK)のスペクトル分析を行う。 我々は、最近提案されたPNNのパラメトリゼーションである$Pi$-Netファミリがスピードアップすることを発見した。
  論文  参考訳（メタデータ） (2022-02-27T23:12:43Z)
• Deep learning and high harmonic generation [0.0]
  我々は,高調波発生(hhg)シナリオに適用する場合に,様々な深層ニューラルネットワーク(nns)の有用性を検討する。 まず,二原子系および三原子系の低次元モデルから時間依存双極子およびhhg放出スペクトルを予測するためにnnsを訓練する。 次に,ネットワークに適用可能性の範囲を広げるために,転送学習をネットワークに適用できることを実証する。
  論文  参考訳（メタデータ） (2020-12-18T16:13:17Z)
• Scalable Partial Explainability in Neural Networks via Flexible Activation Functions [13.71739091287644]
  ディープニューラルネットワーク(NN)によって与えられる高次元の特徴と決定は、そのメカニズムを公開するために新しいアルゴリズムと方法を必要とする。 現在の最先端のNN解釈手法は、NN構造や操作自体よりも、NN出力と入力との直接的な関係に重点を置いている。 本稿では,スケーラブルなトポロジの下でのアクティベーション関数(AF)の役割を象徴的に説明することにより,部分的に説明可能な学習モデルを実現する。
  論文  参考訳（メタデータ） (2020-06-10T20:30:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。