論文の概要: Reactivation: Empirical NTK Dynamics Under Task Shifts

• arxiv url: http://arxiv.org/abs/2507.16039v1
• Date: Mon, 21 Jul 2025 20:13:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-23 21:34:13.874438
• Title: Reactivation: Empirical NTK Dynamics Under Task Shifts
• Title（参考訳）: Reactivation: タスクシフトによるNTKダイナミクスの実証
• Authors: Yuzhi Liu, Zixuan Chen, Zirui Zhang, Yufei Liu, Giulia Lanzillotta,
• Abstract要約: Neural Tangent Kernel(NTK)は、ニューラルネットワークの機能的ダイナミクスを研究する強力なツールである。 いわゆる遅延(lazy, kernel system)では、NTKはトレーニング中も静的であり、ネットワーク機能は静的ニューラルネットワークの特徴空間において線形である。 NTKダイナミクスの研究は、近年、一般化とスケーリングの振る舞いにおいていくつかの重要な発見を導いている。
• 参考スコア（独自算出の注目度）: 12.32540447018987
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The Neural Tangent Kernel (NTK) offers a powerful tool to study the functional dynamics of neural networks. In the so-called lazy, or kernel regime, the NTK remains static during training and the network function is linear in the static neural tangents feature space. The evolution of the NTK during training is necessary for feature learning, a key driver of deep learning success. The study of the NTK dynamics has led to several critical discoveries in recent years, in generalization and scaling behaviours. However, this body of work has been limited to the single task setting, where the data distribution is assumed constant over time. In this work, we present a comprehensive empirical analysis of NTK dynamics in continual learning, where the data distribution shifts over time. Our findings highlight continual learning as a rich and underutilized testbed for probing the dynamics of neural training. At the same time, they challenge the validity of static-kernel approximations in theoretical treatments of continual learning, even at large scale.
• Abstract（参考訳）: Neural Tangent Kernel(NTK)は、ニューラルネットワークの機能的ダイナミクスを研究する強力なツールである。 いわゆる遅延(lazy, kernel system)では、NTKはトレーニング中も静的であり、ネットワーク機能は静的ニューラルネットワークの特徴空間において線形である。 深層学習の成功の鍵となる特徴学習には、トレーニング中のNTKの進化が必要である。 NTKダイナミクスの研究は、近年、一般化とスケーリングの振る舞いにおいていくつかの重要な発見を導いている。 しかし、この作業は単一のタスク設定に限られており、データ分散は時間とともに一定であると仮定されている。 本研究では,データ分布が時間とともに変化する連続学習におけるNTKダイナミクスの包括的実験分析について述べる。 本研究は,神経トレーニングのダイナミクスを探索するための,豊かで未利用なテストベッドとして継続学習を強調した。 同時に、連続学習の理論的処理における静的カーネル近似の妥当性を、大規模でも挑戦した。

関連論文リスト

• Understanding the Evolution of the Neural Tangent Kernel at the Edge of Stability [35.683596966795136]
  本稿では,安定エッジ(EoS)におけるNTK固有ベクトルのダイナミクスを詳細に検討する。 学習速度が大きくなると、最終NTKの固有ベクトルと完全なNTK行列が学習目標との整合性を高めることが観察された。 次に、この現象の基盤となるメカニズムを考察し、2層線形ネットワークの理論解析を行う。
  論文  参考訳（メタデータ） (2025-07-17T06:52:56Z)
• Leveraging chaos in the training of artificial neural networks [3.379574469735166]
  従来とは違って大きな学習率のトレーニングに沿って、ニューラルネットワークの軌道のダイナミクスを探求する。 学習率の値の領域において、GD最適化は純粋に活用可能なアルゴリズムから探索・探索バランスの体制へと移行することを示す。
  論文  参考訳（メタデータ） (2025-06-10T07:41:58Z)
• Connecting NTK and NNGP: A Unified Theoretical Framework for Wide Neural Network Learning Dynamics [6.349503549199403]
  我々は、ディープ・ワイド・ニューラルネットワークの学習プロセスのための包括的なフレームワークを提供する。 拡散相を特徴づけることで、私たちの研究は脳内の表現的ドリフトに光を当てます。
  論文  参考訳（メタデータ） (2023-09-08T18:00:01Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• What Can the Neural Tangent Kernel Tell Us About Adversarial Robustness? [0.0]
  ニューラルネットワークとカーネルメソッドを接続する最近の理論の進歩によって得られた分析ツールを用いて、トレーニングされたニューラルネットワークの逆例について研究する。 NTKがいかにして、トレーニングフリーのやり方で敵の例を生成できるかを示し、遅延のやり方で、有限幅のニューラルネットを騙すために移行することを実証する。
  論文  参考訳（メタデータ） (2022-10-11T16:11:48Z)
• The Spectral Bias of Polynomial Neural Networks [63.27903166253743]
  PNN(Polynomial Neural Network)は、高頻度情報を重要視する画像生成と顔認識に特に有効であることが示されている。 これまでの研究では、ニューラルネットワークが低周波関数に対して$textitspectral bias$を示しており、トレーニング中に低周波成分のより高速な学習をもたらすことが示されている。 このような研究に触発されて、我々はPNNのTangent Kernel(NTK)のスペクトル分析を行う。 我々は、最近提案されたPNNのパラメトリゼーションである$Pi$-Netファミリがスピードアップすることを発見した。
  論文  参考訳（メタデータ） (2022-02-27T23:12:43Z)
• Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
  訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。 学習過程において隠れた層内のニューロンの多様性を探索する。 ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2021-09-20T15:12:16Z)
• What can linearized neural networks actually say about generalization? [67.83999394554621]
  ある無限大のニューラルネットワークにおいて、ニューラル・タンジェント・カーネル(NTK)理論は一般化を完全に特徴づける。 線形近似は、ニューラルネットワークの特定のタスクの学習複雑性を確実にランク付けできることを示す。 我々の研究は、将来の理論的研究を刺激する新しい深層学習現象の具体例を提供する。
  論文  参考訳（メタデータ） (2021-06-12T13:05:11Z)
• Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
  グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。 この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
  論文  参考訳（メタデータ） (2020-11-18T18:52:08Z)
• Deep learning versus kernel learning: an empirical study of loss landscape geometry and the time evolution of the Neural Tangent Kernel [41.79250783277419]
  本研究では,非線形深層ネットワークのトレーニング力学,損失ランドスケープの幾何学,およびデータ依存NTKの時間発展の関係について検討する。 複数のニューラルアーキテクチャとデータセットにおいて、これらの多様な尺度は高度に相関した方法で進化し、ディープラーニングプロセスの普遍的なイメージを明らかにする。
  論文  参考訳（メタデータ） (2020-10-28T17:53:01Z)
• Recurrent Neural Network Learning of Performance and Intrinsic Population Dynamics from Sparse Neural Data [77.92736596690297]
  本稿では,RNNの入出力動作だけでなく,内部ネットワークのダイナミクスも学習できる新しいトレーニング戦略を提案する。 提案手法は、RNNを訓練し、生理学的にインスパイアされた神経モデルの内部ダイナミクスと出力信号を同時に再現する。 注目すべきは、トレーニングアルゴリズムがニューロンの小さなサブセットの活性に依存する場合であっても、内部動力学の再現が成功することである。
  論文  参考訳（メタデータ） (2020-05-05T14:16:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。