論文の概要: Neural (Tangent Kernel) Collapse
- arxiv url: http://arxiv.org/abs/2305.16427v2
- Date: Thu, 26 Oct 2023 13:22:56 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-28 01:49:30.800898
- Title: Neural (Tangent Kernel) Collapse
- Title(参考訳): 神経(タンジェントカーネル)崩壊
- Authors: Mariia Seleznova, Dana Weitzner, Raja Giryes, Gitta Kutyniok, Hung-Hsu
Chou
- Abstract要約: この研究は、ニューラル・タンジェント・カーネル(NTK)とニューラル・コラプス(NC)という2つの重要な概念を橋渡しする。
平均二乗損失(MSE)で訓練されたDNNの力学を導出し,それらを解釈可能な位相に分解する。
我々は,DNNにおけるNCの出現をブロック構造NTKで証明するために,ダイナミクスの本質を捉える不変量を用いている。
- 参考スコア(独自算出の注目度): 41.273479684974234
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This work bridges two important concepts: the Neural Tangent Kernel (NTK),
which captures the evolution of deep neural networks (DNNs) during training,
and the Neural Collapse (NC) phenomenon, which refers to the emergence of
symmetry and structure in the last-layer features of well-trained
classification DNNs. We adopt the natural assumption that the empirical NTK
develops a block structure aligned with the class labels, i.e., samples within
the same class have stronger correlations than samples from different classes.
Under this assumption, we derive the dynamics of DNNs trained with mean squared
(MSE) loss and break them into interpretable phases. Moreover, we identify an
invariant that captures the essence of the dynamics, and use it to prove the
emergence of NC in DNNs with block-structured NTK. We provide large-scale
numerical experiments on three common DNN architectures and three benchmark
datasets to support our theory.
- Abstract(参考訳): この研究は、訓練中のディープニューラルネットワーク(DNN)の進化を捉えるニューラル・タンジェント・カーネル(NTK)と、よく訓練された分類DNNの最終層の特徴における対称性と構造の出現を示すニューラル・コラプス(NC)現象の2つの重要な概念を橋渡しする。
我々は,経験的ntkがクラスラベルに整合したブロック構造,すなわち同一クラス内のサンプルが異なるクラスからのサンプルよりも強い相関を持つという自然な仮定を採用する。
この仮定では、平均二乗損失(MSE)で訓練されたDNNの力学を導出し、それらを解釈可能な位相に分解する。
さらに,ダイナミックスの本質を捉えた不変量を特定し,ブロック構造NTKを用いたDNNにおけるNCの出現を証明する。
我々は,3つの共通dnnアーキテクチャと3つのベンチマークデータセットに関する大規模数値実験を行い,理論を裏付ける。
関連論文リスト
- Unveiling the Unseen: Identifiable Clusters in Trained Depthwise
Convolutional Kernels [56.69755544814834]
深部分離型畳み込みニューラルネットワーク(DS-CNN)の最近の進歩は、新しいアーキテクチャをもたらす。
本稿では,DS-CNNアーキテクチャのもう一つの顕著な特性を明らかにする。
論文 参考訳(メタデータ) (2024-01-25T19:05:53Z) - Structured Neural Networks for Density Estimation and Causal Inference [15.63518195860946]
ニューラルネットワークに構造を注入することで、入力のサブセットに関する不変性を満たす学習機能を実現することができる。
本稿では,ニューラルネットワークのマスキング経路を通じて構造を注入する構造ニューラルネットワーク(StrNN)を提案する。
論文 参考訳(メタデータ) (2023-11-03T20:15:05Z) - Information Bottleneck Analysis of Deep Neural Networks via Lossy
Compression [55.41644538483948]
Information Bottleneck(IB)原則は、ディープニューラルネットワーク(DNN)のトレーニングプロセスを分析するための情報理論フレームワークを提供する。
本稿では,一般NNのICB解析のための包括的フレームワークを提案する。
論文 参考訳(メタデータ) (2023-05-13T21:44:32Z) - Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a
Polynomial Net Study [55.12108376616355]
NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。
本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。
我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
論文 参考訳(メタデータ) (2022-09-16T06:36:06Z) - On the Intrinsic Structures of Spiking Neural Networks [66.57589494713515]
近年、時間依存データやイベント駆動データを扱う大きな可能性から、SNNへの関心が高まっている。
スパイキング計算における本質的な構造の影響を総合的に調査する研究が数多く行われている。
この研究はSNNの本質的な構造を深く掘り下げ、SNNの表現性への影響を解明する。
論文 参考訳(メタデータ) (2022-06-21T09:42:30Z) - Strengthening the Training of Convolutional Neural Networks By Using
Walsh Matrix [0.0]
分類性能を向上させるため,DNNのトレーニングと構造を変更した。
畳み込みニューラルネットワーク(CNN)の最後の層に続く最小距離ネットワーク(MDN)が分類器として使用される。
異なる領域では、ノード数が少ないDivFEを使用することでより高い分類性能が得られたことが観察されている。
論文 参考訳(メタデータ) (2021-03-31T18:06:11Z) - Neural Networks Enhancement with Logical Knowledge [83.9217787335878]
関係データに対するKENNの拡張を提案する。
その結果、KENNは、存在関係データにおいても、基礎となるニューラルネットワークの性能を高めることができることがわかった。
論文 参考訳(メタデータ) (2020-09-13T21:12:20Z) - The Recurrent Neural Tangent Kernel [11.591070761599328]
本稿では、過度にパラメータ化されたRNNの動作に関する新たな洞察を提供するRNTK(Recurrent Neural Tangent Kernel)を紹介し、研究する。
56個の実世界のデータ実験により、RNTKは他のカーネルよりも大幅に性能が向上することを示した。
論文 参考訳(メタデータ) (2020-06-18T02:59:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。