論文の概要: Visualising Feature Learning in Deep Neural Networks by Diagonalizing the Forward Feature Map
- arxiv url: http://arxiv.org/abs/2410.04264v1
- Date: Sat, 5 Oct 2024 18:53:48 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-02 08:49:52.173118
- Title: Visualising Feature Learning in Deep Neural Networks by Diagonalizing the Forward Feature Map
- Title（参考訳）: 前方特徴写像の対角化による深部ニューラルネットワークにおける特徴学習の可視化
- Authors: Yoonsoo Nam, Chris Mingard, Seok Hyeong Lee, Soufiane Hayou, Ard Louis,
- Abstract要約: 本稿では,ディープニューラルネットワーク(DNN)を分解して特徴学習を分析する手法を提案する。
DNNはクラス数に等しい多くの固有関数に支配される最小特徴(MF)体制に収束する。
我々は、神経崩壊現象を、回帰のようなより広範なタスクに拡張できるカーネルイメージに再キャストする。
- 参考スコア（独自算出の注目度）: 4.776836972093627
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep neural networks (DNNs) exhibit a remarkable ability to automatically learn data representations, finding appropriate features without human input. Here we present a method for analysing feature learning by decomposing DNNs into 1) a forward feature-map $\Phi$ that maps the input dataspace to the post-activations of the penultimate layer, and 2) a final linear layer that classifies the data. We diagonalize $\Phi$ with respect to the gradient descent operator and track feature learning by measuring how the eigenfunctions and eigenvalues of $\Phi$ change during training. Across many popular architectures and classification datasets, we find that DNNs converge, after just a few epochs, to a minimal feature (MF) regime dominated by a number of eigenfunctions equal to the number of classes. This behaviour resembles the neural collapse phenomenon studied at longer training times. For other DNN-data combinations, such as a fully connected network on CIFAR10, we find an extended feature (EF) regime where significantly more features are used. Optimal generalisation performance upon hyperparameter tuning typically coincides with the MF regime, but we also find examples of poor performance within the MF regime. Finally, we recast the phenomenon of neural collapse into a kernel picture which can be extended to broader tasks such as regression.
- Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、人間の入力なしで適切な特徴を見つけ、自動的にデータ表現を学習する驚くべき能力を示す。
本稿では,DNNを分解して特徴学習を分析する手法を提案する。
1)入力データ空間をペナルティ階層のポストアクティベーションにマッピングするフォワード機能マップ$\Phi$
2) データを分類する最後の線形層。
我々は、勾配降下作用素に対して$\Phi$を対角化し、訓練中に$\Phi$の変化の固有関数と固有値がどのように変化するかを測定することによって特徴学習を追跡する。
多くの一般的なアーキテクチャや分類データセットの中で、DNNはほんの少しのエポックの後、クラス数に等しい多くの固有関数が支配する最小の特徴(MF)に収束する。
この挙動は、長い訓練時間で研究された神経崩壊現象に類似している。
CIFAR10上の完全接続ネットワークのような他のDNNデータの組み合わせでは、より多くの機能が使用される拡張機能(EF)レシエーションが見つかる。
超パラメータチューニングによる最適一般化性能は、通常、MFレギュレーションと一致するが、MFレギュレーション内での低パフォーマンスの例も見出す。
最後に、リグレッションなどの幅広いタスクに拡張可能な、神経崩壊現象をカーネルイメージに再キャストする。
関連論文リスト
- Half-Space Feature Learning in Neural Networks [2.3249139042158853]
現在、ニューラルネットワークの特徴学習には2つの極端な視点がある。
どちらの解釈も、新しい観点からは正しいとは考えにくい。
私たちはこの代替解釈を使って、Deep Linearly Gated Network (DLGN)と呼ばれるモデルを動かす。
論文 参考訳（メタデータ） (2024-04-05T12:03:19Z) - How Graph Neural Networks Learn: Lessons from Training Dynamics [80.41778059014393]
グラフニューラルネットワーク(GNN)の関数空間におけるトレーニングダイナミクスについて検討する。
GNNの勾配勾配勾配最適化は暗黙的にグラフ構造を利用して学習関数を更新する。
この発見は、学習したGNN関数が一般化した時期と理由に関する新たな解釈可能な洞察を提供する。
論文 参考訳（メタデータ） (2023-10-08T10:19:56Z) - Graph Neural Networks Provably Benefit from Structural Information: A
Feature Learning Perspective [53.999128831324576]
グラフニューラルネットワーク(GNN)は、グラフ表現学習の先駆けとなった。
本研究では,特徴学習理論の文脈におけるグラフ畳み込みの役割について検討する。
論文 参考訳（メタデータ） (2023-06-24T10:21:11Z) - ReLU Neural Networks with Linear Layers are Biased Towards Single- and Multi-Index Models [9.96121040675476]
この原稿は、2層以上の深さのニューラルネットワークによって学習された関数の性質が予測にどのように影響するかを考察している。
我々のフレームワークは、すべて同じキャパシティを持つが表現コストが異なる、様々な深さのネットワーク群を考慮に入れている。
論文 参考訳（メタデータ） (2023-05-24T22:10:12Z) - Do deep neural networks have an inbuilt Occam's razor? [1.1470070927586016]
構造データとOccam's razor-likeインダクティブバイアスが組み合わさった単純な関数に対する構造データは、複雑さを伴う関数の指数的成長に反することを示す。
この分析により、構造データと(コルモゴロフ)単純関数に対するOccam's razor-likeインダクティブバイアスが組み合わさって、複雑さを伴う関数の指数的成長に対抗できるほど強いことがDNNの成功の鍵であることが明らかになった。
論文 参考訳（メタデータ） (2023-04-13T16:58:21Z) - What Can Be Learnt With Wide Convolutional Neural Networks? [69.55323565255631]
カーネルシステムにおける無限大の深層CNNについて検討する。
我々は,深部CNNが対象関数の空間スケールに適応していることを証明する。
我々は、別の深部CNNの出力に基づいて訓練された深部CNNの一般化誤差を計算して結論付ける。
論文 参考訳（メタデータ） (2022-08-01T17:19:32Z) - Deep Neural Network Classifier for Multi-dimensional Functional Data [4.340040784481499]
我々は,多次元関数型データを分類するFDNN(Functional Deep Neural Network)と呼ばれる新しい手法を提案する。
具体的には、将来のデータ関数のクラスラベルを予測するために使用されるトレーニングデータの原則コンポーネントに基づいて、ディープニューラルネットワークをトレーニングする。
論文 参考訳（メタデータ） (2022-05-17T19:22:48Z) - The merged-staircase property: a necessary and nearly sufficient condition for SGD learning of sparse functions on two-layer neural networks [19.899987851661354]
我々は,SGD-Lrnability with $O(d)$ sample complexity in a large ambient dimension。
本研究の主な成果は, 階層的特性である「マージ階段特性」を特徴付けるものである。
鍵となるツールは、潜在低次元部分空間上で定義される函数に適用される新しい「次元自由」力学近似である。
論文 参考訳（メタデータ） (2022-02-17T13:43:06Z) - Redundant representations help generalization in wide neural networks [71.38860635025907]
様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。
最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
論文 参考訳（メタデータ） (2021-06-07T10:18:54Z) - Rank-R FNN: A Tensor-Based Learning Model for High-Order Data
Classification [69.26747803963907]
Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。
まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。
Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
論文 参考訳（メタデータ） (2021-04-11T16:37:32Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳（メタデータ） (2020-07-03T01:37:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。