論文の概要: Exploring Learned Representations of Neural Networks with Principal
Component Analysis
- arxiv url: http://arxiv.org/abs/2309.15328v1
- Date: Wed, 27 Sep 2023 00:18:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-28 17:06:13.854280
- Title: Exploring Learned Representations of Neural Networks with Principal
Component Analysis
- Title(参考訳): 主成分分析によるニューラルネットワークの学習表現の探索
- Authors: Amit Harlev, Andrew Engel, Panos Stinis, Tony Chiang
- Abstract要約: ある層では、高い精度の分類には中間的特徴空間分散の20%しか必要としない。
本研究は神経崩壊と相関し, 中間神経崩壊の関連現象の部分的証拠を提供する。
- 参考スコア(独自算出の注目度): 1.0923877073891446
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Understanding feature representation for deep neural networks (DNNs) remains
an open question within the general field of explainable AI. We use principal
component analysis (PCA) to study the performance of a k-nearest neighbors
classifier (k-NN), nearest class-centers classifier (NCC), and support vector
machines on the learned layer-wise representations of a ResNet-18 trained on
CIFAR-10. We show that in certain layers, as little as 20% of the intermediate
feature-space variance is necessary for high-accuracy classification and that
across all layers, the first ~100 PCs completely determine the performance of
the k-NN and NCC classifiers. We relate our findings to neural collapse and
provide partial evidence for the related phenomenon of intermediate neural
collapse. Our preliminary work provides three distinct yet interpretable
surrogate models for feature representation with an affine linear model the
best performing. We also show that leveraging several surrogate models affords
us a clever method to estimate where neural collapse may initially occur within
the DNN.
- Abstract(参考訳): ディープニューラルネットワーク(DNN)の機能表現を理解することは、説明可能なAIの一般的な分野におけるオープンな問題である。
主成分分析 (PCA) を用いて, CIFAR-10 で訓練された ResNet-18 の学習層表現において, k-nearest 近傍分類器 (k-NN) , 最寄りクラスセンタ分類器 (NCC) の性能について検討する。
特定の層において、高い精度の分類には中間的特徴空間分散の20%しか必要とせず、全ての層において、最初の100個のPCがk-NNとNCCの分類器の性能を完全に決定していることを示す。
本研究は神経崩壊と相関し, 中間神経崩壊の関連現象の部分的証拠を提供する。
予備的な研究は、アフィン線形モデルを用いた特徴表現のための3つの異なる解釈可能なサロゲートモデルを提供する。
また、複数のサロゲートモデルを活用することで、DNN内での神経崩壊の発生場所を推定する賢い方法が得られます。
関連論文リスト
- How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳(メタデータ) (2023-06-04T08:53:27Z) - Understanding Imbalanced Semantic Segmentation Through Neural Collapse [81.89121711426951]
セマンティックセグメンテーションは自然に文脈的相関とクラス間の不均衡分布をもたらすことを示す。
機能中心にレギュレータを導入し、ネットワークが魅力ある構造に近い機能を学ぶことを奨励する。
我々の手法は、ScanNet200テストリーダーボードで1位にランクインし、新しい記録を樹立する。
論文 参考訳(メタデータ) (2023-01-03T13:51:51Z) - Experimental Observations of the Topology of Convolutional Neural
Network Activations [2.4235626091331737]
トポロジカル・データ解析は、複雑な構造のコンパクトでノイズ・ロバストな表現を提供する。
ディープニューラルネットワーク(DNN)は、モデルアーキテクチャによって定義された一連の変換に関連する数百万のパラメータを学習する。
本稿では,画像分類に使用される畳み込みニューラルネットワークの解釈可能性に関する知見を得る目的で,TDAの最先端技術を適用した。
論文 参考訳(メタデータ) (2022-12-01T02:05:44Z) - On Feature Learning in Neural Networks with Global Convergence
Guarantees [49.870593940818715]
勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。
入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。
また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
論文 参考訳(メタデータ) (2022-04-22T15:56:43Z) - Do We Really Need a Learnable Classifier at the End of Deep Neural
Network? [118.18554882199676]
本研究では、ニューラルネットワークを学習して分類器をランダムにETFとして分類し、訓練中に固定する可能性について検討する。
実験結果から,バランスの取れたデータセットの画像分類において,同様の性能が得られることがわかった。
論文 参考訳(メタデータ) (2022-03-17T04:34:28Z) - Interpretable part-whole hierarchies and conceptual-semantic
relationships in neural networks [4.153804257347222]
本稿では、視覚的手がかりから部分全体階層を表現できるフレームワークであるAgglomeratorについて述べる。
本研究では,SmallNORB,MNIST,FashionMNIST,CIFAR-10,CIFAR-100などの共通データセットを用いて評価を行った。
論文 参考訳(メタデータ) (2022-03-07T10:56:13Z) - Towards Disentangling Information Paths with Coded ResNeXt [11.884259630414515]
ネットワーク全体の機能の透明性を高めるために,我々は新しいアプローチを採っている。
分類のためのニューラルネットワークアーキテクチャを提案し、各クラスに関連する情報が特定の経路を流れる。
論文 参考訳(メタデータ) (2022-02-10T21:45:49Z) - Rethinking Nearest Neighbors for Visual Classification [56.00783095670361]
k-NNは、トレーニングセット内のテストイメージとトップk隣人間の距離を集約する遅延学習手法である。
我々は,教師付き手法と自己監督型手法のいずれでも,事前学習した視覚表現を持つk-NNを2つのステップで採用する。
本研究は,幅広い分類タスクに関する広範な実験により,k-NN統合の汎用性と柔軟性を明らかにした。
論文 参考訳(メタデータ) (2021-12-15T20:15:01Z) - Structure and Performance of Fully Connected Neural Networks: Emerging
Complex Network Properties [0.8484871864277639]
完全連結ニューラルネットワークの構造と性能を解析するために,複素ネットワーク(CN)技術を提案する。
4万のモデルとそれぞれのCNプロパティでデータセットを構築します。
本研究は,完全連結ニューラルネットワークの性能において,CN特性が重要な役割を担っていることを示唆する。
論文 参考訳(メタデータ) (2021-07-29T14:53:52Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳(メタデータ) (2020-07-03T01:37:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。