論文の概要: Neural Network Layer Matrix Decomposition reveals Latent Manifold
Encoding and Memory Capacity
- arxiv url: http://arxiv.org/abs/2309.05968v1
- Date: Tue, 12 Sep 2023 05:36:08 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-13 14:20:15.763525
- Title: Neural Network Layer Matrix Decomposition reveals Latent Manifold
Encoding and Memory Capacity
- Title(参考訳): ニューラルネットワーク層行列分解による潜時マニフォールド符号化とメモリ容量の解明
- Authors: Ng Shyh-Chang, A-Li Luo, Bo Qiu
- Abstract要約: 連続活性化関数の安定収束NNに対して、その重み行列は、そのトレーニングデータセットを有界領域上の有限誤差の範囲内で近似する連続関数を符号化することを示す。
この結果から,NNがメモリ容量を表現力に活用することで,次元の呪いをいかに破るかを理解することが示唆された。
この層行列分解(LMD)はさらに、NN層の固有分解とホップフィールドネットワークとトランスフォーマーNNモデルの概念化における最新の進歩との密接な関係を示唆している。
- 参考スコア(独自算出の注目度): 1.2891210250935148
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We prove the converse of the universal approximation theorem, i.e. a neural
network (NN) encoding theorem which shows that for every stably converged NN of
continuous activation functions, its weight matrix actually encodes a
continuous function that approximates its training dataset to within a finite
margin of error over a bounded domain. We further show that using the
Eckart-Young theorem for truncated singular value decomposition of the weight
matrix for every NN layer, we can illuminate the nature of the latent space
manifold of the training dataset encoded and represented by every NN layer, and
the geometric nature of the mathematical operations performed by each NN layer.
Our results have implications for understanding how NNs break the curse of
dimensionality by harnessing memory capacity for expressivity, and that the two
are complementary. This Layer Matrix Decomposition (LMD) further suggests a
close relationship between eigen-decomposition of NN layers and the latest
advances in conceptualizations of Hopfield networks and Transformer NN models.
- Abstract(参考訳): 普遍近似定理、すなわち、連続活性化関数のすべての安定収束したnnに対して、その重み行列は実際に、そのトレーニングデータセットを有限個の領域上の誤差のマージン内に近似する連続関数を符号化することを示すニューラルネットワーク(nn)符号化定理の逆を証明する。
さらに,各NN層に対する重み行列の特異値分解に対するエッカート・ヤングの定理を用いて,各NN層で符号化・表現されたトレーニングデータセットの潜在空間多様体の性質と,各NN層で実行される数学的演算の幾何学的性質を照らし出すことができることを示した。
本研究の結果は, NNがメモリ容量を表現力に活用することで, 次元の呪いをいかに破るかを理解すること, 両者が相補的であることを示唆している。
この階層行列分解(lmd)はさらに、nn層の固有分解とホップフィールドネットワークとトランスフォーマーnnモデルの概念化の最新の進歩との関係を示唆している。
関連論文リスト
- Universal Approximation and the Topological Neural Network [0.0]
トポロジカルニューラルネットワーク(TNN)は、通常の有限次元空間の代わりにチコノフ位相空間からデータを取得する。
また、ボレル測度をデータとする分布ニューラルネットワーク(DNN)も導入する。
論文 参考訳(メタデータ) (2023-05-26T05:28:10Z) - Information Bottleneck Analysis of Deep Neural Networks via Lossy
Compression [55.41644538483948]
Information Bottleneck(IB)原則は、ディープニューラルネットワーク(DNN)のトレーニングプロセスを分析するための情報理論フレームワークを提供する。
本稿では,一般NNのICB解析のための包括的フレームワークを提案する。
論文 参考訳(メタデータ) (2023-05-13T21:44:32Z) - A Functional-Space Mean-Field Theory of Partially-Trained Three-Layer
Neural Networks [49.870593940818715]
本稿では,第1層がランダムで固定された3層NNモデルの無限幅限界について検討する。
我々の理論はモデルの異なるスケーリング選択に対応しており、結果としてMF制限の2つの条件が顕著な振舞いを示す。
論文 参考訳(メタデータ) (2022-10-28T17:26:27Z) - Continuous Generative Neural Networks [0.966840768820136]
本研究では,連続的な環境下での連続生成ニューラルネットワーク(CGNN)について検討する。
このアーキテクチャはDCGANにインスパイアされ、1つの完全に接続された層、いくつかの畳み込み層、非線形活性化関数を持つ。
本稿では,畳み込みフィルタの条件と,CGNNが注入可能であることを保証する非線形性について述べる。
論文 参考訳(メタデータ) (2022-05-29T11:06:29Z) - SymNMF-Net for The Symmetric NMF Problem [62.44067422984995]
我々は,Symmetric NMF問題に対するSymNMF-Netと呼ばれるニューラルネットワークを提案する。
各ブロックの推測は最適化の単一イテレーションに対応することを示す。
実世界のデータセットに関する実証的な結果は、我々のSymNMF-Netの優位性を示している。
論文 参考訳(メタデータ) (2022-05-26T08:17:39Z) - On Feature Learning in Neural Networks with Global Convergence
Guarantees [49.870593940818715]
勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。
入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。
また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
論文 参考訳(メタデータ) (2022-04-22T15:56:43Z) - Universal approximation property of invertible neural networks [76.95927093274392]
Invertible Neural Network (INN) は、設計によって可逆性を持つニューラルネットワークアーキテクチャである。
その可逆性とヤコビアンのトラクタビリティのおかげで、IGNは確率的モデリング、生成的モデリング、表現的学習など、さまざまな機械学習応用がある。
論文 参考訳(メタデータ) (2022-04-15T10:45:26Z) - Residual Matrix Product State for Machine Learning [20.158215120846652]
行列生成状態 (MPS) と残存ニューラルネットワーク (NN) のアイデアを組み合わせることで, 残留行列生成状態 (ResMPS) を提案する。
ResMPSは層が"隠された"特徴を出力にマッピングするネットワークとして扱うことができる。
それは効率、安定性および表現力の最先端のTNモデルより優秀です。
論文 参考訳(メタデータ) (2020-12-22T05:44:20Z) - Universal Approximation Power of Deep Residual Neural Networks via
Nonlinear Control Theory [9.210074587720172]
我々は、幾何学的非線形制御により、ディープ残差ニューラルネットワークの普遍近似能力を説明する。
残余ネットワークと制御システムとのリンクを確立する最近の研究に触発されて、残余ネットワークが普遍近似の力を持つための一般的な条件を提供する。
論文 参考訳(メタデータ) (2020-07-12T14:53:30Z) - A Chain Graph Interpretation of Real-World Neural Networks [58.78692706974121]
本稿では,NNを連鎖グラフ(CG)、フィードフォワードを近似推論手法として識別する別の解釈を提案する。
CG解釈は、確率的グラフィカルモデルのリッチな理論的枠組みの中で、各NNコンポーネントの性質を規定する。
我々は,CG解釈が様々なNN技術に対する新しい理論的支援と洞察を提供することを示す具体例を実例で示す。
論文 参考訳(メタデータ) (2020-06-30T14:46:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。