論文の概要: Neural Network Layer Matrix Decomposition reveals Latent Manifold
Encoding and Memory Capacity
- arxiv url: http://arxiv.org/abs/2309.05968v1
- Date: Tue, 12 Sep 2023 05:36:08 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-13 14:20:15.763525
- Title: Neural Network Layer Matrix Decomposition reveals Latent Manifold
Encoding and Memory Capacity
- Title（参考訳）: ニューラルネットワーク層行列分解による潜時マニフォールド符号化とメモリ容量の解明
- Authors: Ng Shyh-Chang, A-Li Luo, Bo Qiu
- Abstract要約: 連続活性化関数の安定収束NNに対して、その重み行列は、そのトレーニングデータセットを有界領域上の有限誤差の範囲内で近似する連続関数を符号化することを示す。
この結果から,NNがメモリ容量を表現力に活用することで,次元の呪いをいかに破るかを理解することが示唆された。
この層行列分解(LMD)はさらに、NN層の固有分解とホップフィールドネットワークとトランスフォーマーNNモデルの概念化における最新の進歩との密接な関係を示唆している。
- 参考スコア（独自算出の注目度）: 1.2891210250935148
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We prove the converse of the universal approximation theorem, i.e. a neural
network (NN) encoding theorem which shows that for every stably converged NN of
continuous activation functions, its weight matrix actually encodes a
continuous function that approximates its training dataset to within a finite
margin of error over a bounded domain. We further show that using the
Eckart-Young theorem for truncated singular value decomposition of the weight
matrix for every NN layer, we can illuminate the nature of the latent space
manifold of the training dataset encoded and represented by every NN layer, and
the geometric nature of the mathematical operations performed by each NN layer.
Our results have implications for understanding how NNs break the curse of
dimensionality by harnessing memory capacity for expressivity, and that the two
are complementary. This Layer Matrix Decomposition (LMD) further suggests a
close relationship between eigen-decomposition of NN layers and the latest
advances in conceptualizations of Hopfield networks and Transformer NN models.
- Abstract（参考訳）: 普遍近似定理、すなわち、連続活性化関数のすべての安定収束したnnに対して、その重み行列は実際に、そのトレーニングデータセットを有限個の領域上の誤差のマージン内に近似する連続関数を符号化することを示すニューラルネットワーク(nn)符号化定理の逆を証明する。
さらに,各NN層に対する重み行列の特異値分解に対するエッカート・ヤングの定理を用いて,各NN層で符号化・表現されたトレーニングデータセットの潜在空間多様体の性質と,各NN層で実行される数学的演算の幾何学的性質を照らし出すことができることを示した。
本研究の結果は, NNがメモリ容量を表現力に活用することで, 次元の呪いをいかに破るかを理解すること, 両者が相補的であることを示唆している。
この階層行列分解(lmd)はさらに、nn層の固有分解とホップフィールドネットワークとトランスフォーマーnnモデルの概念化の最新の進歩との関係を示唆している。
関連論文リスト
- Invariant deep neural networks under the finite group for solving partial differential equations [1.4916944282865694]
我々は、有限群の下でニューラルネットワークのアーキテクチャを不変にする対称性強化ディープニューラルネットワーク(sDNN)を設計する。
数値計算の結果,sDNNはサンプリング領域内外において強い予測能力を有することがわかった。
論文 参考訳（メタデータ） (2024-07-30T05:28:10Z) - Universal Approximation and the Topological Neural Network [0.0]
トポロジカルニューラルネットワーク(TNN)は、通常の有限次元空間の代わりにチコノフ位相空間からデータを取得する。
また、ボレル測度をデータとする分布ニューラルネットワーク(DNN)も導入する。
論文 参考訳（メタデータ） (2023-05-26T05:28:10Z) - On the limits of neural network explainability via descrambling [2.5554069583567487]
隠蔽層プレアクティベーションの主成分は, 層重みの最適説明器やデクランブラーとして特徴付けられることを示す。
典型的なディープラーニングの文脈では、これらのデクランブラーは多様で興味深い形式をとっています。
論文 参考訳（メタデータ） (2023-01-18T23:16:53Z) - A Functional-Space Mean-Field Theory of Partially-Trained Three-Layer
Neural Networks [49.870593940818715]
本稿では,第1層がランダムで固定された3層NNモデルの無限幅限界について検討する。
我々の理論はモデルの異なるスケーリング選択に対応しており、結果としてMF制限の2つの条件が顕著な振舞いを示す。
論文 参考訳（メタデータ） (2022-10-28T17:26:27Z) - SymNMF-Net for The Symmetric NMF Problem [62.44067422984995]
我々は,Symmetric NMF問題に対するSymNMF-Netと呼ばれるニューラルネットワークを提案する。
各ブロックの推測は最適化の単一イテレーションに対応することを示す。
実世界のデータセットに関する実証的な結果は、我々のSymNMF-Netの優位性を示している。
論文 参考訳（メタデータ） (2022-05-26T08:17:39Z) - On Feature Learning in Neural Networks with Global Convergence
Guarantees [49.870593940818715]
勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。
入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。
また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
論文 参考訳（メタデータ） (2022-04-22T15:56:43Z) - Universal approximation property of invertible neural networks [76.95927093274392]
Invertible Neural Network (INN) は、設計によって可逆性を持つニューラルネットワークアーキテクチャである。
その可逆性とヤコビアンのトラクタビリティのおかげで、IGNは確率的モデリング、生成的モデリング、表現的学習など、さまざまな機械学習応用がある。
論文 参考訳（メタデータ） (2022-04-15T10:45:26Z) - A Convergence Theory Towards Practical Over-parameterized Deep Neural
Networks [56.084798078072396]
ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。
本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。
私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
論文 参考訳（メタデータ） (2021-01-12T00:40:45Z) - Universal Approximation Power of Deep Residual Neural Networks via
Nonlinear Control Theory [9.210074587720172]
我々は、幾何学的非線形制御により、ディープ残差ニューラルネットワークの普遍近似能力を説明する。
残余ネットワークと制御システムとのリンクを確立する最近の研究に触発されて、残余ネットワークが普遍近似の力を持つための一般的な条件を提供する。
論文 参考訳（メタデータ） (2020-07-12T14:53:30Z) - A Chain Graph Interpretation of Real-World Neural Networks [58.78692706974121]
本稿では,NNを連鎖グラフ(CG)、フィードフォワードを近似推論手法として識別する別の解釈を提案する。
CG解釈は、確率的グラフィカルモデルのリッチな理論的枠組みの中で、各NNコンポーネントの性質を規定する。
我々は,CG解釈が様々なNN技術に対する新しい理論的支援と洞察を提供することを示す具体例を実例で示す。
論文 参考訳（メタデータ） (2020-06-30T14:46:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。