Fugu-MT 論文翻訳(概要): Analytical Solution of a Three-layer Network with a Matrix Exponential Activation Function

論文の概要: Analytical Solution of a Three-layer Network with a Matrix Exponential Activation Function

arxiv url: http://arxiv.org/abs/2407.02540v1
Date: Tue, 2 Jul 2024 01:59:34 GMT
ステータス: 処理完了
システム内更新日: 2024-07-04 18:43:42.945967
Title: Analytical Solution of a Three-layer Network with a Matrix Exponential Activation Function
Title（参考訳）: 行列指数活性化関数を持つ3層ネットワークの解析解
Authors: Kuo Gai, Shihua Zhang,
Abstract要約: 行列指数活性化関数を持つ3層ネットワークの解を求める。我々の証明は、深さのパワーと非活性化関数の使用を示している。
参考スコア（独自算出の注目度）: 8.79364699260219
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In practice, deeper networks tend to be more powerful than shallow ones, but this has not been understood theoretically. In this paper, we find the analytical solution of a three-layer network with a matrix exponential activation function, i.e., $$ f(X)=W_3\exp(W_2\exp(W_1X)), X\in \mathbb{C}^{d\times d} $$ have analytical solutions for the equations $$ Y_1=f(X_1),Y_2=f(X_2) $$ for $X_1,X_2,Y_1,Y_2$ with only invertible assumptions. Our proof shows the power of depth and the use of a non-linear activation function, since one layer network can only solve one equation,i.e.,$Y=WX$.
Abstract（参考訳）: 実際には、より深いネットワークは浅いネットワークよりも強力である傾向にあるが、理論的には理解されていない。本稿では,行列指数活性化関数を持つ3層ネットワークの解析解,すなわち$$ f(X)=W_3\exp(W_2\exp(W_2\exp(W_1X)),X\in \mathbb{C}^{d\times d} $$は,方程式に対して$ Y_1=f(X_1),Y_2=f(X_2)$$$$$X_1,X_2,Y_1,Y_2$を持つ。我々の証明は、一層ネットワークが1つの方程式、すなわち$Y=WX$しか解けないため、深さのパワーと非線形活性化関数の使用を示している。

関連論文リスト

Memory capacity of three-layer neural networks with non-polynomial activations [0.0]
活性化関数が一点ではなく一点で現実である限り、$Theta(sqrtn)$ニューロンは十分であることを示す。これは、パワーを失うことなく、アクティベーション関数を問題依存的に自由に選択できることを意味する。
論文参考訳（メタデータ） (2024-05-22T15:29:45Z)
Learning Hierarchical Polynomials with Three-Layer Neural Networks [56.71223169861528]
3層ニューラルネットワークを用いた標準ガウス分布における階層関数の学習問題について検討する。次数$k$s$p$の大規模なサブクラスの場合、正方形損失における階層的勾配によるトレーニングを受けた3層ニューラルネットワークは、テストエラーを消すためにターゲット$h$を学習する。この研究は、3層ニューラルネットワークが複雑な特徴を学習し、その結果、幅広い階層関数のクラスを学ぶ能力を示す。
論文参考訳（メタデータ） (2023-11-23T02:19:32Z)
A Unified Scheme of ResNet and Softmax [8.556540804058203]
回帰問題を理論的に解析する: $| langle exp(Ax) + A x, bf 1_n rangle-1 ( exp(Ax) + Ax ) この回帰問題は、ソフトマックス回帰とResNetを組み合わせた統一的なスキームである。
論文参考訳（メタデータ） (2023-09-23T21:41:01Z)
Polynomial Width is Sufficient for Set Representation with High-dimensional Features [69.65698500919869]
DeepSetsは集合表現のための最も広く使われているニューラルネットワークアーキテクチャである。 a) 線形 + パワーアクティベーション (LP) と (b) 線形 + 指数的アクティベーション (LE) の2つの集合要素埋め込み層を示す。
論文参考訳（メタデータ） (2023-07-08T16:00:59Z)
Shallow neural network representation of polynomials [91.3755431537592]
d+1+sum_r=2Rbinomr+d-1d-1[binomr+d-1d-1d-1[binomr+d-1d-1d-1]binomr+d-1d-1d-1[binomr+d-1d-1d-1]binomr+d-1d-1d-1]
論文参考訳（メタデータ） (2022-08-17T08:14:52Z)
Energy-independent complex single $P$-waves $NN$ potential from Marchenko equation [0.0]
本稿では, マルテンコ方程式の入力核展開に対して, アイソスセル三角パルス関数セットを分離可能な形で適用する。単一部分波の一般の場合、入力されたカーネルの線形表現が得られることを示す。エネルギー非依存な複素部分ポテンシャルは、これらのデータを単一の$P$-waveで表すことを示す。
論文参考訳（メタデータ） (2022-04-02T22:13:44Z)
Deep neural network approximation of analytic functions [91.3755431537592]
ニューラルネットワークの空間にエントロピーバウンド片方向の線形活性化関数を持つ我々は、ペナル化深部ニューラルネットワーク推定器の予測誤差に対するオラクルの不等式を導出する。
論文参考訳（メタデータ） (2021-04-05T18:02:04Z)
Learning Over-Parametrized Two-Layer ReLU Neural Networks beyond NTK [58.5766737343951]
2層ニューラルネットワークを学習する際の降下のダイナミクスについて考察する。過度にパラメータ化された2層ニューラルネットワークは、タンジェントサンプルを用いて、ほとんどの地上で勾配損失を許容的に学習できることを示す。
論文参考訳（メタデータ） (2020-07-09T07:09:28Z)
Sharp Representation Theorems for ReLU Networks with Precise Dependence on Depth [26.87238691716307]
D$ReLU層を持つニューラルネットワークに対して,2乗損失下でのシャープな表現結果を証明した。その結果、より深いネットワークはよりスムーズな関数を表現するのに優れているという仮説が実証された。
論文参考訳（メタデータ） (2020-06-07T05:25:06Z)
On the Modularity of Hypernetworks [103.1147622394852]
構造化対象関数の場合、ハイパーネットワークにおけるトレーニング可能なパラメータの総数は、標準ニューラルネットワークのトレーニング可能なパラメータの数や埋め込み法よりも桁違いに小さいことを示す。
論文参考訳（メタデータ） (2020-02-23T22:51:52Z)
A Corrective View of Neural Networks: Representation, Memorization and Learning [26.87238691716307]
我々はニューラルネットワーク近似の補正機構を開発する。ランダム・フィーチャー・レギュレーション(RF)における2層ニューラルネットワークは任意のラベルを記憶できることを示す。また、3層ニューラルネットワークについても検討し、その補正機構がスムーズなラジアル関数に対する高速な表現率をもたらすことを示す。
論文参考訳（メタデータ） (2020-02-01T20:51:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。