論文の概要: Activation Functions Not To Active: A Plausible Theory on Interpreting
Neural Networks
- arxiv url: http://arxiv.org/abs/2305.00663v1
- Date: Mon, 1 May 2023 05:23:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-02 14:01:30.893315
- Title: Activation Functions Not To Active: A Plausible Theory on Interpreting
Neural Networks
- Title（参考訳）: アクティブでないアクティベーション関数:ニューラルネットワークの解釈に関する妥当な理論
- Authors: John Chiang
- Abstract要約: 研究者は通常、ニューラルネットワークは高次元空間をモデル化するが、この空間を明確に定義することはできないと信じている。
我々は,ニューラルネットワークにおける活性化関数の役割の観点から,ニューラルネットワークの解釈に関する妥当な理論を開発する。
我々は、NNのトレーニングを少なくとも非線形方程式の解法に還元できることを示した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Researchers commonly believe that neural networks model a high-dimensional
space but cannot give a clear definition of this space. What is this space?
What is its dimension? And does it has finite dimensions? In this paper, we
develop a plausible theory on interpreting neural networks in terms of the role
of activation functions in neural networks and define a high-dimensional (more
precisely, an infinite-dimensional) space. We conjunction that the activation
function acts as a magnifying function that maps the low-dimensional linear
space into an infinite-dimensional space. Given a dataset with each example of
$d$ features $f_1$, $f_2$, $\cdots$, $f_d$, we believe that NNs model a special
space with infinite dimensions, each of which is a monomial $$\prod_{i_1, i_2,
\cdots, i_d} f_1^{i_1} f_2^{i_2} \cdots f_d^{i_d}$$ for some non-negative
integers ${i_1, i_2, \cdots, i_d} \in \mathbb{Z}_{0}^{+}=\{0,1,2,3,\ldots\} $.
We term such an infinite-dimensional space $\textit{ Super Space (SS)}$. We see
such a dimension as the minimum information unit. Every neuron node previously
through an activation layer in NNs is a $\textit{ Super Plane (SP) }$, which is
actually a polynomial of infinite degree. This $\textit{ Super Space }$ is
something like a coordinate system, in which every multivalue function can be
represented by a $\textit{ Super Plane }$. From this perspective, a neural
network for regression tasks can be seen as an extension of linear regression,
i.e. an advanced variant of linear regression with infinite-dimensional
features, just as logistic regression is an extension of linear regression. We
also show that training NNs could at least be reduced to solving a system of
nonlinear equations.
- Abstract（参考訳）: 研究者は通常、ニューラルネットワークは高次元空間をモデル化するが、この空間を明確に定義することはできないと考えている。
この空間は何ですか。
その寸法は?
有限次元はあるのか?
本稿では,ニューラルネットワークにおける活性化関数の役割の観点からニューラルネットワークを解釈する妥当な理論を開発し,高次元(より正確には無限次元)空間を定義する。
同時に、活性化関数は、低次元線型空間を無限次元空間に写す拡大関数として機能する。
f_1$, $f_2$, $\cdots$, $f_d$, $f_d$ の各例のデータセットが与えられると、nns は無限次元の特殊空間をモデル化し、そのそれぞれが単項的に$$$\prod_{i_1, i_2, \cdots, i_d} f_1^{i_1} f_2^{i_2} \cdots f_d^{i_d}$ が非負整数${i_1, i_2, \cdots, i_d} \in \mathbb{z}_{0}^{+}=\{0,1,2,3,\ldots\} である。
そのような無限次元空間を$\textit{ super space (ss)}$と呼ぶ。
このような次元を最小情報単位と見る。
NNの活性化層を経由した全てのニューロンノードは、実際には無限次多項式である$\textit{ Super Plane (SP) }$である。
この$\textit{ Super Space }$は座標系のようなもので、すべてのマルチ値関数を$\textit{ Super Plane }$で表現できる。
この観点から、回帰タスクのためのニューラルネットワークは、線形回帰の拡張、すなわち、ロジスティック回帰が線形回帰の拡張であるように、無限次元の特徴を持つ線形回帰の高度な変種と見なすことができる。
また、NNのトレーニングを少なくとも非線形方程式の解法に還元できることも示している。
関連論文リスト
- Mathematical Models of Computation in Superposition [0.9374652839580183]
重ね合わせは、現在のAIシステムを機械的に解釈する上で深刻な課題となる。
重ね合わせにおけるエンフン計算の数学的モデルを提案し, 重ね合わせはタスクを効率的に遂行するのに有効である。
我々は、重ね合わせで計算を実装するニューラルネットワークを解釈する研究の潜在的な応用について、結論付けている。
論文 参考訳（メタデータ） (2024-08-10T06:11:48Z) - Learning Hierarchical Polynomials with Three-Layer Neural Networks [56.71223169861528]
3層ニューラルネットワークを用いた標準ガウス分布における階層関数の学習問題について検討する。
次数$k$s$p$の大規模なサブクラスの場合、正方形損失における階層的勾配によるトレーニングを受けた3層ニューラルネットワークは、テストエラーを消すためにターゲット$h$を学習する。
この研究は、3層ニューラルネットワークが複雑な特徴を学習し、その結果、幅広い階層関数のクラスを学ぶ能力を示す。
論文 参考訳（メタデータ） (2023-11-23T02:19:32Z) - Why should autoencoders work? [1.6317061277457001]
ディープニューラルネットワークオートエンコーダは、モデルリダクションに日常的に使用される。
このテクニックが"動作する"ことが分かり、この効果を説明する方法があるかどうかを問うことになる。
論文 参考訳（メタデータ） (2023-10-03T17:53:43Z) - Understanding Deep Neural Function Approximation in Reinforcement
Learning via $\epsilon$-Greedy Exploration [53.90873926758026]
本稿では、強化学習(RL)における深部神経機能近似の理論的研究について述べる。
我々は、Besov(およびBarron)関数空間によって与えられるディープ(および2層)ニューラルネットワークによる$epsilon$-greedy探索により、バリューベースのアルゴリズムに焦点を当てる。
我々の解析は、ある平均測度$mu$の上の$L2(mathrmdmu)$-integrable空間における時間差誤差を再構成し、非イド設定の下で一般化問題に変換する。
論文 参考訳（メタデータ） (2022-09-15T15:42:47Z) - Shallow neural network representation of polynomials [91.3755431537592]
d+1+sum_r=2Rbinomr+d-1d-1[binomr+d-1d-1d-1[binomr+d-1d-1d-1]binomr+d-1d-1d-1[binomr+d-1d-1d-1]binomr+d-1d-1d-1]
論文 参考訳（メタデータ） (2022-08-17T08:14:52Z) - Approximation of Functionals by Neural Network without Curse of
Dimensionality [12.717839871971517]
本稿では,関数を近似するニューラルネットワークを構築する。
近似の鍵となる考え方は、函数のバロン空間を定義することである。
論文 参考訳（メタデータ） (2022-05-28T13:09:43Z) - Deep Network Approximation: Achieving Arbitrary Accuracy with Fixed
Number of Neurons [5.37133760455631]
一定数のニューロンを持つ全ての連続関数に対する普遍近似特性を実現するフィードフォワードニューラルネットワークを開発した。
例えば、$sigma$-activated networks with width $36d(2d+1)$ and depth $111$ can almost any continuous function on a $d$-dimensioanl hypercube in an arbitrarilyly small error。
論文 参考訳（メタデータ） (2021-07-06T05:24:30Z) - A deep network construction that adapts to intrinsic dimensionality
beyond the domain [79.23797234241471]
本稿では,ReLUを活性化したディープネットワークを用いて,2層合成の近似を$f(x) = g(phi(x))$で検討する。
例えば、低次元埋め込み部分多様体への射影と、低次元集合の集合への距離である。
論文 参考訳（メタデータ） (2020-08-06T09:50:29Z) - Nonclosedness of Sets of Neural Networks in Sobolev Spaces [0.0]
実現されたニューラルネットワークは順序で閉じていないことを示す--(m-1)$ソボレフ空間$Wm-1,p$ for $p in [1,infty]$。
実解析的アクティベーション関数に対して、実現されたニューラルネットワークの集合は、mathbbN$の任意の$kに対して$Wk,p$で閉じていないことを示す。
論文 参考訳（メタデータ） (2020-07-23T00:57:25Z) - Learning Over-Parametrized Two-Layer ReLU Neural Networks beyond NTK [58.5766737343951]
2層ニューラルネットワークを学習する際の降下のダイナミクスについて考察する。
過度にパラメータ化された2層ニューラルネットワークは、タンジェントサンプルを用いて、ほとんどの地上で勾配損失を許容的に学習できることを示す。
論文 参考訳（メタデータ） (2020-07-09T07:09:28Z) - On the Modularity of Hypernetworks [103.1147622394852]
構造化対象関数の場合、ハイパーネットワークにおけるトレーニング可能なパラメータの総数は、標準ニューラルネットワークのトレーニング可能なパラメータの数や埋め込み法よりも桁違いに小さいことを示す。
論文 参考訳（メタデータ） (2020-02-23T22:51:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。