論文の概要: Rethinking the Relationship between Recurrent and Non-Recurrent Neural Networks: A Study in Sparsity
- arxiv url: http://arxiv.org/abs/2404.00880v1
- Date: Mon, 1 Apr 2024 03:18:42 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-03 23:36:00.989612
- Title: Rethinking the Relationship between Recurrent and Non-Recurrent Neural Networks: A Study in Sparsity
- Title（参考訳）: リカレントニューラルネットワークと非リカレントニューラルネットワークの関係を再考する:スパーシティの研究
- Authors: Quincy Hershey, Randy Paffenroth, Harsh Pathak, Simon Tavener,
- Abstract要約: 我々は、リカレントニューラルネットワーク(RNN)など、多くの一般的なニューラルネットワークモデルが反復写像として表現可能であることを示す。
RNNはチューリング完全であることが知られており、計算可能な関数を表現できる。
この視点は、NNの理論的側面と実践的側面の両方を照らすいくつかの洞察につながります。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural networks (NN) can be divided into two broad categories, recurrent and non-recurrent. Both types of neural networks are popular and extensively studied, but they are often treated as distinct families of machine learning algorithms. In this position paper, we argue that there is a closer relationship between these two types of neural networks than is normally appreciated. We show that many common neural network models, such as Recurrent Neural Networks (RNN), Multi-Layer Perceptrons (MLP), and even deep multi-layer transformers, can all be represented as iterative maps. The close relationship between RNNs and other types of NNs should not be surprising. In particular, RNNs are known to be Turing complete, and therefore capable of representing any computable function (such as any other types of NNs), but herein we argue that the relationship runs deeper and is more practical than this. For example, RNNs are often thought to be more difficult to train than other types of NNs, with RNNs being plagued by issues such as vanishing or exploding gradients. However, as we demonstrate in this paper, MLPs, RNNs, and many other NNs lie on a continuum, and this perspective leads to several insights that illuminate both theoretical and practical aspects of NNs.
- Abstract（参考訳）: ニューラルネットワーク(NN)は、リカレントと非リカレントという2つの広いカテゴリに分けられる。
どちらのタイプのニューラルネットワークも広く研究されているが、機械学習アルゴリズムの異なるファミリーとして扱われることが多い。
本論文では,これらの2種類のニューラルネットワークには,通常よりも密接な関係があることを論じる。
Recurrent Neural Networks (RNN)、Multi-Layer Perceptrons (MLP)、さらには深層トランスフォーマーなど、多くの一般的なニューラルネットワークモデルが反復写像として表現可能であることを示す。
RNNと他のタイプのNNとの密接な関係は驚くべきことではない。
特に、RNNはチューリング完全であることが知られており、従って計算可能な関数(他の種類のNNなど)を表現できる。
例えば、RNNは、他のタイプのNNよりも訓練が難しいと考えられており、RNNは、消失や爆発的な勾配といった問題に悩まされている。
しかし、本稿で示すように、MLP、RNN、その他の多くのNNは連続体の上にあり、この視点は、NNの理論的側面と実践的側面の両方を照らすいくつかの洞察につながります。
関連論文リスト
- Investigating Sparsity in Recurrent Neural Networks [0.0]
本論文は, プルーニングとスパースリカレントニューラルネットワークがRNNの性能に与える影響を考察することに焦点を当てる。
まず,RNNの刈り込み,RNNの性能への影響,および刈り込み後の精度回復に必要な訓練エポック数について述べる。
次に、スパースリカレントニューラルネットワークの作成と訓練を継続し、その基礎となる任意の構造の性能とグラフ特性の関係を同定する。
論文 参考訳（メタデータ） (2024-07-30T07:24:58Z) - Tensor Networks Meet Neural Networks: A Survey and Future Perspectives [27.878669143107885]
テンソルニューラルネットワーク(TNN)とニューラルネットワーク(NN)は2つの基本的なデータモデリングアプローチである。
TNは指数的な数の次元を複雑さに変換することによって、大規模テンソルの次元性の呪いを解決する。
NNは、コンピュータビジョン、自然言語処理、ロボット工学の研究など、様々な応用において優れたパフォーマンスを示している。
論文 参考訳（メタデータ） (2023-01-22T17:35:56Z) - Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a
Polynomial Net Study [55.12108376616355]
NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。
本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。
我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
論文 参考訳（メタデータ） (2022-09-16T06:36:06Z) - Linear Leaky-Integrate-and-Fire Neuron Model Based Spiking Neural
Networks and Its Mapping Relationship to Deep Neural Networks [7.840247953745616]
スパイキングニューラルネットワーク(SNN)は、生物学的可視性や教師なし学習能力など、脳にインスパイアされた機械学習アルゴリズムである。
本稿では,リニアリーキー・インテグレート・アンド・ファイア・モデル(LIF/SNN)の生物学的パラメータとReLU-AN/Deep Neural Networks(DNN)のパラメータとの正確な数学的マッピングを確立する。
論文 参考訳（メタデータ） (2022-05-31T17:02:26Z) - Redundant representations help generalization in wide neural networks [71.38860635025907]
様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。
最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
論文 参考訳（メタデータ） (2021-06-07T10:18:54Z) - A Practical Tutorial on Graph Neural Networks [49.919443059032226]
グラフニューラルネットワーク(GNN)は、人工知能(AI)分野において最近人気が高まっている。
このチュートリアルでは、GNNのパワーとノベルティをAI実践者に公開している。
論文 参考訳（メタデータ） (2020-10-11T12:36:17Z) - Exploiting Heterogeneity in Operational Neural Networks by Synaptic
Plasticity [87.32169414230822]
最近提案されたネットワークモデルであるオペレーショナルニューラルネットワーク(ONN)は、従来の畳み込みニューラルネットワーク(CNN)を一般化することができる。
本研究では, 生体ニューロンにおける本質的な学習理論を示すSynaptic Plasticityパラダイムに基づいて, ネットワークの隠蔽ニューロンに対する最強演算子集合の探索に焦点をあてる。
高難易度問題に対する実験結果から、神経細胞や層が少なくても、GISベースのONNよりも優れた学習性能が得られることが示された。
論文 参考訳（メタデータ） (2020-08-21T19:03:23Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z) - Neural Additive Models: Interpretable Machine Learning with Neural Nets [77.66871378302774]
ディープニューラルネットワーク(DNN)は、さまざまなタスクにおいて優れたパフォーマンスを達成した強力なブラックボックス予測器である。
本稿では、DNNの表現性と一般化した加法モデルの固有知性を組み合わせたニューラル付加モデル(NAM)を提案する。
NAMは、ニューラルネットワークの線形結合を学び、それぞれが単一の入力機能に付随する。
論文 参考訳（メタデータ） (2020-04-29T01:28:32Z) - ResNets, NeuralODEs and CT-RNNs are Particular Neural Regulatory
Networks [10.518340300810504]
本稿では、ResNet、NeuralODE、CT-RNNが特定のニューラルネットワーク(NRN)であることを示す。
NRNは、C.elegans nematodeのような小さな種や大型種の網膜で遭遇する非スパイキングニューロンの生体物理モデルである。
与えられた近似タスクに対して、この相当な簡潔さは、非常に小さく、従って理解可能なNRNを学ぶことができる。
論文 参考訳（メタデータ） (2020-02-26T18:33:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。