論文の概要: Investigating Sparsity in Recurrent Neural Networks

• arxiv url: http://arxiv.org/abs/2407.20601v1
• Date: Tue, 30 Jul 2024 07:24:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-31 17:59:37.462258
• Title: Investigating Sparsity in Recurrent Neural Networks
• Title（参考訳）: リカレントニューラルネットワークにおける空間性の調査
• Authors: Harshil Darji,
• Abstract要約: 本論文は, プルーニングとスパースリカレントニューラルネットワークがRNNの性能に与える影響を考察することに焦点を当てる。 まず,RNNの刈り込み,RNNの性能への影響,および刈り込み後の精度回復に必要な訓練エポック数について述べる。 次に、スパースリカレントニューラルネットワークの作成と訓練を継続し、その基礎となる任意の構造の性能とグラフ特性の関係を同定する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the past few years, neural networks have evolved from simple Feedforward Neural Networks to more complex neural networks, such as Convolutional Neural Networks and Recurrent Neural Networks. Where CNNs are a perfect fit for tasks where the sequence is not important such as image recognition, RNNs are useful when order is important such as machine translation. An increasing number of layers in a neural network is one way to improve its performance, but it also increases its complexity making it much more time and power-consuming to train. One way to tackle this problem is to introduce sparsity in the architecture of the neural network. Pruning is one of the many methods to make a neural network architecture sparse by clipping out weights below a certain threshold while keeping the performance near to the original. Another way is to generate arbitrary structures using random graphs and embed them between an input and output layer of an Artificial Neural Network. Many researchers in past years have focused on pruning mainly CNNs, while hardly any research is done for the same in RNNs. The same also holds in creating sparse architectures for RNNs by generating and embedding arbitrary structures. Therefore, this thesis focuses on investigating the effects of the before-mentioned two techniques on the performance of RNNs. We first describe the pruning of RNNs, its impact on the performance of RNNs, and the number of training epochs required to regain accuracy after the pruning is performed. Next, we continue with the creation and training of Sparse Recurrent Neural Networks and identify the relation between the performance and the graph properties of its underlying arbitrary structure. We perform these experiments on RNN with Tanh nonlinearity (RNN-Tanh), RNN with ReLU nonlinearity (RNN-ReLU), GRU, and LSTM. Finally, we analyze and discuss the results achieved from both the experiments.
• Abstract（参考訳）: 過去数年間、ニューラルネットワークは単純なフィードフォワードニューラルネットワークから、畳み込みニューラルネットワークやリカレントニューラルネットワークのようなより複雑なニューラルネットワークへと進化してきた。 CNNは、画像認識のようなシーケンスが重要でないタスクには最適であるが、機械翻訳のような順序が重要である場合、RNNは有用である。 ニューラルネットワークのレイヤー数の増加は、そのパフォーマンスを改善する方法のひとつだが、その複雑さも増し、トレーニングに時間と電力を要した。 この問題に対処するひとつの方法は、ニューラルネットワークのアーキテクチャに疎結合を導入することだ。 プルーニング(Pruning)は、ニューラルネットワークアーキテクチャを、特定のしきい値以下の重みをカットし、パフォーマンスを元のものに近づけることで、スパース化するための多くの方法の1つである。 別の方法は、ランダムグラフを使用して任意の構造を生成し、ニューラルネットワークの入力層と出力層の間に埋め込むことである。 ここ数年、多くの研究者が主にCNNに焦点を合わせてきたが、RNNでも同様の研究はほとんど行われていない。 同じことは、任意の構造を生成して埋め込みすることで、RNN用のスパースアーキテクチャを作成することにも当てはまる。 そこで本論文では,従来の2つの手法がRNNの性能に与える影響について考察する。 まず,RNNの刈り込み,RNNの性能への影響,および刈り込み後の精度回復に必要な訓練エポック数について述べる。 次に、スパースリカレントニューラルネットワークの作成と訓練を継続し、その基礎となる任意の構造の性能とグラフ特性の関係を同定する。 本稿では,RNNをTanh非線形性(RNN-Tanh),ReLU非線形性(RNN-ReLU),GRU,LSTMを用いて実験を行った。 最後に,両実験の結果を分析し,考察する。

関連論文リスト

• Unveiling the Power of Sparse Neural Networks for Feature Selection [60.50319755984697]
  スパースニューラルネットワーク(SNN)は、効率的な特徴選択のための強力なツールとして登場した。 動的スパーストレーニング(DST)アルゴリズムで訓練されたSNNは、平均して50%以上のメモリと55%以上のFLOPを削減できることを示す。 以上の結果から,DSTアルゴリズムで訓練したSNNによる特徴選択は,平均して50ドル以上のメモリと55%のFLOPを削減できることがわかった。
  論文  参考訳（メタデータ） (2024-08-08T16:48:33Z)
• CNN2GNN: How to Bridge CNN with GNN [59.42117676779735]
  蒸留によりCNNとGNNを統一する新しいCNN2GNNフレームワークを提案する。 Mini-ImageNetにおける蒸留ブースターの2層GNNの性能は、ResNet152のような数十層を含むCNNよりもはるかに高い。
  論文  参考訳（メタデータ） (2024-04-23T08:19:08Z)
• Random-coupled Neural Network [17.53731608985241]
  パルス結合ニューラルネットワーク(PCNN)は、コンピュータビジョンとニューラルネットワークの分野における人間の脳の特徴を模倣するためのよく応用されたモデルである。 本研究では,ランダム結合ニューラルネットワーク(RCNN)を提案する。 ランダム不活性化プロセスを通じて、PCNNのニューロモルフィックコンピューティングの困難を克服する。
  論文  参考訳（メタデータ） (2024-03-26T09:13:06Z)
• A Hybrid Neural Coding Approach for Pattern Recognition with Spiking Neural Networks [53.31941519245432]
  脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。 これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。 本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
  論文  参考訳（メタデータ） (2023-05-26T02:52:12Z)
• Heterogeneous Recurrent Spiking Neural Network for Spatio-Temporal Classification [13.521272923545409]
  Spi Neural Networksは、人工知能の第3波の脳にインスパイアされた学習モデルとしてしばしば評価される。 本稿では,ビデオ認識タスクのための教師なし学習を用いたヘテロジニアススパイキングニューラルネットワーク(HRSNN)を提案する。 本研究では,時間的バックプロパゲーション訓練による教師付きSNNに類似した性能を実現することができるが,少ない計算量で実現可能であることを示す。
  論文  参考訳（メタデータ） (2022-09-22T16:34:01Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Mining the Weights Knowledge for Optimizing Neural Network Structures [1.995792341399967]
  タスク固有のニューラルネットワーク(略してTNN)の重みを入力として使用するスイッチャーニューラルネットワーク(SNN)を導入する。 重みに含まれる知識をマイニングすることで、SNNはTNNのニューロンをオフにするスケーリング因子を出力する。 精度の面では,ベースラインネットワークやその他の構造学習手法を安定的に,かつ著しく上回っている。
  論文  参考訳（メタデータ） (2021-10-11T05:20:56Z)
• Pruning of Deep Spiking Neural Networks through Gradient Rewiring [41.64961999525415]
  スパイキングニューラルネットワーク(SNN)は、その生物学的妥当性とニューロモルフィックチップの高エネルギー効率により、非常に重要視されている。 ほとんどの既存の方法は、ANNsとSNNsの違いを無視するSNNsに人工ニューラルネットワーク(ANNs)のプルーニングアプローチを直接適用する。 本稿では,ネットワーク構造を無訓練でシームレスに最適化可能な,snsの接続性と重み付けの合同学習アルゴリズムgradle rewiring (gradr)を提案する。
  論文  参考訳（メタデータ） (2021-05-11T10:05:53Z)
• Combining Spiking Neural Network and Artificial Neural Network for Enhanced Image Classification [1.8411688477000185]
  生物学的脳シナプスによく似たSNN(spiking neural Network)は、低消費電力のために注目を集めている。 我々は、関係する性能を改善する汎用ハイブリッドニューラルネットワーク(hnn)を構築した。
  論文  参考訳（メタデータ） (2021-02-21T12:03:16Z)
• How Neural Networks Extrapolate: From Feedforward to Graph Neural Networks [80.55378250013496]
  勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。 グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
  論文  参考訳（メタデータ） (2020-09-24T17:48:59Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。