論文の概要: Activity Sparsity Complements Weight Sparsity for Efficient RNN
Inference
- arxiv url: http://arxiv.org/abs/2311.07625v2
- Date: Thu, 7 Dec 2023 07:59:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-08 17:59:17.889998
- Title: Activity Sparsity Complements Weight Sparsity for Efficient RNN
Inference
- Title(参考訳): 効率的なRNN推論のためのアクティビティスパーシリティ補足ウェイトスパシリティ
- Authors: Rishav Mukherji, Mark Sch\"one, Khaleelulla Khan Nazeer, Christian
Mayr, Anand Subramoney
- Abstract要約: 本研究では、繰り返しニューラルネットワークモデルにおいて、活動空間がパラメータ空間と乗算的に構成可能であることを示す。
私たちはPenn Treebank言語モデリングタスクで60ドル以下の難易度を維持しながら、最大20ドルまで計算の削減を実現しています。
- 参考スコア(独自算出の注目度): 2.0822643340897273
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Artificial neural networks open up unprecedented machine learning
capabilities at the cost of ever growing computational requirements.
Sparsifying the parameters, often achieved through weight pruning, has been
identified as a powerful technique to compress the number of model parameters
and reduce the computational operations of neural networks. Yet, sparse
activations, while omnipresent in both biological neural networks and deep
learning systems, have not been fully utilized as a compression technique in
deep learning. Moreover, the interaction between sparse activations and weight
pruning is not fully understood. In this work, we demonstrate that activity
sparsity can compose multiplicatively with parameter sparsity in a recurrent
neural network model based on the GRU that is designed to be activity sparse.
We achieve up to $20\times$ reduction of computation while maintaining
perplexities below $60$ on the Penn Treebank language modeling task. This
magnitude of reduction has not been achieved previously with solely sparsely
connected LSTMs, and the language modeling performance of our model has not
been achieved previously with any sparsely activated recurrent neural networks
or spiking neural networks. Neuromorphic computing devices are especially good
at taking advantage of the dynamic activity sparsity, and our results provide
strong evidence that making deep learning models activity sparse and porting
them to neuromorphic devices can be a viable strategy that does not compromise
on task performance. Our results also drive further convergence of methods from
deep learning and neuromorphic computing for efficient machine learning.
- Abstract(参考訳): 人工知能は、計算要求の増大を犠牲にして、前例のない機械学習機能を開放する。
重みの刈り取りによってしばしば達成されるパラメータのスパース化は、モデルパラメータの数を圧縮し、ニューラルネットワークの計算演算を減らす強力な技術として認識されている。
しかし、生物学的ニューラルネットワークとディープラーニングシステムの両方において、スパースアクティベーションは、深層学習における圧縮技術として完全には活用されていない。
さらに、スパースアクティベーションとウェイトプルーニングの相互作用は、完全には理解されていない。
本研究では,活動スパースとして設計されたGRUに基づく繰り返しニューラルネットワークモデルにおいて,活動空間がパラメータ空間と乗算的に構成できることを実証する。
我々は、penn treebank言語モデリングタスクで60ドル未満のパープレキシティを維持しながら、計算量を最大$20\times$まで削減する。
この縮小の程度は以前、sparsely connected lstmのみでは達成されておらず、このモデルの言語モデリング性能は、sparsely activated recurrent neural networksやspiking neural networksではこれまで達成されていなかった。
ニューロモルフィック・コンピューティング・デバイスは,特に動的活動空間の利点を生かし,深層学習モデルを疎外し,ニューロモルフィック・デバイスに移植することは,タスク性能を損なわない実行可能な戦略であることを示す強力な証拠を提供する。
また,より効率的な機械学習のための深層学習とニューロモルフィックコンピューティングの手法のさらなる収束も促進する。
関連論文リスト
- Single Neuromorphic Memristor closely Emulates Multiple Synaptic
Mechanisms for Energy Efficient Neural Networks [71.79257685917058]
我々はこれらのシナプス機能を本質的にエミュレートするSrTiO3に基づく膜状ナノデバイスを実証する。
これらのメムリスタは、安定かつエネルギー効率の良い運転を可能にする非定常低導電系で機能する。
論文 参考訳(メタデータ) (2024-02-26T15:01:54Z) - Sparse Multitask Learning for Efficient Neural Representation of Motor
Imagery and Execution [30.186917337606477]
運動画像(MI)と運動実行(ME)タスクのためのスパースマルチタスク学習フレームワークを提案する。
MI-ME分類のためのデュアルタスクCNNモデルが与えられた場合、過渡的な接続に対して、サリエンシに基づくスペーシフィケーションアプローチを適用する。
以上の結果から, この調整された疎水性は, 過度に適合する問題を緩和し, 少ないデータ量でテスト性能を向上させることが示唆された。
論文 参考訳(メタデータ) (2023-12-10T09:06:16Z) - OR Residual Connection Achieving Comparable Accuracy to ADD Residual
Connection in Deep Residual Spiking Neural Networks [12.434147384452379]
スパイキングニューラルネットワーク(SNN)は、その生物学的忠実さとエネルギー効率のよいスパイク駆動操作を実行する能力のために、脳のような計算にかなりの注意を払っている。
調査では,深部スパイクニューラルネットワークの代表であるSEW-ResNetが,非イベント駆動の操作を取り入れていることを確認した。
高量子化に起因するエネルギー損失を相殺するために、アーキテクチャにORRC(OR Residual connection)を導入する。
論文 参考訳(メタデータ) (2023-11-11T13:36:27Z) - SpikingJelly: An open-source machine learning infrastructure platform
for spike-based intelligence [51.6943465041708]
スパイキングニューラルネットワーク(SNN)は、高エネルギー効率のニューロモルフィックチップに脳にインスパイアされたインテリジェンスを実現することを目的としている。
我々は、ニューロモルフィックデータセットの事前処理、深層SNNの構築、パラメータの最適化、およびニューロモルフィックチップへのSNNのデプロイのためのフルスタックツールキットをコントリビュートする。
論文 参考訳(メタデータ) (2023-10-25T13:15:17Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳(メタデータ) (2022-11-19T15:44:08Z) - SpikiLi: A Spiking Simulation of LiDAR based Real-time Object Detection
for Autonomous Driving [0.0]
Spiking Neural Networksは、電力効率、計算効率、処理遅延を大幅に改善する新しいニューラルネットワーク設計アプローチである。
まず,複雑なディープラーニングタスク,すなわちLidarベースの3Dオブジェクト検出による自動運転への適用性について説明する。
論文 参考訳(メタデータ) (2022-06-06T20:05:17Z) - Learning to Modulate Random Weights: Neuromodulation-inspired Neural
Networks For Efficient Continual Learning [1.9580473532948401]
生体神経系における神経調節にインスパイアされた新しいニューラルネットワークアーキテクチャを導入する。
学習可能なパラメータが極めて少ないにもかかわらず,本手法はタスク毎の学習性能が極めて高いことを示す。
論文 参考訳(メタデータ) (2022-04-08T21:12:13Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-07-02T15:38:44Z) - Effective and Efficient Computation with Multiple-timescale Spiking
Recurrent Neural Networks [0.9790524827475205]
本稿では,新しいタイプの適応スパイクリカレントニューラルネットワーク(SRNN)が,最先端の性能を実現する方法を示す。
我々は、従来のRNNよりも難しいタスクにおいて、SRNNの100倍のエネルギー改善を計算します。
論文 参考訳(メタデータ) (2020-05-24T01:04:53Z) - Recurrent Neural Network Learning of Performance and Intrinsic
Population Dynamics from Sparse Neural Data [77.92736596690297]
本稿では,RNNの入出力動作だけでなく,内部ネットワークのダイナミクスも学習できる新しいトレーニング戦略を提案する。
提案手法は、RNNを訓練し、生理学的にインスパイアされた神経モデルの内部ダイナミクスと出力信号を同時に再現する。
注目すべきは、トレーニングアルゴリズムがニューロンの小さなサブセットの活性に依存する場合であっても、内部動力学の再現が成功することである。
論文 参考訳(メタデータ) (2020-05-05T14:16:54Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳(メタデータ) (2020-03-26T11:13:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。