論文の概要: Activity Sparsity Complements Weight Sparsity for Efficient RNN
Inference
- arxiv url: http://arxiv.org/abs/2311.07625v2
- Date: Thu, 7 Dec 2023 07:59:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-08 17:59:17.889998
- Title: Activity Sparsity Complements Weight Sparsity for Efficient RNN
Inference
- Title（参考訳）: 効率的なRNN推論のためのアクティビティスパーシリティ補足ウェイトスパシリティ
- Authors: Rishav Mukherji, Mark Sch\"one, Khaleelulla Khan Nazeer, Christian
Mayr, Anand Subramoney
- Abstract要約: 本研究では、繰り返しニューラルネットワークモデルにおいて、活動空間がパラメータ空間と乗算的に構成可能であることを示す。
私たちはPenn Treebank言語モデリングタスクで60ドル以下の難易度を維持しながら、最大20ドルまで計算の削減を実現しています。
- 参考スコア（独自算出の注目度）: 2.0822643340897273
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Artificial neural networks open up unprecedented machine learning
capabilities at the cost of ever growing computational requirements.
Sparsifying the parameters, often achieved through weight pruning, has been
identified as a powerful technique to compress the number of model parameters
and reduce the computational operations of neural networks. Yet, sparse
activations, while omnipresent in both biological neural networks and deep
learning systems, have not been fully utilized as a compression technique in
deep learning. Moreover, the interaction between sparse activations and weight
pruning is not fully understood. In this work, we demonstrate that activity
sparsity can compose multiplicatively with parameter sparsity in a recurrent
neural network model based on the GRU that is designed to be activity sparse.
We achieve up to $20\times$ reduction of computation while maintaining
perplexities below $60$ on the Penn Treebank language modeling task. This
magnitude of reduction has not been achieved previously with solely sparsely
connected LSTMs, and the language modeling performance of our model has not
been achieved previously with any sparsely activated recurrent neural networks
or spiking neural networks. Neuromorphic computing devices are especially good
at taking advantage of the dynamic activity sparsity, and our results provide
strong evidence that making deep learning models activity sparse and porting
them to neuromorphic devices can be a viable strategy that does not compromise
on task performance. Our results also drive further convergence of methods from
deep learning and neuromorphic computing for efficient machine learning.
- Abstract（参考訳）: 人工知能は、計算要求の増大を犠牲にして、前例のない機械学習機能を開放する。
重みの刈り取りによってしばしば達成されるパラメータのスパース化は、モデルパラメータの数を圧縮し、ニューラルネットワークの計算演算を減らす強力な技術として認識されている。
しかし、生物学的ニューラルネットワークとディープラーニングシステムの両方において、スパースアクティベーションは、深層学習における圧縮技術として完全には活用されていない。
さらに、スパースアクティベーションとウェイトプルーニングの相互作用は、完全には理解されていない。
本研究では,活動スパースとして設計されたGRUに基づく繰り返しニューラルネットワークモデルにおいて,活動空間がパラメータ空間と乗算的に構成できることを実証する。
我々は、penn treebank言語モデリングタスクで60ドル未満のパープレキシティを維持しながら、計算量を最大$20\times$まで削減する。
この縮小の程度は以前、sparsely connected lstmのみでは達成されておらず、このモデルの言語モデリング性能は、sparsely activated recurrent neural networksやspiking neural networksではこれまで達成されていなかった。
ニューロモルフィック・コンピューティング・デバイスは,特に動的活動空間の利点を生かし,深層学習モデルを疎外し,ニューロモルフィック・デバイスに移植することは,タスク性能を損なわない実行可能な戦略であることを示す強力な証拠を提供する。
また,より効率的な機械学習のための深層学習とニューロモルフィックコンピューティングの手法のさらなる収束も促進する。
関連論文リスト
- NEAR: A Training-Free Pre-Estimator of Machine Learning Model Performance [0.0]
我々は、トレーニングなしで最適なニューラルネットワークを特定するために、アクティベーションランク(NEAR)によるゼロコストプロキシネットワーク表現を提案する。
このネットワークスコアとNAS-Bench-101とNATS-Bench-SSS/TSSのモデル精度の最先端相関を実証した。
論文 参考訳（メタデータ） (2024-08-16T14:38:14Z) - Exploiting Heterogeneity in Timescales for Sparse Recurrent Spiking Neural Networks for Energy-Efficient Edge Computing [16.60622265961373]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックコンピューティングの最前線である。
本稿では,SNNのパフォーマンスに革命をもたらす3つの画期的な研究をまとめる。
論文 参考訳（メタデータ） (2024-07-08T23:33:12Z) - Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
本稿では,重み空間学習におけるSANEアプローチを紹介する。
ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
論文 参考訳（メタデータ） (2024-06-14T13:12:07Z) - Harnessing Neural Unit Dynamics for Effective and Scalable Class-Incremental Learning [38.09011520275557]
クラスインクリメンタルラーニング(Class-incremental Learning, CIL)は、古いクラスを忘れずに、非定常データストリームから新しいクラスを学ぶためのモデルをトレーニングすることを目的としている。
本稿では、ニューラルネットワークの動作をCILに適応させるニューラルネットワークユニットダイナミクスを調整し、新しい種類のコネクショナリストモデルを提案する。
論文 参考訳（メタデータ） (2024-06-04T15:47:03Z) - Weight Sparsity Complements Activity Sparsity in Neuromorphic Language Models [3.0753589871055107]
イベントベースニューラルネットワーク(SNN)は自然に活動の疎結合を示し、重みを刈り取ることで接続性を疎結合化するために多くの方法が存在する。
本研究では,重み付けと活動空間の相乗効果が言語モデリングタスクに及ぼす影響について検討する。
この結果から,疎結合なイベントベースニューラルネットワークは効率的かつ効率的なシーケンスモデリングの候補となる可能性が示唆された。
論文 参考訳（メタデータ） (2024-05-01T10:33:36Z) - Single Neuromorphic Memristor closely Emulates Multiple Synaptic
Mechanisms for Energy Efficient Neural Networks [71.79257685917058]
我々はこれらのシナプス機能を本質的にエミュレートするSrTiO3に基づく膜状ナノデバイスを実証する。
これらのメムリスタは、安定かつエネルギー効率の良い運転を可能にする非定常低導電系で機能する。
論文 参考訳（メタデータ） (2024-02-26T15:01:54Z) - SpikingJelly: An open-source machine learning infrastructure platform
for spike-based intelligence [51.6943465041708]
スパイキングニューラルネットワーク(SNN)は、高エネルギー効率のニューロモルフィックチップに脳にインスパイアされたインテリジェンスを実現することを目的としている。
我々は、ニューロモルフィックデータセットの事前処理、深層SNNの構築、パラメータの最適化、およびニューロモルフィックチップへのSNNのデプロイのためのフルスタックツールキットをコントリビュートする。
論文 参考訳（メタデータ） (2023-10-25T13:15:17Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z) - Effective and Efficient Computation with Multiple-timescale Spiking
Recurrent Neural Networks [0.9790524827475205]
本稿では,新しいタイプの適応スパイクリカレントニューラルネットワーク(SRNN)が,最先端の性能を実現する方法を示す。
我々は、従来のRNNよりも難しいタスクにおいて、SRNNの100倍のエネルギー改善を計算します。
論文 参考訳（メタデータ） (2020-05-24T01:04:53Z) - Recurrent Neural Network Learning of Performance and Intrinsic
Population Dynamics from Sparse Neural Data [77.92736596690297]
本稿では,RNNの入出力動作だけでなく,内部ネットワークのダイナミクスも学習できる新しいトレーニング戦略を提案する。
提案手法は、RNNを訓練し、生理学的にインスパイアされた神経モデルの内部ダイナミクスと出力信号を同時に再現する。
注目すべきは、トレーニングアルゴリズムがニューロンの小さなサブセットの活性に依存する場合であっても、内部動力学の再現が成功することである。
論文 参考訳（メタデータ） (2020-05-05T14:16:54Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳（メタデータ） (2020-03-26T11:13:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。