論文の概要: Pursing the Sparse Limitation of Spiking Deep Learning Structures

• arxiv url: http://arxiv.org/abs/2311.12060v1
• Date: Sat, 18 Nov 2023 17:00:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-23 03:34:40.029562
• Title: Pursing the Sparse Limitation of Spiking Deep Learning Structures
• Title（参考訳）: スパイキング深層学習構造におけるばらばらな制限の解消
• Authors: Hao Cheng, Jiahang Cao, Erjia Xiao, Mengshu Sun, Le Yang, Jize Zhang, Xue Lin, Bhavya Kailkhura, Kaidi Xu, Renjing Xu
• Abstract要約: スパイキングニューラルネットワーク(SNN)はその優れた計算とエネルギー効率のために注目を集めている。 重量とパッチレベルの当選チケットを同時に識別できる革新的なアルゴリズムを提案する。 我々は, モデル構造が極めて疎い場合でも, スパイキング抽選券が同等あるいは優れた性能を達成できることを実証した。
• 参考スコア（独自算出の注目度）: 42.334835610250714
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spiking Neural Networks (SNNs), a novel brain-inspired algorithm, are garnering increased attention for their superior computation and energy efficiency over traditional artificial neural networks (ANNs). To facilitate deployment on memory-constrained devices, numerous studies have explored SNN pruning. However, these efforts are hindered by challenges such as scalability challenges in more complex architectures and accuracy degradation. Amidst these challenges, the Lottery Ticket Hypothesis (LTH) emerges as a promising pruning strategy. It posits that within dense neural networks, there exist winning tickets or subnetworks that are sparser but do not compromise performance. To explore a more structure-sparse and energy-saving model, we investigate the unique synergy of SNNs with LTH and design two novel spiking winning tickets to push the boundaries of sparsity within SNNs. Furthermore, we introduce an innovative algorithm capable of simultaneously identifying both weight and patch-level winning tickets, enabling the achievement of sparser structures without compromising on the final model's performance. Through comprehensive experiments on both RGB-based and event-based datasets, we demonstrate that our spiking lottery ticket achieves comparable or superior performance even when the model structure is extremely sparse.
• Abstract（参考訳）: 脳にインスパイアされた新しいアルゴリズムであるspyking neural networks(snns)は、従来のニューラルネットワーク(anns)よりも優れた計算能力とエネルギー効率に注目を集めている。 メモリ制限されたデバイスへの展開を容易にするため、多くの研究がSNNプルーニングを調査している。 しかし、これらの取り組みは、より複雑なアーキテクチャにおけるスケーラビリティの課題や精度の低下といった課題によって妨げられている。 これらの課題の中で、LTH (Lottery Ticket hypothesis) は将来的なプルーニング戦略として現れる。 これは、密集したニューラルネットワーク内には、スパルサーであるがパフォーマンスを損なわない当選チケットやサブネットワークが存在することを仮定している。 本研究では,SNNとLTHの特異な相乗効果について検討し,SNN内の空間境界を推し進めるために,新しい2つの入賞チケットを設計する。 さらに,重みとパッチレベルの入賞チケットを同時に識別し,最終モデルの性能に妥協することなくスパルサー構造の達成を可能にする革新的なアルゴリズムを提案する。 RGBベースとイベントベースの両方のデータセットに関する包括的な実験を通じて、モデル構造が極めて疎い場合でも、スパイキング宝くじが同等または優れたパフォーマンスを達成することを示した。

関連論文リスト

• Parallel Hyperparameter Optimization Of Spiking Neural Network [0.5371337604556311]
  スパイキングニューラルネットワーク(SNN)は、通常の人工ニューラルネットワークよりも生物学的にインスパイアされたアプローチに基づいている。 我々は、サイレントネットワークと呼ぶSNNの信号損失問題に取り組む。 早期停止基準を定義することで、我々はより大きく柔軟な検索空間をインスタンス化することができた。
  論文  参考訳（メタデータ） (2024-03-01T11:11:59Z)
• Multicoated and Folded Graph Neural Networks with Strong Lottery Tickets [3.0894823679470087]
  本稿では,アーキテクチャとパラメータの両面から検索空間を拡張するためのマルチステージ・フォールディング法とアンシャレッド・マスク法を提案する。 高空間性、競争性能、高メモリ効率を最大98.7%の削減で達成することにより、エネルギー効率の高いグラフ処理に適していることを示す。
  論文  参考訳（メタデータ） (2023-12-06T02:16:44Z)
• Gaining the Sparse Rewards by Exploring Lottery Tickets in Spiking Neural Network [8.210103222339784]
  スパイキングニューラルネットワーク(SNN)は、従来のニューラルネットワーク(ANN)よりも低レイテンシで低エネルギーな性質のため、有望なソリューションを提供する。 本稿では, スパイキング型LT (SLTs) について検討し, その特性と極端な効率性について検討した。 Patch Embedding Projection (ConvPEP)モジュールに畳み込み操作を組み込んだスパイキングトランスフォーマー構造に適したスパースアルゴリズムが提案されている。
  論文  参考訳（メタデータ） (2023-09-23T08:24:36Z)
• An Automata-Theoretic Approach to Synthesizing Binarized Neural Networks [13.271286153792058]
  量子ニューラルネットワーク(QNN)が開発され、二項化ニューラルネットワーク(BNN)は特殊なケースとしてバイナリ値に制限されている。 本稿では,指定された特性を満たすBNNの自動合成手法を提案する。
  論文  参考訳（メタデータ） (2023-07-29T06:27:28Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for Event-Based Vision [64.71260357476602]
  イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。 イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。 本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-12-06T23:45:58Z)
• SpikeMS: Deep Spiking Neural Network for Motion Segmentation [7.491944503744111]
  textitSpikeMSは、モーションセグメンテーションの大規模な問題に対する最初のディープエンコーダデコーダSNNアーキテクチャである。 textitSpikeMSは,テキストインクリメンタルな予測や,より少ない量のテストデータからの予測を行うことができることを示す。
  論文  参考訳（メタデータ） (2021-05-13T21:34:55Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。