論文の概要: Phi: Leveraging Pattern-based Hierarchical Sparsity for High-Efficiency Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2505.10909v1
• Date: Fri, 16 May 2025 06:29:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-19 14:36:14.191854
• Title: Phi: Leveraging Pattern-based Hierarchical Sparsity for High-Efficiency Spiking Neural Networks
• Title（参考訳）: Phi: 高効率スパイクニューラルネットワークのためのパターンベース階層スポーザリティの活用
• Authors: Chiyue Wei, Bowen Duan, Cong Guo, Jingyang Zhang, Qingyue Song, Hai "Helen" Li, Yiran Chen,
• Abstract要約: スパイキングニューラルネットワーク(SNN)はそのエネルギー効率と生物学的妥当性について注目を集めている。 既存のSNNアクセラレータは0-1アクティベーション空間を利用してゼロ計算をスキップする。 計算を最適化するために,新しいtextbfpattern に基づく階層的疎結合フレームワーク textbftextitPhi を提案する。 textbftextitPhiは、最先端のSNNアクセラレータと比べて、スピードアップ$3.45タイムとエネルギー効率の改善$4.93タイムを達成する。
• 参考スコア（独自算出の注目度）: 15.296225549910499
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Spiking Neural Networks (SNNs) are gaining attention for their energy efficiency and biological plausibility, utilizing 0-1 activation sparsity through spike-driven computation. While existing SNN accelerators exploit this sparsity to skip zero computations, they often overlook the unique distribution patterns inherent in binary activations. In this work, we observe that particular patterns exist in spike activations, which we can utilize to reduce the substantial computation of SNN models. Based on these findings, we propose a novel \textbf{pattern-based hierarchical sparsity} framework, termed \textbf{\textit{Phi}}, to optimize computation. \textit{Phi} introduces a two-level sparsity hierarchy: Level 1 exhibits vector-wise sparsity by representing activations with pre-defined patterns, allowing for offline pre-computation with weights and significantly reducing most runtime computation. Level 2 features element-wise sparsity by complementing the Level 1 matrix, using a highly sparse matrix to further reduce computation while maintaining accuracy. We present an algorithm-hardware co-design approach. Algorithmically, we employ a k-means-based pattern selection method to identify representative patterns and introduce a pattern-aware fine-tuning technique to enhance Level 2 sparsity. Architecturally, we design \textbf{\textit{Phi}}, a dedicated hardware architecture that efficiently processes the two levels of \textit{Phi} sparsity on the fly. Extensive experiments demonstrate that \textit{Phi} achieves a $3.45\times$ speedup and a $4.93\times$ improvement in energy efficiency compared to state-of-the-art SNN accelerators, showcasing the effectiveness of our framework in optimizing SNN computation.
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、スパイク駆動計算による0-1活性化間隔を利用して、そのエネルギー効率と生物学的可視性に注目されている。 既存のSNNアクセラレータは、この空間を利用してゼロ計算をスキップするが、バイナリアクティベーションに固有のユニークな分布パターンを見落としてしまうことが多い。 本研究では、スパイクアクティベーションに特定のパターンが存在することを観察し、SNNモデルの実質的な計算量を削減するために利用することができる。 これらの知見に基づき、計算を最適化するために、新しい「textbf{pattern-based hierarchical sparsity}」フレームワーク「textbf{\textit{Phi}}」を提案する。 レベル1は、事前定義されたパターンでアクティベーションを表現し、重み付きオフライン事前計算を可能にし、ほとんどの実行時計算を大幅に削減することで、ベクトルの幅を示す。 レベル2はレベル1マトリクスを補完し、高度にスパースなマトリクスを使用して精度を維持しながら計算をさらに削減することで、要素幅を特徴とする。 アルゴリズム・ハードウェアの共同設計手法を提案する。 アルゴリズムでは、k平均パターン選択法を用いて代表パターンを識別し、レベル2の空間性を高めるパターン認識の微調整手法を導入する。 アーキテクチャ上、我々は2つのレベルの \textit{Phi} 空間を効率的に処理する専用ハードウェアアーキテクチャである \textbf{\textit{Phi}} を設計します。 大規模な実験では、SNN計算の最適化における我々のフレームワークの有効性を示すために、textit{Phi}が3.45\times$スピードアップと4.93\times$エネルギー効率の改善を達成した。

関連論文リスト

• Compacting Binary Neural Networks by Sparse Kernel Selection [58.84313343190488]
  本稿は,BNNにおけるバイナリカーネルの分散化がほぼ不可能であることを示すものである。 我々は、選択過程をエンドツーエンドに最適化するだけでなく、選択したコードワードの非反復的占有を維持できる置換ストレートスルー推定器(PSTE)を開発した。 実験により,提案手法はモデルサイズとビット幅の計算コストの両方を削減し,同等の予算下での最先端のBNNと比較して精度の向上を実現する。
  論文  参考訳（メタデータ） (2023-03-25T13:53:02Z)
• Signed Binary Weight Networks [17.07866119979333]
  2つの重要なアルゴリズム技術は、効率の良い推論を可能にすることを約束している。 本稿では,さらに効率を向上させるために,署名バイナリネットワークと呼ばれる新しい手法を提案する。 提案手法は,イメージネットとCIFAR10データセットの2進法で同等の精度を達成し,69%の空間性を実現する。
  論文  参考訳（メタデータ） (2022-11-25T00:19:21Z)
• Improved Algorithms for Neural Active Learning [74.89097665112621]
  非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。 本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
  論文  参考訳（メタデータ） (2022-10-02T05:03:38Z)
• Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
  BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。 私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。 我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
  論文  参考訳（メタデータ） (2022-09-04T06:45:33Z)
• Quantized Neural Networks via {-1, +1} Encoding Decomposition and Acceleration [83.84684675841167]
  本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。 本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
  論文  参考訳（メタデータ） (2021-06-18T03:11:15Z)
• Dual-side Sparse Tensor Core [18.204976918925635]
  既存のGPUは、重みからしか利用できないが、アクティベーションではない。 両面間隔(重みとアクティベーション間隔)を効率的に活用する新しいアーキテクチャを提案する。 我々の設計では、両面の間隔を完全に解き、最小限のハードウェアオーバーヘッドで最大1桁の性能を向上させることができる。
  論文  参考訳（メタデータ） (2021-05-20T07:36:16Z)
• ActNN: Reducing Training Memory Footprint via 2-Bit Activation Compressed Training [68.63354877166756]
  ActNNは、バック伝搬のためのランダムに量子化されたアクティベーションを格納するメモリ効率のトレーニングフレームワークである。 ActNNはアクティベーションのメモリフットプリントを12倍に削減し、6.6倍から14倍のバッチサイズでトレーニングを可能にする。
  論文  参考訳（メタデータ） (2021-04-29T05:50:54Z)
• Accelerating Sparse Deep Neural Networks [20.6942347219753]
  本研究では,密度行列ユニットの計算スループットを2倍にする2:4 (25%) のスパースパターンを利用したスパースコアの設計と挙動を示す。 また,2:4のスパーシティパターン要件を満たすネットワークをトレーニングし,精度を維持するための簡単なワークフローについても述べる。
  論文  参考訳（メタデータ） (2021-04-16T21:27:32Z)
• Connecting Weighted Automata, Tensor Networks and Recurrent Neural Networks through Spectral Learning [58.14930566993063]
  我々は、形式言語と言語学からの重み付き有限オートマトン(WFA)、機械学習で使用されるリカレントニューラルネットワーク、テンソルネットワークの3つのモデル間の接続を提示する。 本稿では,連続ベクトル入力の列上に定義された線形2-RNNに対する最初の証明可能な学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-10-19T15:28:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。