論文の概要: To Spike or Not To Spike: A Digital Hardware Perspective on Deep Learning Acceleration

• arxiv url: http://arxiv.org/abs/2306.15749v2
• Date: Fri, 25 Aug 2023 05:24:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-28 17:00:24.700980
• Title: To Spike or Not To Spike: A Digital Hardware Perspective on Deep Learning Acceleration
• Title（参考訳）: To Spike or Not To Spike:Deep Learning Accelerationのデジタルハードウェアの展望
• Authors: Fabrizio Ottati, Chang Gao, Qinyu Chen, Giovanni Brignone, Mario R. Casu, Jason K. Eshraghian, Luciano Lavagno
• Abstract要約: 生物学的脳のパワー効率は、いかなる大規模深層学習(DL)モデルよりも優れている。 利用可能な生物学的基質は、生物学的脳の進化を厳しく制限している。 人工ニューラルネットワーク(ANN)とスパイクニューラルネットワーク(SNN)のデジタルハードウェアアクセラレーション技術とプラットフォームの比較を行う。
• 参考スコア（独自算出の注目度）: 4.712922151067433
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As deep learning models scale, they become increasingly competitive from domains spanning computer vision to natural language processing; however, this happens at the expense of efficiency since they require increasingly more memory and computing power. The power efficiency of the biological brain outperforms the one of any large-scale deep learning (DL) model; thus, neuromorphic computing tries to mimic the brain operations, such as spike-based information processing, to improve the efficiency of DL models. Despite the benefits of the brain, such as efficient information transmission, dense neuronal interconnects, and the co-location of computation and memory, the available biological substrate has severely constrained the evolution of biological brains. Electronic hardware does not have the same constraints; therefore, while modeling spiking neural networks (SNNs) might uncover one piece of the puzzle, the design of efficient hardware backends for SNNs needs further investigation, potentially taking inspiration from the available work done on the artificial neural networks (ANN s) side. As such, when is it wise to look at the brain while designing new hardware, and when should it be ignored? To answer this question, we quantitatively compare the digital hardware acceleration techniques and platforms of ANN s and SNNs.
• Abstract（参考訳）: ディープラーニングモデルの規模が拡大するにつれて、コンピュータビジョンから自然言語処理に至るまでの領域で競争力が高まる一方で、メモリとコンピューティングのパワーがますます必要になるため、効率が犠牲になる。 生物学的脳のパワー効率は、いかなる大規模ディープラーニング(DL)モデルよりも優れており、ニューロモルフィックコンピューティングは、スパイクベースの情報処理のような脳の操作を模倣して、DLモデルの効率を向上させる。 効率的な情報伝達、高密度神経インターコネクト、計算と記憶の同時配置といった脳の利点にもかかわらず、利用可能な生物学的基質は生物学的脳の進化を厳しく制限している。 電子ハードウェアは同じ制約を持たないため、スパイクニューラルネットワーク(snn)のモデル化はパズルの1つのピースを明らかにする可能性があるが、snsの効率的なハードウェアバックエンドの設計にはさらなる調査が必要である。 そのため、いつ新しいハードウェアを設計しながら脳を見るのが賢明なのか、いつ無視されるべきなのか? そこで本研究では,ANNとSNNのデジタルハードウェアアクセラレーション技術とプラットフォームを定量的に比較する。

関連論文リスト

• Research Advances and New Paradigms for Biology-inspired Spiking Neural Networks [8.315801422499861]
  スパイキングニューラルネットワーク(SNN)は、計算シミュレーションと人工知能の分野で人気を集めている。 本稿では,SNNの歴史的発展を考察し,これら2つの分野が相互に交わり,急速に融合していることを結論する。
  論文  参考訳（メタデータ） (2024-08-26T03:37:48Z)
• Enhancing learning in spiking neural networks through neuronal heterogeneity and neuromodulatory signaling [52.06722364186432]
  人工ニューラルネットワーク(ANN)の強化のための生物学的インフォームドフレームワークを提案する。 提案したデュアルフレームアプローチは、多様なスパイキング動作をエミュレートするためのスパイキングニューラルネットワーク(SNN)の可能性を強調している。 提案手法は脳にインスパイアされたコンパートメントモデルとタスク駆動型SNN, バイオインスピレーション, 複雑性を統合している。
  論文  参考訳（メタデータ） (2024-07-05T14:11:28Z)
• SpikingJelly: An open-source machine learning infrastructure platform for spike-based intelligence [51.6943465041708]
  スパイキングニューラルネットワーク(SNN)は、高エネルギー効率のニューロモルフィックチップに脳にインスパイアされたインテリジェンスを実現することを目的としている。 我々は、ニューロモルフィックデータセットの事前処理、深層SNNの構築、パラメータの最適化、およびニューロモルフィックチップへのSNNのデプロイのためのフルスタックツールキットをコントリビュートする。
  論文  参考訳（メタデータ） (2023-10-25T13:15:17Z)
• Computational and Storage Efficient Quadratic Neurons for Deep Neural Networks [10.379191500493503]
  実験により、提案した二次ニューロン構造は、様々なタスクにおいて優れた計算効率と記憶効率を示すことが示された。 本研究は、2次計算情報の高度活用によって区別される2次ニューロンアーキテクチャを導入する。
  論文  参考訳（メタデータ） (2023-06-10T11:25:31Z)
• A Hybrid Neural Coding Approach for Pattern Recognition with Spiking Neural Networks [53.31941519245432]
  脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。 これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。 本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
  論文  参考訳（メタデータ） (2023-05-26T02:52:12Z)
• Exploiting Noise as a Resource for Computation and Learning in Spiking Neural Networks [32.0086664373154]
  本研究では,雑音型スパイクニューラルネットワーク(NSNN)とノイズ駆動学習規則(NDL)を紹介する。 NSNNは、スケーラブルでフレキシブルで信頼性の高い計算をもたらす理論的なフレームワークを提供する。
  論文  参考訳（メタデータ） (2023-05-25T13:21:26Z)
• Deep Reinforcement Learning Guided Graph Neural Networks for Brain Network Analysis [61.53545734991802]
  本稿では,各脳ネットワークに最適なGNNアーキテクチャを探索する新しい脳ネットワーク表現フレームワークBN-GNNを提案する。 提案するBN-GNNは,脳ネットワーク解析タスクにおける従来のGNNの性能を向上させる。
  論文  参考訳（メタデータ） (2022-03-18T07:05:27Z)
• Spiking Hyperdimensional Network: Neuromorphic Models Integrated with Memory-Inspired Framework [8.910420030964172]
  我々は、スパイキングニューラルネットワークと超次元コンピューティングを根本的に組み合わせた最初のフレームワークであるSpikeHDを提案する。 SpikeHDはスパイクニューラルネットワークを利用して、生のイベントベースのスパイクデータの空間的および時間的相関を保存することで、低レベルの特徴を抽出する。 ベンチマーク分類問題に対する評価の結果,SpikeHDはSNNアーキテクチャと比較して以下の利点があることがわかった。
  論文  参考訳（メタデータ） (2021-10-01T05:01:21Z)
• Self-Supervised Learning of Event-Based Optical Flow with Spiking Neural Networks [3.7384509727711923]
  ニューロモルフィックコンピューティングの大きな課題は、従来の人工ニューラルネットワーク(ANN)の学習アルゴリズムがスパイクニューラルネットワーク(SNN)に直接転送されないことである。 本稿では,イベントベースカメラ入力からの光フロー推定における自己教師型学習問題に着目した。 提案するANNとSNNの性能は,自己教師型で訓練された現在の最先端のANNと同等であることを示す。
  論文  参考訳（メタデータ） (2021-06-03T14:03:41Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。