論文の概要: NOVA: NoC-based Vector Unit for Mapping Attention Layers on a CNN Accelerator

• arxiv url: http://arxiv.org/abs/2405.04206v1
• Date: Tue, 7 May 2024 11:20:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-08 14:29:58.623112
• Title: NOVA: NoC-based Vector Unit for Mapping Attention Layers on a CNN Accelerator
• Title（参考訳）: NOVA: CNNアクセラレータ上のアテンション層マッピングのためのNoCベースのベクトルユニット
• Authors: Mohit Upadhyay, Rohan Juneja, Weng-Fai Wong, Li-Shiuan Peh,
• Abstract要約: この研究は、NoCベースのベクトルユニットであるNOVAを導入し、アクセラレータのNoC内で非線形操作を実行できる。 この結果から,NOVAアーキテクチャは,既存の注目型ニューラルネットワークを実行する場合,最先端ハードウェア近似器よりも37.8倍の電力効率を持つことがわかった。
• 参考スコア（独自算出の注目度）: 5.801419778274353
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Attention mechanisms are becoming increasingly popular, being used in neural network models in multiple domains such as natural language processing (NLP) and vision applications, especially at the edge. However, attention layers are difficult to map onto existing neuro accelerators since they have a much higher density of non-linear operations, which lead to inefficient utilization of today's vector units. This work introduces NOVA, a NoC-based Vector Unit that can perform non-linear operations within the NoC of the accelerators, and can be overlaid onto existing neuro accelerators to map attention layers at the edge. Our results show that the NOVA architecture is up to 37.8x more power-efficient than state-of-the-art hardware approximators when running existing attention-based neural networks.
• Abstract（参考訳）: 注意機構は、自然言語処理(NLP)や視覚応用(特にエッジ)など、複数のドメインのニューラルネットワークモデルで使用されるようになった。 しかしながら、注意層は非線形演算の密度がはるかに高いため、既存の神経加速器にマッピングすることは困難であり、今日のベクトルユニットの非効率な利用につながる。 この研究は、NoCベースのベクトルユニットであるNOVAを導入し、加速器のNoC内で非線形操作を実行し、既存の神経加速器にオーバーレイしてエッジの注意層をマッピングすることができる。 この結果から,NOVAアーキテクチャは,既存の注目型ニューラルネットワークを実行する場合,最先端ハードウェア近似器よりも37.8倍の電力効率を持つことがわかった。

関連論文リスト

• A Primal-Dual Framework for Transformers and Neural Networks [52.814467832108875]
  自己注意は、シーケンスモデリングタスクにおけるトランスフォーマーの顕著な成功の鍵である。 自己アテンションは、支持ベクトル回帰問題から導かれる支持ベクトル展開に対応することを示す。 Batch Normalized Attention (Attention-BN) と Scaled Head (Attention-SH) の2つの新しい注意点を提案する。
  論文  参考訳（メタデータ） (2024-06-19T19:11:22Z)
• Fully Spiking Actor Network with Intra-layer Connections for Reinforcement Learning [51.386945803485084]
  エージェントが制御する多次元決定論的ポリシーを学習する必要があるタスクに焦点をあてる。 既存のスパイクベースのRL法は、SNNの出力として発火率を取り、完全に接続された層を通して連続的なアクション空間(つまり決定論的なポリシー)を表すように変換する。 浮動小数点行列操作を伴わない完全にスパイクするアクターネットワークを開発するため,昆虫に見られる非スパイク介在ニューロンからインスピレーションを得た。
  論文  参考訳（メタデータ） (2024-01-09T07:31:34Z)
• EPIM: Efficient Processing-In-Memory Accelerators based on Epitome [78.79382890789607]
  畳み込みのような機能を提供する軽量神経オペレータであるEpitomeを紹介する。 ソフトウェア側では,PIMアクセラレータ上でのエピトームのレイテンシとエネルギを評価する。 ハードウェア効率を向上させるため,PIM対応層設計手法を提案する。
  論文  参考訳（メタデータ） (2023-11-12T17:56:39Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Energy-Efficient Deployment of Machine Learning Workloads on Neuromorphic Hardware [0.11744028458220425]
  ディープラーニングハードウェアアクセラレータがいくつかリリースされ、ディープニューラルネットワーク(DNN)が消費する電力と面積の削減に特化している。 個別の時系列データで動作するスパイクニューラルネットワーク(SNN)は、特殊なニューロモルフィックイベントベース/非同期ハードウェアにデプロイすると、大幅な電力削減を実現することが示されている。 本研究では,事前学習したDNNをSNNに変換するための一般的なガイドを提供するとともに,ニューロモルフィックハードウェア上でのSNNの展開を改善するためのテクニックも提示する。
  論文  参考訳（メタデータ） (2022-10-10T20:27:19Z)
• A Resource-efficient Spiking Neural Network Accelerator Supporting Emerging Neural Encoding [6.047137174639418]
  スパイキングニューラルネットワーク(SNN)は、その低消費電力乗算自由コンピューティングにより、最近勢いを増している。 SNNは、大規模なモデルのための人工知能ニューラルネットワーク(ANN)と同様の精度に達するために、非常に長いスパイク列車(1000台まで)を必要とする。 ニューラルエンコーディングでSNNを効率的にサポートできる新しいハードウェアアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-06-06T10:56:25Z)
• Low Power Neuromorphic EMG Gesture Classification [3.8761525368152725]
  スパイキングニューラルネットワーク(SNN)は、低消費電力でリアルタイムなEMGジェスチャー認識を約束している。 ニューロモルフィック・リカレントスパイキングニューラルネットワーク(RSNN)を用いたEMG信号に基づくジェスチャー認識の低消費電力高精度実証を行った。 我々のネットワークは,Roshambo EMGデータセット上で報告された最高の技術よりも53%の精度で,最先端の精度分類(90%)を実現している。
  論文  参考訳（メタデータ） (2022-06-04T22:09:34Z)
• FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
  本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。 この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。 分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
  論文  参考訳（メタデータ） (2022-01-18T13:59:22Z)
• Training for temporal sparsity in deep neural networks, application in video processing [0.30458514384586394]
  アクティベーション・スパシティは、スパシティを意識したニューラルネットワークアクセラレーターにおける計算効率とリソース利用を改善する。 デルタ活性化層(Delta Activation Layer)と呼ばれる新しいレイヤを導入し、トレーニング中のアクティベーションの時間的間隔を促進する。 より長期トレーニング後のモデル精度の回復を可能とし, ほぼ3倍のアクティベーション間隔の改善を報告した。
  論文  参考訳（メタデータ） (2021-07-15T13:17:11Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• A$^3$: Accelerating Attention Mechanisms in Neural Networks with Approximation [3.5217810503607896]
  アルゴリズム近似とハードウェア特殊化によるニューラルネットワークの注意機構を高速化するA3の設計と設計を行う。 提案する加速器は、エネルギー効率(性能/ワット)の大幅な向上と、最先端の従来のハードウェアの大幅な高速化を実現している。
  論文  参考訳（メタデータ） (2020-02-22T02:09:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。