論文の概要: SPEC2: SPECtral SParsE CNN Accelerator on FPGAs

• arxiv url: http://arxiv.org/abs/1910.11103v2
• Date: Wed, 11 Oct 2023 00:11:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-16 04:52:08.330504
• Title: SPEC2: SPECtral SParsE CNN Accelerator on FPGAs
• Title（参考訳）: SPEC2: FPGA上のSPECtral SParsE CNN Accelerator
• Authors: Yue Niu, Hanqing Zeng, Ajitesh Srivastava, Kartik Lakhotia, Rajgopal Kannan, Yanzhi Wang, Viktor Prasanna
• Abstract要約: 我々は、スペクトルCNNを練習し、加速する最初の研究であるSPEC2を提案する。 スパースカーネルへの効率的なランダムアクセスが可能なFPGA上に最適化されたパイプラインアーキテクチャを設計する。 得られたアクセラレータは、VGG16の最先端FPGA実装と比較して最大24倍のスループットを実現している。
• 参考スコア（独自算出の注目度）: 31.31419913907224
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To accelerate inference of Convolutional Neural Networks (CNNs), various techniques have been proposed to reduce computation redundancy. Converting convolutional layers into frequency domain significantly reduces the computation complexity of the sliding window operations in space domain. On the other hand, weight pruning techniques address the redundancy in model parameters by converting dense convolutional kernels into sparse ones. To obtain high-throughput FPGA implementation, we propose SPEC2 -- the first work to prune and accelerate spectral CNNs. First, we propose a systematic pruning algorithm based on Alternative Direction Method of Multipliers (ADMM). The offline pruning iteratively sets the majority of spectral weights to zero, without using any handcrafted heuristics. Then, we design an optimized pipeline architecture on FPGA that has efficient random access into the sparse kernels and exploits various dimensions of parallelism in convolutional layers. Overall, SPEC2 achieves high inference throughput with extremely low computation complexity and negligible accuracy degradation. We demonstrate SPEC2 by pruning and implementing LeNet and VGG16 on the Xilinx Virtex platform. After pruning 75% of the spectral weights, SPEC2 achieves 0% accuracy loss for LeNet, and <1% accuracy loss for VGG16. The resulting accelerators achieve up to 24x higher throughput, compared with the state-of-the-art FPGA implementations for VGG16.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)の推論を高速化するため,計算冗長性を低減するために様々な手法が提案されている。 畳み込み層の周波数領域への変換は、空間領域におけるスライディングウィンドウ操作の計算複雑性を著しく低減する。 一方、重み付け法は、密度の高い畳み込み核をスパース核に変換することによってモデルパラメータの冗長性に対処する。 本研究では,高スループットFPGAの実装を実現するために,スペクトルCNNの作成と高速化を行うSPEC2を提案する。 まず,マルチプライヤの代替方向法(ADMM)に基づく系統的プルーニングアルゴリズムを提案する。 オフラインプルーニングは、手作りのヒューリスティックを使わずに、スペクトル重みの大半をゼロに反復的に設定する。 次に,sparseカーネルへの効率的なランダムアクセスと畳み込み層における並列性の様々な次元を利用したfpga上で最適化されたパイプラインアーキテクチャを設計する。 全体として、SPEC2は計算複雑性が極端に低く、精度が無視できるような高い推論スループットを実現する。 我々は Xilinx Virtex プラットフォーム上で LeNet と VGG16 を実装して SPEC2 を実証する。 スペクトル重量の75%を刈り取った後、SPEC2はLeNetの0%の精度損失、VGG16の1%の精度損失を達成した。 得られたアクセラレータは、VGG16の最先端FPGA実装と比較して最大24倍のスループットを実現している。

関連論文リスト

• LUTMUL: Exceed Conventional FPGA Roofline Limit by LUT-based Efficient Multiplication for Neural Network Inference [25.342107763021147]
  本稿では、LUTMULを導入し、LUT(ルックアップテーブル)のポテンシャルを利用して乗算を行う。 LUTのこの利点を生かして,FPGAベースのニューラルネットワークアクセラレータの性能向上の可能性を実証する。
  論文  参考訳（メタデータ） (2024-11-01T02:54:11Z)
• Quasar-ViT: Hardware-Oriented Quantization-Aware Architecture Search for Vision Transformers [56.37495946212932]
  視覚変換器(ViT)は、畳み込みニューラルネットワーク(CNN)と比較して、コンピュータビジョンタスクにおいて優れた精度を示す。 ハードウェア指向の量子化対応アーキテクチャ検索フレームワークであるQuasar-ViTを提案する。
  論文  参考訳（メタデータ） (2024-07-25T16:35:46Z)
• T-GAE: Transferable Graph Autoencoder for Network Alignment [79.89704126746204]
  T-GAEはグラフオートエンコーダフレームワークで、GNNの転送性と安定性を活用して、再トレーニングなしに効率的なネットワークアライメントを実現する。 実験の結果、T-GAEは最先端の最適化手法と最高のGNN手法を最大38.7%、50.8%で上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-10-05T02:58:29Z)
• Optimization of FPGA-based CNN Accelerators Using Metaheuristics [1.854931308524932]
  畳み込みニューラルネットワーク(CNN)は、多くの分野における問題解決能力を実証している。 FPGAはCNN推論を加速する関心が高まっている。 FPGAベースのCNNアクセラレータの現在のトレンドは、複数の畳み込み層プロセッサ(CLP)を実装することである。
  論文  参考訳（メタデータ） (2022-09-22T18:57:49Z)
• Adaptable Butterfly Accelerator for Attention-based NNs via Hardware and Algorithm Co-design [66.39546326221176]
  多くのAIタスクにおいて、注意に基づくニューラルネットワークが普及している。 注意機構とフィードフォワードネットワーク(FFN)の使用は、過剰な計算とメモリ資源を必要とする。 本稿では,注目機構とFFNの両方を近似するために,バタフライの分散パターンを統一したハードウェアフレンドリーな変種を提案する。
  論文  参考訳（メタデータ） (2022-09-20T09:28:26Z)
• Automatic Mapping of the Best-Suited DNN Pruning Schemes for Real-Time Mobile Acceleration [71.80326738527734]
  本稿では,汎用的,きめ細かな構造化プルーニング手法とコンパイラの最適化を提案する。 提案手法は,より微細な構造化プルーニング手法とともに,最先端のDNN最適化フレームワークよりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-22T23:53:14Z)
• DS-Net++: Dynamic Weight Slicing for Efficient Inference in CNNs and Transformers [105.74546828182834]
  本稿では,様々な難易度を持つ入力に対して,ネットワークパラメータの一部を適応的にスライスする動的ウェイトスライシングという,ハードウェア効率のよい動的推論方式を示す。 我々は、CNNのフィルタ数とCNNと変換器の多重次元を入力依存的に調整することで、動的スライム可能なネットワーク(DS-Net)と動的スライス可能なネットワーク(DS-Net++)を提案する。
  論文  参考訳（メタデータ） (2021-09-21T09:57:21Z)
• Learning N:M Fine-grained Structured Sparse Neural Networks From Scratch [75.69506249886622]
  ディープニューラルネットワーク(DNN)におけるスパーシティは、資源制約された環境でモデルを圧縮し、加速するために広く研究されている。 本稿では,N:M細粒構造スパースネットワークのスクラッチからトレーニングを初めて行う。
  論文  参考訳（メタデータ） (2021-02-08T05:55:47Z)
• BRDS: An FPGA-based LSTM Accelerator with Row-Balanced Dual-Ratio Sparsification [3.3711251611130337]
  エネルギー消費を低減し、Long Short-Term Memory (LSTM) ニューラルネットワークアクセラレータの速度を改善するためのハードウェアフレンドリーなプランニングアルゴリズムを提示する。 その結果、提案された加速器は最大272%の有効GOPS/Wを提供することができ、パープレキシティエラーはPTBデータセットの1.4%まで低減される。
  論文  参考訳（メタデータ） (2021-01-07T18:23:48Z)
• A fully pipelined FPGA accelerator for scale invariant feature transform keypoint descriptor matching, [0.0]
  SIFTキーポイント記述子マッチングのための完全パイプラインハードウェアアクセラレータアーキテクチャを設計する。 提案するハードウェアアーキテクチャは、完全にパイプライン化された実装に必要なメモリ帯域を適切に処理することができる。 私たちのハードウェア実装は、同等のソフトウェアアプローチの15.7倍高速です。
  論文  参考訳（メタデータ） (2020-12-17T15:29:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。