論文の概要: BPLight-CNN: A Photonics-based Backpropagation Accelerator for Deep Learning

• arxiv url: http://arxiv.org/abs/2102.10140v1
• Date: Fri, 19 Feb 2021 20:00:21 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-23 14:37:46.283787
• Title: BPLight-CNN: A Photonics-based Backpropagation Accelerator for Deep Learning
• Title（参考訳）: BPLight-CNN:深層学習のためのフォトニクスベースのバックプロパゲーションアクセラレータ
• Authors: D. Dang, S. V. R. Chittamuru, S. Pasricha, R. Mahapatra, D. Sahoo
• Abstract要約: ディープラーニングネットワークのトレーニングには、バックプロパゲーションアルゴリズム(BP)を使用しながら、ディープネットワークのさまざまな層にわたる継続的な重み付け更新が含まれる。 BPLight-CNNは、エンドツーエンドのトレーニングと予測のための世界初のフォトニックおよびメミスタベースのCNNアーキテクチャです。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Training deep learning networks involves continuous weight updates across the various layers of the deep network while using a backpropagation algorithm (BP). This results in expensive computation overheads during training. Consequently, most deep learning accelerators today employ pre-trained weights and focus only on improving the design of the inference phase. The recent trend is to build a complete deep learning accelerator by incorporating the training module. Such efforts require an ultra-fast chip architecture for executing the BP algorithm. In this article, we propose a novel photonics-based backpropagation accelerator for high performance deep learning training. We present the design for a convolutional neural network, BPLight-CNN, which incorporates the silicon photonics-based backpropagation accelerator. BPLight-CNN is a first-of-its-kind photonic and memristor-based CNN architecture for end-to-end training and prediction. We evaluate BPLight-CNN using a photonic CAD framework (IPKISS) on deep learning benchmark models including LeNet and VGG-Net. The proposed design achieves (i) at least 34x speedup, 34x improvement in computational efficiency, and 38.5x energy savings, during training; and (ii) 29x speedup, 31x improvement in computational efficiency, and 38.7x improvement in energy savings, during inference compared to the state-of-the-art designs. All these comparisons are done at a 16-bit resolution; and BPLight-CNN achieves these improvements at a cost of approximately 6% lower accuracy compared to the state-of-the-art.
• Abstract（参考訳）: ディープラーニングネットワークのトレーニングには、バックプロパゲーションアルゴリズム(BP)を使用しながら、ディープネットワークのさまざまなレイヤにわたる継続的な重み更新が含まれる。 これにより、トレーニング中に高価な計算オーバーヘッドが発生する。 その結果、今日では多くのディープラーニングアクセラレーターが事前訓練されたウェイトを採用し、推論フェーズの設計の改善にのみ焦点をあてている。 最近のトレンドは、トレーニングモジュールを組み込むことで、完全なディープラーニングアクセラレータを構築することです。 このような取り組みにはBPアルゴリズムを実行するための超高速チップアーキテクチャが必要である。 本稿では,高速深層学習のためのフォトニクスベースのバックプロパゲーションアクセラレータを提案する。 シリコンフォトニクスをベースとしたバックプロパゲーションアクセラレータを組み込んだ畳み込みニューラルネットワークBPLight-CNNの設計を提案する。 BPLight-CNNは、エンドツーエンドのトレーニングと予測のための世界初のフォトニックおよびメミスタベースのCNNアーキテクチャです。 LeNetやVGG-NetなどのディープラーニングベンチマークモデルにフォトニックCADフレームワーク(IPKISS)を用いてBPLight-CNNを評価する。 提案手法は,少なくとも34倍の高速化,34倍の計算効率向上,38.5倍の省エネ,および(ii)29倍の高速化,31倍の計算効率向上,38.7倍の省エネを実現している。 これらすべての比較は16ビットの解像度で行われ、bplight-cnnは最先端と比較して約6%の精度でこれらの改善を達成している。

関連論文リスト

• Scalable Back-Propagation-Free Training of Optical Physics-Informed Neural Networks [12.726911225088443]
  物理インフォームドニューラルネットワーク(PINN)は偏微分方程式(PDE)の解法において有望であることを示す。 フォトニックコンピューティングは、超高速な演算速度のために、この目標を達成するための潜在的なソリューションを提供する。 本稿では,シリコンフォトニックプラットフォーム上でのリアルタイムPINNのトレーニングのための,完全バックプロパゲーションフリー(BPフリー)かつ高給電性フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-17T23:45:23Z)
• Spyx: A Library for Just-In-Time Compiled Optimization of Spiking Neural Networks [0.08965418284317034]
  Spiking Neural Networks(SNN)は、小さくて低消費電力なハードウェアフットプリントによるエネルギー効率の向上を提供する。 本稿では、JAXで設計された新しい軽量SNNシミュレーションおよび最適化ライブラリSpyxを紹介する。
  論文  参考訳（メタデータ） (2024-02-29T09:46:44Z)
• Sophisticated deep learning with on-chip optical diffractive tensor processing [5.081061839052458]
  フォトニック集積回路は、電子回路によってもたらされる帯域制限と電力ウォールを緩和するための効率的なアプローチを提供する。 我々は、オンチップ回折により、光畳み込みユニット(OCU)と呼ばれる畳み込み加速度を実装する光学コンピューティングアーキテクチャを提案する。 OCUを基本単位として、光学畳み込みニューラルネットワーク(oCNN)を構築し、分類と回帰という2つの一般的なディープラーニングタスクを実装する。
  論文  参考訳（メタデータ） (2022-12-20T03:33:26Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Online Training Through Time for Spiking Neural Networks [66.7744060103562]
  スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。 近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。 本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
  論文  参考訳（メタデータ） (2022-10-09T07:47:56Z)
• Online Convolutional Re-parameterization [51.97831675242173]
  2段階のパイプラインであるオンライン畳み込み再パラメータ化(OREPA)は、複雑なトレーニング時間ブロックを単一の畳み込みに絞ることで、巨大なトレーニングオーバーヘッドを低減することを目的としている。 最先端のre-paramモデルと比較して、OREPAはトレーニング時間のメモリコストを約70%削減し、トレーニング速度を約2倍向上させることができる。 また、オブジェクト検出とセマンティックセグメンテーションの実験を行い、下流タスクに一貫した改善を示す。
  論文  参考訳（メタデータ） (2022-04-02T09:50:19Z)
• FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
  本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。 この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。 分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
  論文  参考訳（メタデータ） (2022-01-18T13:59:22Z)
• H2Learn: High-Efficiency Learning Accelerator for High-Accuracy Spiking Neural Networks [25.768116231283045]
  H2Learnは,BPTTに基づくSNN学習において,高い効率を実現する新しいアーキテクチャである。 最新のNVIDIA V100 GPUと比較して、H2Learnは7.38倍の領域節約、5.74-10.20倍のスピードアップ、5.25-7.12倍の省エネを実現している。
  論文  参考訳（メタデータ） (2021-07-25T07:37:17Z)
• 3U-EdgeAI: Ultra-Low Memory Training, Ultra-Low BitwidthQuantization, and Ultra-Low Latency Acceleration [8.419854797930668]
  エッジ上のディープニューラルネットワーク(DNN)ベースのAIアプリケーションは、低コストのコンピューティングプラットフォームと高品質なサービスの両方を必要とする。 本稿では、トレーニング、量子化、加速器設計の重要性を強調し、エッジ上のAI分野におけるさらなる研究のブレークスルーを求める。
  論文  参考訳（メタデータ） (2021-05-11T03:22:30Z)
• FracTrain: Fractionally Squeezing Bit Savings Both Temporally and Spatially for Efficient DNN Training [62.932299614630985]
  本稿では, アクティベーション, ウェイト, 勾配の精度を徐々に向上させる, プログレッシブ分数量子化を統合したFracTrainを提案する。 FracTrainはDNNトレーニングの計算コストとハードウェア量子化エネルギー/レイテンシを削減し、同等以上の精度(-0.12%+1.87%)を達成する。
  論文  参考訳（メタデータ） (2020-12-24T05:24:10Z)
• Optimizing Memory Placement using Evolutionary Graph Reinforcement Learning [56.83172249278467]
  大規模検索空間を対象とした進化グラフ強化学習(EGRL)を提案する。 我々は、推論のために、Intel NNP-Iチップ上で、我々のアプローチを直接訓練し、検証する。 また,NNP-Iコンパイラと比較して28～78%の高速化を実現している。
  論文  参考訳（メタデータ） (2020-07-14T18:50:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。