論文の概要: Mirage: An RNS-Based Photonic Accelerator for DNN Training
- arxiv url: http://arxiv.org/abs/2311.17323v2
- Date: Fri, 24 May 2024 16:06:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-27 23:36:34.784530
- Title: Mirage: An RNS-Based Photonic Accelerator for DNN Training
- Title（参考訳）: Mirage: RNSベースのDNNトレーニング用フォトニック加速器
- Authors: Cansu Demirkiran, Guowei Yang, Darius Bunandar, Ajay Joshi,
- Abstract要約: フォトニックコンピューティングは、ディープニューラルネットワーク(DNN)における重要な演算である、高効率な行列乗算を実現するための魅力的な道である
本稿では、Residue Number System (RNS) を用いたフォトニックハードウェアにおける精度の課題を克服するフォトニックDNNトレーニングアクセラレータであるMirageを提案する。
RNSはモジュラー演算に基づく数値システムであり、複数の低精度なモジュラー演算によって高精度な演算を行うことができる。
- 参考スコア（独自算出の注目度）: 2.2750171530507695
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Photonic computing is a compelling avenue for performing highly efficient matrix multiplication, a crucial operation in Deep Neural Networks (DNNs). While this method has shown great success in DNN inference, meeting the high precision demands of DNN training proves challenging due to the precision limitations imposed by costly data converters and the analog noise inherent in photonic hardware. This paper proposes Mirage, a photonic DNN training accelerator that overcomes the precision challenges in photonic hardware using the Residue Number System (RNS). RNS is a numeral system based on modular arithmetic, allowing us to perform high-precision operations via multiple low-precision modular operations. In this work, we present a novel micro-architecture and dataflow for an RNS-based photonic tensor core performing modular arithmetic in the analog domain. By combining RNS and photonics, Mirage provides high energy efficiency without compromising precision and can successfully train state-of-the-art DNNs achieving accuracy comparable to FP32 training. Our study shows that on average across several DNNs when compared to systolic arrays, Mirage achieves more than $23.8\times$ faster training and $32.1\times$ lower EDP in an iso-energy scenario and consumes $42.8\times$ lower power with comparable or better EDP in an iso-area scenario.
- Abstract（参考訳）: フォトニックコンピューティングは、ディープニューラルネットワーク(DNN)において重要な操作である、高効率な行列乗算を行うための魅力的な道である。
この手法はDNN推論において大きな成功を収めてきたが、DNNトレーニングの高精度要求を満たすことは、高価なデータ変換器によって課される精度の制限と、フォトニックハードウェアに固有のアナログノイズのために困難であることが証明されている。
本稿では、Residue Number System (RNS) を用いたフォトニックハードウェアにおける精度の課題を克服するフォトニックDNNトレーニングアクセラレータであるMirageを提案する。
RNSはモジュラー演算に基づく数値システムであり、複数の低精度なモジュラー演算によって高精度な演算を行うことができる。
本研究では、アナログ領域でモジュラー演算を行うRSSベースのフォトニックテンソルコアに対して、新しいマイクロアーキテクチャとデータフローを提案する。
RNSとフォトニクスを組み合わせることで、精度を損なうことなく高いエネルギー効率を提供し、FP32訓練に匹敵する精度で最先端のDNNを訓練することができる。
我々の研究では、シストリックアレイと比較して、Mirageは複数のDNNで平均23.8\times$高速トレーニングと32.1\times$低いEDPをイソエネルギーシナリオで達成し、同領域シナリオで同等またはより良いEDPで42.8\times$低い電力を消費している。
関連論文リスト
- Asymmetrical estimator for training encapsulated deep photonic neural networks [10.709758849326061]
フォトニックニューラルネットワーク(PNN)は高速なインプロパゲーションと高帯域幅のパラダイムである。
デバイス・ツー・デバイスとシステム・ツー・システムの違いは、PNNの完全な知識を生み出す。
DPNNのカプセル化に適した非対称訓練法(AT法)を導入する。
論文 参考訳（メタデータ） (2024-05-28T17:27:20Z) - A Blueprint for Precise and Fault-Tolerant Analog Neural Networks [1.6039298125810306]
高精度データ変換器は、ディープニューラルネットワークには費用がかかり実用的ではない。
残基数システム(RNS)を用いてこの問題に対処する。
RNSは複数の低精度操作から高精度操作を構成することができる。
論文 参考訳（メタデータ） (2023-09-19T17:00:34Z) - Accurate, Low-latency, Efficient SAR Automatic Target Recognition on
FPGA [3.251765107970636]
合成開口レーダ(SAR)自動目標認識(ATR)はリモートセンシング画像認識の鍵となる技術である。
SAR ATRのための最先端の畳み込みニューラルネットワーク(CNN)は、エンハンハイ計算コストとエンハンラージメモリフットプリントに悩まされている。
本稿では,これらの問題に対処するため,FPGA 上でモデルアーキテクチャを包括的に設計する手法を提案する。
論文 参考訳（メタデータ） (2023-01-04T05:35:30Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳（メタデータ） (2022-05-01T12:44:49Z) - FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。
この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。
分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
論文 参考訳（メタデータ） (2022-01-18T13:59:22Z) - Sub-bit Neural Networks: Learning to Compress and Accelerate Binary
Neural Networks [72.81092567651395]
Sub-bit Neural Networks (SNN) は、BNNの圧縮と高速化に適した新しいタイプのバイナリ量子化設計である。
SNNは、微細な畳み込みカーネル空間におけるバイナリ量子化を利用するカーネル対応最適化フレームワークで訓練されている。
ビジュアル認識ベンチマークの実験とFPGA上でのハードウェア展開は、SNNの大きな可能性を検証する。
論文 参考訳（メタデータ） (2021-10-18T11:30:29Z) - Low-Precision Training in Logarithmic Number System using Multiplicative
Weight Update [49.948082497688404]
大規模ディープニューラルネットワーク(DNN)のトレーニングは、現在かなりの量のエネルギーを必要としており、深刻な環境影響をもたらす。
エネルギーコストを削減するための有望なアプローチの1つは、DNNを低精度で表現することである。
対数数システム(LNS)と乗算重み更新訓練法(LNS-Madam)を併用した低精度トレーニングフレームワークを共同で設計する。
論文 参考訳（メタデータ） (2021-06-26T00:32:17Z) - DTNN: Energy-efficient Inference with Dendrite Tree Inspired Neural
Networks for Edge Vision Applications [2.1800759000607024]
本稿では,活性化量子化によって実現されたテーブルルックアップ操作を用いたエネルギー効率の高い推論のためのDendrite-Tree-based Neural Network (DTNN)を提案する。
DTNNはResNet-18とVGG-11でそれぞれ19.4Xと64.9Xの大幅な省エネを実現した。
論文 参考訳（メタデータ） (2021-05-25T11:44:12Z) - FracTrain: Fractionally Squeezing Bit Savings Both Temporally and
Spatially for Efficient DNN Training [81.85361544720885]
アクティベーション、ウェイト、グラデーションの精度を徐々に高めるプログレッシブ分数量子化を統合したFracTrainを提案します。
FracTrainはDNNトレーニングの計算コストとハードウェア量子化エネルギー/レイテンシを削減し、同等以上の精度(-0.12%+1.87%)を達成する。
論文 参考訳（メタデータ） (2020-12-24T05:24:10Z) - TaxoNN: A Light-Weight Accelerator for Deep Neural Network Training [2.5025363034899732]
本稿では,SGDアルゴリズムを単純な計算要素に分割することで,ベースラインDNNアクセラレータ(推論のみ)にトレーニング能力を付加する手法を提案する。
DNNトレーニングのための軽量加速器であるTaxoNNを提案する。
実験の結果,TaxoNNは実精度よりも平均0.97%,誤分類率が高いことがわかった。
論文 参考訳（メタデータ） (2020-10-11T09:04:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。