論文の概要: An Efficient General-Purpose Optical Accelerator for Neural Networks
- arxiv url: http://arxiv.org/abs/2409.12966v1
- Date: Mon, 2 Sep 2024 13:04:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-07 12:36:59.688832
- Title: An Efficient General-Purpose Optical Accelerator for Neural Networks
- Title（参考訳）: ニューラルネットワークのための高能率汎用光加速器
- Authors: Sijie Fei, Amro Eldebiky, Grace Li Zhang, Bing Li, Ulf Schlichtmann,
- Abstract要約: ディープニューラルネットワーク(DNN)を加速するための有望なプラットフォームとして、汎用光加速器(GOAs)が登場した
本研究では,ニューラルネットワークのGOAへのマッピング効率を高めるために,ハイブリッドGOAアーキテクチャを提案する。
また、消費電力と計算遅延をそれぞれ67%以上と21%以上削減することができる。
- 参考スコア（独自算出の注目度）: 4.236129222287313
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: General-purpose optical accelerators (GOAs) have emerged as a promising platform to accelerate deep neural networks (DNNs) due to their low latency and energy consumption. Such an accelerator is usually composed of a given number of interleaving Mach-Zehnder- Interferometers (MZIs). This interleaving architecture, however, has a low efficiency when accelerating neural networks of various sizes due to the mismatch between weight matrices and the GOA architecture. In this work, a hybrid GOA architecture is proposed to enhance the mapping efficiency of neural networks onto the GOA. In this architecture, independent MZI modules are connected with microring resonators (MRRs), so that they can be combined to process large neural networks efficiently. Each of these modules implements a unitary matrix with inputs adjusted by tunable coefficients. The parameters of the proposed architecture are searched using genetic algorithm. To enhance the accuracy of neural networks, selected weight matrices are expanded to multiple unitary matrices applying singular value decomposition (SVD). The kernels in neural networks are also adjusted to use up the on-chip computational resources. Experimental results show that with a given number of MZIs, the mapping efficiency of neural networks on the proposed architecture can be enhanced by 21.87%, 21.20%, 24.69%, and 25.52% for VGG16 and Resnet18 on datasets Cifar10 and Cifar100, respectively. The energy consumption and computation latency can also be reduced by over 67% and 21%, respectively.
- Abstract（参考訳）: 汎用光アクセラレータ(GOA)は、低レイテンシとエネルギー消費のため、ディープニューラルネットワーク(DNN)を加速する有望なプラットフォームとして登場した。
このような加速器は、通常、所定の数のマッハ・ツェンダー干渉計(MZI)から構成される。
しかし、このインターリービングアーキテクチャは、重み行列とGOAアーキテクチャのミスマッチにより、様々なサイズのニューラルネットワークを加速する際の効率が低い。
本研究では,ニューラルネットワークのGOAへのマッピング効率を高めるために,ハイブリッドGOAアーキテクチャを提案する。
このアーキテクチャでは、独立したMZIモジュールはマイクロリング共振器(MRR)と接続され、それらを結合して大きなニューラルネットワークを効率的に処理することができる。
これらのモジュールはそれぞれ、可変係数で調整された入力を持つユニタリ行列を実装している。
提案アーキテクチャのパラメータを遺伝的アルゴリズムを用いて探索する。
ニューラルネットワークの精度を高めるために、選択された重み行列を特異値分解(SVD)を適用した複数のユニタリ行列に拡張する。
ニューラルネットワークのカーネルも、オンチップの計算リソースを使用するように調整される。
実験の結果,提案したアーキテクチャ上でのニューラルネットワークのマッピング効率は,データセットのCifar10とCifar100でそれぞれ21.87%,21.20%,24.69%,25.52%,VGG16とResnet18では25.52%向上した。
また、消費電力と計算遅延をそれぞれ67%以上と21%以上削減することができる。
関連論文リスト
- MCU-MixQ: A HW/SW Co-optimized Mixed-precision Neural Network Design Framework for MCUs [9.719789698194154]
ニューラルネットワーク処理に十分なデータ幅を利用する混合精度ニューラルネットワーク(MPNN)は、厳密なリソース制約を満たすための効果的なアプローチである。
しかし、MCUクラスのISAにはサブバイトと混合精度のSIMD操作がない。
本研究では,複数の低ビット幅演算を単一の命令多重データ(SIMD)命令にパックする手法を提案する。
論文 参考訳（メタデータ） (2024-07-17T14:51:15Z) - EPIM: Efficient Processing-In-Memory Accelerators based on Epitome [78.79382890789607]
畳み込みのような機能を提供する軽量神経オペレータであるEpitomeを紹介する。
ソフトウェア側では,PIMアクセラレータ上でのエピトームのレイテンシとエネルギを評価する。
ハードウェア効率を向上させるため,PIM対応層設計手法を提案する。
論文 参考訳（メタデータ） (2023-11-12T17:56:39Z) - Heterogenous Memory Augmented Neural Networks [84.29338268789684]
ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。
学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。
In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
論文 参考訳（メタデータ） (2023-10-17T01:05:28Z) - Exploring the Approximation Capabilities of Multiplicative Neural
Networks for Smooth Functions [9.936974568429173]
対象関数のクラスは、一般化帯域制限関数とソボレフ型球である。
以上の結果から、乗法ニューラルネットワークは、これらの関数をはるかに少ない層とニューロンで近似できることを示した。
これらの結果は、乗法ゲートが標準フィードフォワード層より優れ、ニューラルネットワーク設計を改善する可能性があることを示唆している。
論文 参考訳（メタデータ） (2023-01-11T17:57:33Z) - A Resource-efficient Spiking Neural Network Accelerator Supporting
Emerging Neural Encoding [6.047137174639418]
スパイキングニューラルネットワーク(SNN)は、その低消費電力乗算自由コンピューティングにより、最近勢いを増している。
SNNは、大規模なモデルのための人工知能ニューラルネットワーク(ANN)と同様の精度に達するために、非常に長いスパイク列車(1000台まで)を必要とする。
ニューラルエンコーディングでSNNを効率的にサポートできる新しいハードウェアアーキテクチャを提案する。
論文 参考訳（メタデータ） (2022-06-06T10:56:25Z) - Quantized Neural Networks via {-1, +1} Encoding Decomposition and
Acceleration [83.84684675841167]
本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。
本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
論文 参考訳（メタデータ） (2021-06-18T03:11:15Z) - Efficient power allocation using graph neural networks and deep
algorithm unfolding [40.78748956518785]
単一ホップアドホック無線ネットワークにおける最適電力配分の問題について検討する。
アルゴリズム重み付き最小二乗誤差(WMMSE)の展開に着想を得たハイブリッドニューラルネットワークアーキテクチャを提案する。
UWMMSEはWMMSEに匹敵する堅牢性を達成し,計算複雑性を著しく低減することを示す。
論文 参考訳（メタデータ） (2020-11-18T05:28:24Z) - Neural Architecture Search For LF-MMI Trained Time Delay Neural Networks [61.76338096980383]
TDNN(State-of-the-the-art Factored Time delay Neural Network)の2種類のハイパーパラメータを自動的に学習するために、さまざまなニューラルネットワークサーチ(NAS)技術が使用されている。
DARTSメソッドはアーキテクチャ選択とLF-MMI(格子のないMMI)TDNNトレーニングを統合する。
300時間のSwitchboardコーパスで行われた実験では、自動構成システムはベースラインLF-MMI TDNNシステムより一貫して優れていることが示唆された。
論文 参考訳（メタデータ） (2020-07-17T08:32:11Z) - Surrogate-assisted Particle Swarm Optimisation for Evolving
Variable-length Transferable Blocks for Image Classification [8.40112153818812]
畳み込みニューラルネットワークを自動進化させるために,新しい有効サロゲート支援粒子群最適化アルゴリズムを提案する。
提案手法は、CIFAR-10データセットで3.49%、CIFAR-100データセットで18.49%、SVHNデータセットで1.82%の競合エラー率を達成することにより、その効果を示す。
論文 参考訳（メタデータ） (2020-07-03T08:48:21Z) - Binarized Graph Neural Network [65.20589262811677]
我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。
提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。
実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
論文 参考訳（メタデータ） (2020-04-19T09:43:14Z) - When Residual Learning Meets Dense Aggregation: Rethinking the
Aggregation of Deep Neural Networks [57.0502745301132]
我々は,グローバルな残差学習と局所的なマイクロセンスアグリゲーションを備えた新しいアーキテクチャであるMicro-Dense Netsを提案する。
我々のマイクロセンスブロックはニューラルアーキテクチャ検索に基づくモデルと統合して性能を向上させることができる。
論文 参考訳（メタデータ） (2020-04-19T08:34:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。