Fugu-MT 論文翻訳(概要): Single-Shot Optical Neural Network

論文の概要: Single-Shot Optical Neural Network

arxiv url: http://arxiv.org/abs/2205.09103v1
Date: Wed, 18 May 2022 17:49:49 GMT
ステータス: 処理完了
システム内更新日: 2022-05-19 14:01:09.811953
Title: Single-Shot Optical Neural Network
Title（参考訳）: シングルショット光ニューラルネットワーク
Authors: Liane Bernstein, Alexander Sludds, Christopher Panuski, Sivan Trajtenberg-Mills, Ryan Hamerly, Dirk Englund
Abstract要約: 深層ニューラルネットワークに必要な計算資源を削減するために,「重定常」アナログ光学・電子ハードウェアが提案されている。我々は、スケーラブルで1層当たり単発の重み付き光学プロセッサを提案する。
参考スコア（独自算出の注目度）: 55.41644538483948
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: As deep neural networks (DNNs) grow to solve increasingly complex problems, they are becoming limited by the latency and power consumption of existing digital processors. 'Weight-stationary' analog optical and electronic hardware has been proposed to reduce the compute resources required by DNNs by eliminating expensive weight updates; however, with scalability limited to an input vector length $K$ of hundreds of elements. Here, we present a scalable, single-shot-per-layer weight-stationary optical processor that leverages the advantages of free-space optics for passive optical copying and large-scale distribution of an input vector and integrated optoelectronics for static, reconfigurable weighting and the nonlinearity. We propose an optimized near-term CMOS-compatible system with $K = 1,000$ and beyond, and we calculate its theoretical total latency ($\sim$10 ns), energy consumption ($\sim$10 fJ/MAC) and throughput ($\sim$petaMAC/s) per layer. We also experimentally test DNN classification accuracy with single-shot analog optical encoding, copying and weighting of the MNIST handwritten digit dataset in a proof-of-concept system, achieving 94.7% (similar to the ground truth accuracy of 96.3%) without retraining on the hardware or data preprocessing. Lastly, we determine the upper bound on throughput of our system ($\sim$0.9 exaMAC/s), set by the maximum optical bandwidth before significant loss of accuracy. This joint use of wide spectral and spatial bandwidths enables highly efficient computing for next-generation DNNs.
Abstract（参考訳）: ディープニューラルネットワーク(DNN)がますます複雑な問題を解決するように成長するにつれ、既存のデジタルプロセッサのレイテンシと消費電力が制限されるようになっている。軽量なアナログ光学・電子ハードウェアは、高価な重み更新を省いてDNNに必要な計算資源を削減するために提案されているが、スケーラビリティは入力ベクトル長が数百ドル程度に制限されている。本稿では,パッシブ光複写のための自由空間光学の利点と,入力ベクトルの大規模分布と,静的で再構成可能な重み付けと非線形性のための集積光エレクトロニクスを生かした,スケーラブルな単層重み付け型光プロセッサを提案する。我々は,K = 1000$以上の最適化された近距離CMOS互換システムを提案し,その理論的総レイテンシ(\sim$10 ns),エネルギー消費(\sim$10 fJ/MAC),スループット(\sim$petaMAC/s)を計算した。また、MNIST手書き桁データセットのシングルショットアナログ光符号化、複写、重み付けによるDNN分類精度を概念実証システムで実験的に検証し、ハードウェアやデータ前処理を再トレーニングすることなく94.7%(地上精度96.3%)を達成した。最後に、精度が大幅に低下する前に、最大光帯域幅によって設定されるシステムのスループット上限($\sim$0.9 testac/s)を決定する。この広帯域帯域と広帯域帯域の併用により、次世代DNNの高効率な計算が可能となる。

関連論文リスト

Synergistic Development of Perovskite Memristors and Algorithms for Robust Analog Computing [53.77822620185878]
本稿では,ペロブスカイト・メムリスタの製作を同時に最適化し,ロバストなアナログDNNを開発するための相乗的手法を提案する。 BO誘導ノイズインジェクションを利用したトレーニング戦略であるBayesMultiを開発した。我々の統合されたアプローチは、より深くより広いネットワークでのアナログコンピューティングの使用を可能にし、最大100倍の改善を実現します。
論文参考訳（メタデータ） (2024-12-03T19:20:08Z)
An Event-Based Digital Compute-In-Memory Accelerator with Flexible Operand Resolution and Layer-Wise Weight/Output Stationarity [0.11522790873450185]
ニューラルネットワーク(SNN)をスパイクするためのCIMアクセラレータは、エッジビジョンアプリケーションにおいて、$mu$sレベルの推論レイテンシと超低エネルギーを可能にする、有望なソリューションである。本稿では,任意のオペランド解像度と形状をサポートするデジタルCIMマクロを提案する。我々のアプローチは、IBM DVSジェスチャデータセットで最先端の分類精度95.8%に達しながら、大規模システムで最大90%のエネルギーを節約できる。
論文参考訳（メタデータ） (2024-10-30T14:55:13Z)
Digital-analog hybrid matrix multiplication processor for optical neural networks [11.171425574890765]
光ニューラルネットワーク(ONN)のためのディジタルアナログハイブリッド光コンピューティングアーキテクチャを提案する。しきい値に基づく論理レベルと決定を導入することにより、計算精度を大幅に向上させることができる。画素誤り率(PER)は18.2dBの信号対雑音比(SNR)で1.8times10-3$以下である。
論文参考訳（メタデータ） (2024-01-26T18:42:57Z)
Real-Time FJ/MAC PDE Solvers via Tensorized, Back-Propagation-Free Optical PINN Training [5.809283001227614]
本稿では,物理インフォームドニューラルネットワーク(PINN)のためのオンチップトレーニングフレームワークを開発する。これは、fJ/MACフォトニック電力消費と超低レイテンシで高次元PDEを解決することを目的としている。これは、高次元PDEを解くために適用可能な、最初のリアルタイム光PINNトレーニングフレームワークである。
論文参考訳（メタデータ） (2023-12-31T07:10:15Z)
Hardware-Aware DNN Compression via Diverse Pruning and Mixed-Precision Quantization [1.0235078178220354]
本稿では, プルーニングと量子化を併用してハードウェアに配慮したディープニューラルネットワーク(DNN)の自動圧縮フレームワークを提案する。われわれのフレームワークはデータセットの平均エネルギー消費量を39%減らし、平均精度損失を1.7%減らし、最先端のアプローチを著しく上回っている。
論文参考訳（メタデータ） (2023-12-23T18:50:13Z)
Pruning random resistive memory for optimizing analogue AI [54.21621702814583]
AIモデルは、エネルギー消費と環境持続可能性に前例のない課題を提示する。有望な解決策の1つは、アナログコンピューティングを再考することである。ここでは、構造的塑性に着想を得たエッジプルーニングを用いたユニバーサルソリューション、ソフトウェア・ハードウエアの共設計について報告する。
論文参考訳（メタデータ） (2023-11-13T08:59:01Z)
RF-Photonic Deep Learning Processor with Shannon-Limited Data Movement [0.0]
光ニューラルネットワーク(ONN)は、超低レイテンシとエネルギー消費を持つ有望な加速器である。我々は、周波数領域のデータを符号化する乗法的アナログ周波数変換ONN(MAFT-ONN)を導入する。我々は、生のRF信号で完全にアナログのディープラーニングを演算する最初のハードウェアアクセラレータを実験的に実証した。
論文参考訳（メタデータ） (2022-07-08T16:37:13Z)
An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
論文参考訳（メタデータ） (2022-01-09T09:31:50Z)
A quantum algorithm for training wide and deep classical neural networks [72.2614468437919]
勾配勾配勾配による古典的トレーサビリティに寄与する条件は、量子線形系を効率的に解くために必要な条件と一致することを示す。 MNIST画像データセットがそのような条件を満たすことを数値的に示す。我々は、プールを用いた畳み込みニューラルネットワークのトレーニングに$O(log n)$の実証的証拠を提供する。
論文参考訳（メタデータ） (2021-07-19T23:41:03Z)
Low-Precision Training in Logarithmic Number System using Multiplicative Weight Update [49.948082497688404]
大規模ディープニューラルネットワーク(DNN)のトレーニングは、現在かなりの量のエネルギーを必要としており、深刻な環境影響をもたらす。エネルギーコストを削減するための有望なアプローチの1つは、DNNを低精度で表現することである。対数数システム(LNS)と乗算重み更新訓練法(LNS-Madam)を併用した低精度トレーニングフレームワークを共同で設計する。
論文参考訳（メタデータ） (2021-06-26T00:32:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。