論文の概要: Frequency-Encoded Deep Learning with Speed-of-Light Dominated Latency
- arxiv url: http://arxiv.org/abs/2207.06883v1
- Date: Fri, 8 Jul 2022 16:37:13 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-17 17:01:24.191212
- Title: Frequency-Encoded Deep Learning with Speed-of-Light Dominated Latency
- Title(参考訳): 光速支配遅延を用いた周波数符号化深層学習
- Authors: Ronald Davis III, Zaijun Chen, Ryan Hamerly, and Dirk Englund
- Abstract要約: 本稿では,周波数領域のデータを符号化して行列ベクトル積を単一ショットで計算する乗法的アナログ周波数変換光学ニューラルネットワーク(MAFT-ONN)を提案する。
これは音声や無線信号のような時間波形のアナログ推論に適した最初のハードウェアアクセラレータであり、帯域幅制限スループットと光速制限レイテンシを実現している。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The ability of deep neural networks to perform complex tasks more accurately
than manually-crafted solutions has created a substantial demand for more
complex models processing larger amounts of data. However, the traditional
computing architecture has reached a bottleneck in processing performance due
to data movement from memory to computing. Considerable efforts have been made
towards custom hardware acceleration, among which are optical neural networks
(ONNs). These excel at energy efficient linear operations but struggle with
scalability and the integration of linear and nonlinear functions. Here, we
introduce our multiplicative analog frequency transform optical neural network
(MAFT-ONN) that encodes the data in the frequency domain to compute
matrix-vector products in a single-shot using a single photoelectric
multiplication, and then implements the nonlinear activation for all neurons
using a single electro-optic modulator. We experimentally demonstrate a 3-layer
DNN with our architecture using a simple hardware setup assembled with
commercial components. Additionally, this is the first DNN hardware accelerator
suitable for analog inference of temporal waveforms like voice or radio
signals, achieving bandwidth-limited throughput and speed-of-light limited
latency. Our results demonstrate a highly scalable ONN with a straightforward
path to surpassing the current computing bottleneck, in addition to enabling
new possibilities for high-performance analog deep learning of temporal
waveforms.
- Abstract(参考訳): ディープニューラルネットワークが手作業によるソリューションよりも複雑なタスクを正確に実行する能力は、大量のデータを処理するより複雑なモデルにかなりの需要をもたらしている。
しかし、従来のコンピューティングアーキテクチャは、メモリからコンピューティングへのデータ移動による処理性能のボトルネックに達している。
オプティカルニューラルネットワーク(ONN)を含む、カスタムハードウェアアクセラレーションに向けた重要な取り組みが実施された。
これらはエネルギー効率のよい線形演算に優れているが、拡張性と線形関数と非線形関数の統合に苦しむ。
本稿では、周波数領域内のデータを符号化し、単一光電乗法を用いて単一ショットで行列ベクトル生成物を計算し、単一電気光学変調器を用いて全ニューロンの非線形活性化を実装する乗法アナログ周波数変換光ニューラルネットワーク(maft-onn)を提案する。
商用コンポーネントを組み込んだ単純なハードウェア構成を用いて,アーキテクチャを用いた3層DNNを実験的に実証した。
さらに、これは音声や無線信号のような時間波形のアナログ推論に適した最初のDNNハードウェアアクセラレータであり、帯域幅制限スループットと光速制限レイテンシを実現している。
本結果は,時間波形の高速アナログ深層学習を実現することに加えて,現在の計算ボトルネックを克服するための直接的な経路を持つ,スケーラブルなONNを示す。
関連論文リスト
- ADC/DAC-Free Analog Acceleration of Deep Neural Networks with Frequency
Transformation [2.7488316163114823]
本稿では,アナログ領域の周波数ベーステンソル変換を用いた周波数領域ニューラルネットワークのエネルギー効率向上手法を提案する。
提案手法は,変換行列のトレーニング可能なパラメータを不要にすることで,よりコンパクトなセルを実現する。
16$times$16のクロスバーで8ビット入力処理を行い,Watt当たりの1602テラ演算のエネルギー効率を実現する。
論文 参考訳(メタデータ) (2023-09-04T19:19:39Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳(メタデータ) (2022-11-19T15:44:08Z) - NAF: Neural Attenuation Fields for Sparse-View CBCT Reconstruction [79.13750275141139]
本稿では,スパースビューCBCT再構成のための新規かつ高速な自己教師型ソリューションを提案する。
所望の減衰係数は、3次元空間座標の連続関数として表現され、完全に接続されたディープニューラルネットワークによってパラメータ化される。
ハッシュ符号化を含む学習ベースのエンコーダが採用され、ネットワークが高周波の詳細をキャプチャするのに役立つ。
論文 参考訳(メタデータ) (2022-09-29T04:06:00Z) - Braille Letter Reading: A Benchmark for Spatio-Temporal Pattern
Recognition on Neuromorphic Hardware [50.380319968947035]
近年の深層学習手法は,そのようなタスクにおいて精度が向上しているが,従来の組込みソリューションへの実装は依然として計算量が非常に高く,エネルギーコストも高い。
文字読み込みによるエッジにおける触覚パターン認識のための新しいベンチマークを提案する。
フィードフォワードとリカレントスパイキングニューラルネットワーク(SNN)を、サロゲート勾配の時間によるバックプロパゲーションを用いてオフラインでトレーニングし比較し、効率的な推論のためにIntel Loihimorphicチップにデプロイした。
LSTMは14%の精度で繰り返しSNNより優れており、Loihi上での繰り返しSNNは237倍のエネルギーである。
論文 参考訳(メタデータ) (2022-05-30T14:30:45Z) - DNN Training Acceleration via Exploring GPGPU Friendly Sparsity [16.406482603838157]
本稿では、従来のランダムなニューロンやシナプスのドロップアウトを、通常のオンラインの行ベースもしくはタイルベースのドロップアウトパターンに置き換える近似ランダムドロップアウトを提案する。
次に,SGDに基づく探索アルゴリズムを開発し,行ベースあるいはタイルベースのドロップアウトパターンの分布を生成し,潜在的な精度損失を補う。
また,入力特徴図をその感度に基づいて動的にドロップアウトし,前向きおよび後向きのトレーニングアクセラレーションを実現するための感度対応ドロップアウト手法を提案する。
論文 参考訳(メタデータ) (2022-03-11T01:32:03Z) - FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。
この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。
分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
論文 参考訳(メタデータ) (2022-01-18T13:59:22Z) - Batch Processing and Data Streaming Fourier-based Convolutional Neural
Network Accelerator [4.7257913147626995]
ナビゲーション、トラッキング、リアルタイムマシンアクションシステムなど、多数のアプリケーションにおいて、最小レイテンシの人工ニューラルネットワークによる決定が最重要である。
これにより、機械学習ハードウェアは、高いスループットで多次元データを処理する必要がある。
本稿では,Fourier Convolutional Neural Network(FCNN)アクセラレータを用いた,ニューマンベースではない機械学習アクセラレーションを実演する。
論文 参考訳(メタデータ) (2021-12-23T01:06:17Z) - Monolithic Silicon Photonic Architecture for Training Deep Neural
Networks with Direct Feedback Alignment [0.6501025489527172]
CMOS互換シリコンフォトニックアーキテクチャによって実現されたニューラルネットワークのオンチップトレーニングを提案する。
提案手法では,エラーのバックプロパゲーションではなく,エラーフィードバックを用いてニューラルネットワークをトレーニングする,直接フィードバックアライメントトレーニングアルゴリズムを用いる。
オンチップMAC演算結果を用いて,MNISTデータセットを用いたディープニューラルネットワークのトレーニング実験を行った。
論文 参考訳(メタデータ) (2021-11-12T18:31:51Z) - Learning Frequency-aware Dynamic Network for Efficient Super-Resolution [56.98668484450857]
本稿では、離散コサイン変換(dct)領域の係数に応じて入力を複数の部分に分割する新しい周波数認識動的ネットワークについて検討する。
実際、高周波部は高価な操作で処理され、低周波部は計算負荷を軽減するために安価な操作が割り当てられる。
ベンチマークSISRモデルおよびデータセット上での実験は、周波数認識動的ネットワークが様々なSISRニューラルネットワークに使用できることを示している。
論文 参考訳(メタデータ) (2021-03-15T12:54:26Z) - Knowledge Distillation Circumvents Nonlinearity for Optical
Convolutional Neural Networks [4.683612295430957]
本稿では、スペクトルCNN線形カウンタ部(SCLC)ネットワークアーキテクチャを提案し、非線形性の必要性を回避するための知識蒸留(KD)アプローチを開発する。
KDアプローチは、CNNの標準線形バージョンを簡単に上回るパフォーマンスを達成し、非線形ネットワークのパフォーマンスに近づくことができることを示しています。
論文 参考訳(メタデータ) (2021-02-26T06:35:34Z) - One-step regression and classification with crosspoint resistive memory
arrays [62.997667081978825]
高速で低エネルギーのコンピュータは、エッジでリアルタイム人工知能を実現するために要求されている。
ワンステップ学習は、ボストンの住宅のコスト予測と、MNIST桁認識のための2層ニューラルネットワークのトレーニングによって支援される。
結果は、クロスポイントアレイ内の物理計算、並列計算、アナログ計算のおかげで、1つの計算ステップで得られる。
論文 参考訳(メタデータ) (2020-05-05T08:00:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。