論文の概要: Integrated multi-operand optical neurons for scalable and hardware-efficient deep learning

• arxiv url: http://arxiv.org/abs/2305.19592v1
• Date: Wed, 31 May 2023 06:25:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-01 18:08:07.678675
• Title: Integrated multi-operand optical neurons for scalable and hardware-efficient deep learning
• Title（参考訳）: スケーラブルでハードウェア効率の良い深層学習のための集積多動作光ニューロン
• Authors: Chenghao Feng, Jiaqi Gu, Hanqing Zhu, Rongxing Tang, Shupeng Ning, May Hlaing, Jason Midkiff, Sourabh Jain, David Z. Pan, Ray T. Chen
• Abstract要約: この研究は、カスタマイズされたマルチオペランドフォトニックデバイスに基づくスケーラブルで効率的な光学ドット生成エンジンを提案する。 画像認識におけるマルチオペランドMach-Zehnder-Interferometer (MOMZI) を用いたMOONの有用性を実験的に実証した。
• 参考スコア（独自算出の注目度）: 10.157562103034
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The optical neural network (ONN) is a promising hardware platform for next-generation neuromorphic computing due to its high parallelism, low latency, and low energy consumption. However, previous integrated photonic tensor cores (PTCs) consume numerous single-operand optical modulators for signal and weight encoding, leading to large area costs and high propagation loss to implement large tensor operations. This work proposes a scalable and efficient optical dot-product engine based on customized multi-operand photonic devices, namely multi-operand optical neurons (MOON). We experimentally demonstrate the utility of a MOON using a multi-operand-Mach-Zehnder-interferometer (MOMZI) in image recognition tasks. Specifically, our MOMZI-based ONN achieves a measured accuracy of 85.89% in the street view house number (SVHN) recognition dataset with 4-bit voltage control precision. Furthermore, our performance analysis reveals that a 128x128 MOMZI-based PTCs outperform their counterparts based on single-operand MZIs by one to two order-of-magnitudes in propagation loss, optical delay, and total device footprint, with comparable matrix expressivity.
• Abstract（参考訳）: optical neural network (onn)は、高並列性、低レイテンシ、低エネルギー消費のため、次世代ニューロモルフィックコンピューティングのための有望なハードウェアプラットフォームである。 しかし、従来の集積フォトニックテンソルコア(PTC)は信号と重み付けのために多数の単一動作光変調器を消費し、大きな面積のコストと大きなテンソル演算を実装するために高い伝搬損失をもたらす。 本研究は,マルチオペラント光デバイス,すなわちマルチオペラント光ニューロン(MOON)に基づく,スケーラブルで効率的な光ドット生成エンジンを提案する。 画像認識におけるマルチオペランドMach-Zehnder-Interferometer (MOMZI) を用いたMOONの有用性を実験的に実証した。 具体的には、4ビットの電圧制御精度を持つストリートビューハウス数(SVHN)認識データセットにおいて、MOMZIベースのONNは85.89%の精度を達成している。 さらに,128×128 MOMZIをベースとしたPSCは,伝搬損失,光遅延,デバイス全体のフットプリントを1～2桁のMZIで比較し,行列表現率に匹敵する性能を示した。

関連論文リスト

• Neuromorphic Wireless Split Computing with Multi-Level Spikes [69.73249913506042]
  ニューロモルフィックコンピューティングでは、スパイクニューラルネットワーク(SNN)が推論タスクを実行し、シーケンシャルデータを含むワークロードの大幅な効率向上を提供する。 ハードウェアとソフトウェアの最近の進歩は、スパイクニューロン間で交換された各スパイクに数ビットのペイロードを埋め込むことにより、推論精度をさらに高めることを示した。 本稿では,マルチレベルSNNを用いた無線ニューロモルフィック分割計算アーキテクチャについて検討する。
  論文  参考訳（メタデータ） (2024-11-07T14:08:35Z)
• Optical training of large-scale Transformers and deep neural networks with direct feedback alignment [48.90869997343841]
  我々は,ハイブリッド電子フォトニックプラットフォーム上で,ダイレクトフィードバックアライメントと呼ばれる多目的でスケーラブルなトレーニングアルゴリズムを実験的に実装した。 光処理ユニットは、このアルゴリズムの中央動作である大規模ランダム行列乗算を最大1500テラOpsで行う。 我々は、ハイブリッド光アプローチの計算スケーリングについて検討し、超深度・広帯域ニューラルネットワークの潜在的な利点を実証する。
  論文  参考訳（メタデータ） (2024-09-01T12:48:47Z)
• 1-bit Quantized On-chip Hybrid Diffraction Neural Network Enabled by Authentic All-optical Fully-connected Architecture [4.594367761345624]
  本研究では,行列乗算をDNNに組み込んだ新しいアーキテクチャであるHybrid Diffraction Neural Network(HDNN)を紹介する。 特異位相変調層と振幅変調層を用いて、トレーニングされたニューラルネットワークは、数字認識タスクにおいて96.39%と89%の顕著な精度を示した。
  論文  参考訳（メタデータ） (2024-04-11T02:54:17Z)
• Single Neuromorphic Memristor closely Emulates Multiple Synaptic Mechanisms for Energy Efficient Neural Networks [71.79257685917058]
  我々はこれらのシナプス機能を本質的にエミュレートするSrTiO3に基づく膜状ナノデバイスを実証する。 これらのメムリスタは、安定かつエネルギー効率の良い運転を可能にする非定常低導電系で機能する。
  論文  参考訳（メタデータ） (2024-02-26T15:01:54Z)
• TeMPO: Efficient Time-Multiplexed Dynamic Photonic Tensor Core for Edge AI with Compact Slow-Light Electro-Optic Modulator [44.74560543672329]
  我々は,TMPOと呼ばれる時間多重化動的フォトニックテンソルアクセラレータを,クロス層デバイス/回路/アーキテクチャのカスタマイズにより提案する。 我々は,368.6TOPSピーク性能,22.3TOPS/Wエネルギー効率,1.2TOPS/mm$2$計算密度を実現した。 この研究は、多層共設計とドメイン固有のカスタマイズの力を示し、将来の電子フォトニクス加速器への道を開く。
  論文  参考訳（メタデータ） (2024-02-12T03:40:32Z)
• EPIM: Efficient Processing-In-Memory Accelerators based on Epitome [78.79382890789607]
  畳み込みのような機能を提供する軽量神経オペレータであるEpitomeを紹介する。 ソフトウェア側では,PIMアクセラレータ上でのエピトームのレイテンシとエネルギを評価する。 ハードウェア効率を向上させるため,PIM対応層設計手法を提案する。
  論文  参考訳（メタデータ） (2023-11-12T17:56:39Z)
• Free-Space Optical Spiking Neural Network [0.0]
  自由空間光深絞り畳み込みニューラルネットワーク(OSCNN)について紹介する。 この手法は人間の眼の計算モデルからインスピレーションを得ている。 以上の結果から,電子的ONNと比較して,レイテンシと消費電力を最小に抑えた有望な性能を示す。
  論文  参考訳（メタデータ） (2023-11-08T09:41:14Z)
• Physics-aware Differentiable Discrete Codesign for Diffractive Optical Neural Networks [12.952987240366781]
  本研究は,Diffractive Optical Neural Network (DONN) の効率的なトレーニングを可能にする,新しいデバイス間ハードウェア・ソフトウェア符号フレームワークを提案する。 Gumbel-Softmaxは、現実世界のデバイスパラメータからDONNの前方関数への微分可能な離散マッピングを可能にするために使用される。 その結果,提案手法は従来の量子化法に比べて大きな利点があることがわかった。
  論文  参考訳（メタデータ） (2022-09-28T17:13:28Z)
• Single-Shot Optical Neural Network [55.41644538483948]
  深層ニューラルネットワークに必要な計算資源を削減するために,「重定常」アナログ光学・電子ハードウェアが提案されている。 我々は、スケーラブルで1層当たり単発の重み付き光学プロセッサを提案する。
  論文  参考訳（メタデータ） (2022-05-18T17:49:49Z)
• ELight: Enabling Efficient Photonic In-Memory Neurocomputing with Life Enhancement [10.05922296357776]
  本研究では,高効率で信頼性の高い光インメモリニューロコンピューティングのための書込み作業を最小化するために,シナジスティック最適化フレームワークであるELightを提案する。 まず,重みブロック間の類似性を助長する書き込み認識学習を提案し,冗長な書き込みを排除してプログラミングの労力を削減するためのポストトレーニング最適化手法と組み合わせた。 実験によると、ELightは書き込み数と動的パワーの合計を20倍以上に削減できる。
  論文  参考訳（メタデータ） (2021-12-15T22:37:24Z)
• Rapid characterisation of linear-optical networks via PhaseLift [51.03305009278831]
  集積フォトニクスは優れた位相安定性を提供し、半導体産業によって提供される大規模な製造性に依存することができる。 このような光回路に基づく新しいデバイスは、機械学習アプリケーションにおいて高速でエネルギー効率の高い計算を約束する。 線形光ネットワークの転送行列を再構成する新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-10-01T16:04:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。