論文の概要: ELight: Enabling Efficient Photonic In-Memory Neurocomputing with Life Enhancement

• arxiv url: http://arxiv.org/abs/2112.08512v1
• Date: Wed, 15 Dec 2021 22:37:24 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-17 16:57:30.766097
• Title: ELight: Enabling Efficient Photonic In-Memory Neurocomputing with Life Enhancement
• Title（参考訳）: ELight: 生活改善を伴う高効率フォトニックインメモリニューロコンピューティングの実現
• Authors: Hanqing Zhu, Jiaqi Gu, Chenghao Feng, Mingjie Liu, Zixuan Jiang, Ray T. Chen, and David Z. Pan
• Abstract要約: 本研究では,高効率で信頼性の高い光インメモリニューロコンピューティングのための書込み作業を最小化するために,シナジスティック最適化フレームワークであるELightを提案する。 まず,重みブロック間の類似性を助長する書き込み認識学習を提案し,冗長な書き込みを排除してプログラミングの労力を削減するためのポストトレーニング最適化手法と組み合わせた。 実験によると、ELightは書き込み数と動的パワーの合計を20倍以上に削減できる。
• 参考スコア（独自算出の注目度）: 10.05922296357776
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the recent advances in optical phase change material (PCM), photonic in-memory neurocomputing has demonstrated its superiority in optical neural network (ONN) designs with near-zero static power consumption, time-of-light latency, and compact footprint. However, photonic tensor cores require massive hardware reuse to implement large matrix multiplication due to the limited single-core scale. The resultant large number of PCM writes leads to serious dynamic power and overwhelms the fragile PCM with limited write endurance. In this work, we propose a synergistic optimization framework, ELight, to minimize the overall write efforts for efficient and reliable optical in-memory neurocomputing. We first propose write-aware training to encourage the similarity among weight blocks, and combine it with a post-training optimization method to reduce programming efforts by eliminating redundant writes. Experiments show that ELight can achieve over 20X reduction in the total number of writes and dynamic power with comparable accuracy. With our ELight, photonic in-memory neurocomputing will step forward towards viable applications in machine learning with preserved accuracy, order-of-magnitude longer lifetime, and lower programming energy.
• Abstract（参考訳）: 近年の光位相変化材料(PCM)の進歩により、フォトニックインメモリニューロコンピューティングは、ほぼゼロに近い静的電力消費、時間差、コンパクトフットプリントを備えた光ニューラルネットワーク(ONN)設計において、その優位性を示している。 しかし、フォトニックテンソルコアは、単一コアスケールの制限により大きな行列乗算を実装するために、大規模なハードウェア再利用を必要とする。 その結果、大量のPCM書き込みが深刻な動的パワーをもたらし、書き込み持続時間に制限のある脆弱なPCMを圧倒する。 本研究では,効率良く信頼性の高い光インメモリニューロコンピューティングのための書き込み作業全体の最小化を目的とした,相乗的最適化フレームワークelightを提案する。 まず,重み付きブロック間の類似性を促進するためのライトアウェアトレーニングを提案し,冗長な書き込みを除去してプログラミング作業を削減するポストトレーニング最適化手法と組み合わせる。 実験の結果、elightは書き込み数と動的パワーの合計を20倍以上削減できることがわかった。 ELightによって、フォトニックインメモリのニューロコンピューティングは、保存された精度、長寿命のオーダー、プログラミングエネルギーの低い機械学習における実行可能な応用に向けて前進する。

関連論文リスト

• Optical training of large-scale Transformers and deep neural networks with direct feedback alignment [48.90869997343841]
  我々は,ハイブリッド電子フォトニックプラットフォーム上で,ダイレクトフィードバックアライメントと呼ばれる多目的でスケーラブルなトレーニングアルゴリズムを実験的に実装した。 光処理ユニットは、このアルゴリズムの中央動作である大規模ランダム行列乗算を最大1500テラOpsで行う。 我々は、ハイブリッド光アプローチの計算スケーリングについて検討し、超深度・広帯域ニューラルネットワークの潜在的な利点を実証する。
  論文  参考訳（メタデータ） (2024-09-01T12:48:47Z)
• Efficient and accurate neural field reconstruction using resistive memory [52.68088466453264]
  デジタルコンピュータにおける従来の信号再構成手法は、ソフトウェアとハードウェアの両方の課題に直面している。 本稿では,スパース入力からの信号再構成のためのソフトウェア・ハードウェア協調最適化を用いた体系的アプローチを提案する。 この研究は、AI駆動の信号復元技術を進歩させ、将来の効率的で堅牢な医療AIと3Dビジョンアプリケーションへの道を開く。
  論文  参考訳（メタデータ） (2024-04-15T09:33:09Z)
• Single Neuromorphic Memristor closely Emulates Multiple Synaptic Mechanisms for Energy Efficient Neural Networks [71.79257685917058]
  我々はこれらのシナプス機能を本質的にエミュレートするSrTiO3に基づく膜状ナノデバイスを実証する。 これらのメムリスタは、安定かつエネルギー効率の良い運転を可能にする非定常低導電系で機能する。
  論文  参考訳（メタデータ） (2024-02-26T15:01:54Z)
• TeMPO: Efficient Time-Multiplexed Dynamic Photonic Tensor Core for Edge AI with Compact Slow-Light Electro-Optic Modulator [44.74560543672329]
  我々は,TMPOと呼ばれる時間多重化動的フォトニックテンソルアクセラレータを,クロス層デバイス/回路/アーキテクチャのカスタマイズにより提案する。 我々は,368.6TOPSピーク性能,22.3TOPS/Wエネルギー効率,1.2TOPS/mm$2$計算密度を実現した。 この研究は、多層共設計とドメイン固有のカスタマイズの力を示し、将来の電子フォトニクス加速器への道を開く。
  論文  参考訳（メタデータ） (2024-02-12T03:40:32Z)
• Full-Stack Optimization for CAM-Only DNN Inference [2.0837295518447934]
  本稿では,3次重み付けニューラルネットワークと連想プロセッサのアルゴリズム最適化の組み合わせについて検討する。 演算強度を低減し,APの畳み込みを最適化する新しいコンパイルフローを提案する。 本研究では,イメージネット上でのResNet-18推論のエネルギー効率を,クロスバーメモリアクセラレータと比較して7.5倍向上させる。
  論文  参考訳（メタデータ） (2024-01-23T10:27:38Z)
• Random resistive memory-based deep extreme point learning machine for unified visual processing [67.51600474104171]
  ハードウェア・ソフトウェア共同設計型, ランダム抵抗型メモリベース深部極点学習マシン(DEPLM)を提案する。 我々の共同設計システムは,従来のシステムと比較して,エネルギー効率の大幅な向上とトレーニングコストの削減を実現している。
  論文  参考訳（メタデータ） (2023-12-14T09:46:16Z)
• EPIM: Efficient Processing-In-Memory Accelerators based on Epitome [78.79382890789607]
  畳み込みのような機能を提供する軽量神経オペレータであるEpitomeを紹介する。 ソフトウェア側では,PIMアクセラレータ上でのエピトームのレイテンシとエネルギを評価する。 ハードウェア効率を向上させるため,PIM対応層設計手法を提案する。
  論文  参考訳（メタデータ） (2023-11-12T17:56:39Z)
• Integrated multi-operand optical neurons for scalable and hardware-efficient deep learning [10.157562103034]
  この研究は、カスタマイズされたマルチオペランドフォトニックデバイスに基づくスケーラブルで効率的な光学ドット生成エンジンを提案する。 画像認識におけるマルチオペランドMach-Zehnder-Interferometer (MOMZI) を用いたMOONの有用性を実験的に実証した。
  論文  参考訳（メタデータ） (2023-05-31T06:25:39Z)
• Single-Shot Optical Neural Network [55.41644538483948]
  深層ニューラルネットワークに必要な計算資源を削減するために,「重定常」アナログ光学・電子ハードウェアが提案されている。 我々は、スケーラブルで1層当たり単発の重み付き光学プロセッサを提案する。
  論文  参考訳（メタデータ） (2022-05-18T17:49:49Z)
• Silicon photonic subspace neural chip for hardware-efficient deep learning [11.374005508708995]
  光ニューラルネットワーク(ONN)は次世代のニューロコンピューティングの候補として期待されている。 ハードウェア効率の良いフォトニックサブスペースニューラルネットワークアーキテクチャを考案する。 我々は,バタフライ型プログラマブルシリコンフォトニック集積回路上でPSNNを実験的に実証した。
  論文  参考訳（メタデータ） (2021-11-11T06:34:05Z)
• Efficient On-Chip Learning for Optical Neural Networks Through Power-Aware Sparse Zeroth-Order Optimization [12.052076188811052]
  光ニューラルネットワーク(ONN)は、ニューロモルフィックコンピューティングにおける記録破りの可能性を示した。 我々は,パワー効率向上のためのONNの潜在能力を最大限に発揮するための,新しいオンチップ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-12-21T07:00:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。