論文の概要: Monolithic Silicon Photonic Architecture for Training Deep Neural Networks with Direct Feedback Alignment

• arxiv url: http://arxiv.org/abs/2111.06862v1
• Date: Fri, 12 Nov 2021 18:31:51 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-15 15:12:52.676022
• Title: Monolithic Silicon Photonic Architecture for Training Deep Neural Networks with Direct Feedback Alignment
• Title（参考訳）: 直接フィードバックアライメントを用いた深部ニューラルネットワークのトレーニングのためのモノリシックシリコンフォトニックアーキテクチャ
• Authors: Matthew J. Filipovich, Zhimu Guo, Mohammed Al-Qadasi, Bicky A. Marquez, Hugh D. Morison, Volker J. Sorger, Paul R. Prucnal, Sudip Shekhar, and Bhavin J. Shastri
• Abstract要約: CMOS互換シリコンフォトニックアーキテクチャによって実現されたニューラルネットワークのオンチップトレーニングを提案する。 提案手法では,エラーのバックプロパゲーションではなく,エラーフィードバックを用いてニューラルネットワークをトレーニングする,直接フィードバックアライメントトレーニングアルゴリズムを用いる。 オンチップMAC演算結果を用いて,MNISTデータセットを用いたディープニューラルネットワークのトレーニング実験を行った。
• 参考スコア（独自算出の注目度）: 0.6501025489527172
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The field of artificial intelligence (AI) has witnessed tremendous growth in recent years, however some of the most pressing challenges for the continued development of AI systems are the fundamental bandwidth, energy efficiency, and speed limitations faced by electronic computer architectures. There has been growing interest in using photonic processors for performing neural network inference operations, however these networks are currently trained using standard digital electronics. Here, we propose on-chip training of neural networks enabled by a CMOS-compatible silicon photonic architecture to harness the potential for massively parallel, efficient, and fast data operations. Our scheme employs the direct feedback alignment training algorithm, which trains neural networks using error feedback rather than error backpropagation, and can operate at speeds of trillions of multiply-accumulate (MAC) operations per second while consuming less than one picojoule per MAC operation. The photonic architecture exploits parallelized matrix-vector multiplications using arrays of microring resonators for processing multi-channel analog signals along single waveguide buses to calculate the gradient vector of each neural network layer in situ, which is the most computationally expensive operation performed during the backward pass. We also experimentally demonstrate training a deep neural network with the MNIST dataset using on-chip MAC operation results. Our novel approach for efficient, ultra-fast neural network training showcases photonics as a promising platform for executing AI applications.
• Abstract（参考訳）: 人工知能(AI)の分野は近年大きく成長しているが、AIシステムの継続的な開発における最も大きな課題は、電子コンピュータアーキテクチャが直面する基本的な帯域幅、エネルギー効率、速度制限である。 ニューラルネット推論操作にフォトニックプロセッサを使うことへの関心が高まっているが、これらのネットワークは現在、標準的なデジタルエレクトロニクスを使って訓練されている。 本稿では、CMOS互換のシリコンフォトニックアーキテクチャによって実現されたニューラルネットワークのオンチップトレーニングを提案し、超並列、効率的、高速なデータ操作の可能性を利用する。 提案手法では, 誤差バックプロパゲーションではなく, エラーフィードバックを用いてニューラルネットワークをトレーニングし, MAC演算毎に1ピコジュール未満を消費しながら, 1秒間に1兆回の乗算(MAC)演算を行うことができる。 フォトニックアーキテクチャは、単一導波路バスに沿ってマルチチャネルアナログ信号を処理するマイクロリング共振器のアレイを用いた並列化行列-ベクトル乗算を利用して、各ニューラルネットワーク層の勾配ベクトルをin situで計算する。 また、オンチップMAC演算結果を用いて、MNISTデータセットを用いたディープニューラルネットワークのトレーニングを実験的に実施する。 効率的な超高速ニューラルネットワークトレーニングのための新しいアプローチは、フォトニクスをAIアプリケーションを実行するための有望なプラットフォームとして示しています。

関連論文リスト

• Optical training of large-scale Transformers and deep neural networks with direct feedback alignment [48.90869997343841]
  我々は,ハイブリッド電子フォトニックプラットフォーム上で,ダイレクトフィードバックアライメントと呼ばれる多目的でスケーラブルなトレーニングアルゴリズムを実験的に実装した。 光処理ユニットは、このアルゴリズムの中央動作である大規模ランダム行列乗算を最大1500テラOpsで行う。 我々は、ハイブリッド光アプローチの計算スケーリングについて検討し、超深度・広帯域ニューラルネットワークの潜在的な利点を実証する。
  論文  参考訳（メタデータ） (2024-09-01T12:48:47Z)
• Neural Network Methods for Radiation Detectors and Imaging [1.6395318070400589]
  機械学習、特にディープニューラルネットワーク(DNN)の最近の進歩により、放射線検出器や撮像ハードウェアの新たな最適化と性能向上スキームが実現されている。 本稿では、光子源におけるデータ生成の概要、画像処理タスクのためのディープラーニングベースの方法、ディープラーニングアクセラレーションのためのハードウェアソリューションについて述べる。
  論文  参考訳（メタデータ） (2023-11-09T20:21:51Z)
• Neuromorphic analog circuits for robust on-chip always-on learning in spiking neural networks [1.9809266426888898]
  混合信号ニューロモルフィックシステムは、極端コンピューティングタスクを解決するための有望なソリューションである。 彼らのスパイクニューラルネットワーク回路は、連続的にセンサーデータをオンラインに処理するために最適化されている。 我々は,短期的アナログ力学と長期的三状態離散化機構を備えたオンチップ学習回路を設計する。
  論文  参考訳（メタデータ） (2023-07-12T11:14:25Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Training Spiking Neural Networks with Local Tandem Learning [96.32026780517097]
  スパイキングニューラルネットワーク(SNN)は、前者よりも生物学的に可塑性でエネルギー効率が高いことが示されている。 本稿では,局所タンデム学習(Local Tandem Learning, LTL)と呼ばれる一般化学習規則を提案する。 CIFAR-10データセット上の5つのトレーニングエポック内に高速なネットワーク収束を示すとともに,計算複雑性が低い。
  論文  参考訳（メタデータ） (2022-10-10T10:05:00Z)
• Scalable Nanophotonic-Electronic Spiking Neural Networks [3.9918594409417576]
  スパイキングニューラルネットワーク(SNN)は、高度に並列化されたリアルタイム処理が可能な新しい計算パラダイムを提供する。 フォトニックデバイスは、SNN計算パラダイムに適合する高帯域並列アーキテクチャの設計に最適である。 CMOSとSiPhの併用技術はスケーラブルなSNNコンピューティングアーキテクチャの設計に適している。
  論文  参考訳（メタデータ） (2022-08-28T06:10:06Z)
• Large-scale neuromorphic optoelectronic computing with a reconfigurable diffractive processing unit [38.898230519968116]
  回折処理ユニットを構築することにより、光電子再構成可能な計算パラダイムを提案する。 異なるニューラルネットワークを効率的にサポートし、数百万のニューロンで高いモデル複雑性を達成することができる。 市販の光電子部品を用いたプロトタイプシステムは,最先端のグラフィックス処理ユニットの性能を超越している。
  論文  参考訳（メタデータ） (2020-08-26T16:34:58Z)
• Training End-to-End Analog Neural Networks with Equilibrium Propagation [64.0476282000118]
  本稿では,勾配降下による終端から終端までのアナログニューラルネットワークの学習法を提案する。 数学的には、アナログニューラルネットワークのクラス(非線形抵抗性ネットワークと呼ばれる)がエネルギーベースモデルであることが示される。 我々の研究は、オンチップ学習をサポートする、超高速でコンパクトで低消費電力のニューラルネットワークの新世代の開発を導くことができる。
  論文  参考訳（メタデータ） (2020-06-02T23:38:35Z)
• One-step regression and classification with crosspoint resistive memory arrays [62.997667081978825]
  高速で低エネルギーのコンピュータは、エッジでリアルタイム人工知能を実現するために要求されている。 ワンステップ学習は、ボストンの住宅のコスト予測と、MNIST桁認識のための2層ニューラルネットワークのトレーニングによって支援される。 結果は、クロスポイントアレイ内の物理計算、並列計算、アナログ計算のおかげで、1つの計算ステップで得られる。
  論文  参考訳（メタデータ） (2020-05-05T08:00:07Z)
• Deep Learning for Ultra-Reliable and Low-Latency Communications in 6G Networks [84.2155885234293]
  まず,データ駆動型教師付き深層学習と深部強化学習をURLLCに適用する方法を概説する。 このようなオープンな問題に対処するために、デバイスインテリジェンス、エッジインテリジェンス、およびURLLCのためのクラウドインテリジェンスを可能にするマルチレベルアーキテクチャを開発した。
  論文  参考訳（メタデータ） (2020-02-22T14:38:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。