論文の概要: Quantum-limited stochastic optical neural networks operating at a few quanta per activation

• arxiv url: http://arxiv.org/abs/2307.15712v2
• Date: Mon, 03 Feb 2025 17:23:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 14:56:07.820225
• Title: Quantum-limited stochastic optical neural networks operating at a few quanta per activation
• Title（参考訳）: アクティベーション当たり数量子で動作する量子制限確率光学ニューラルネットワーク
• Authors: Shi-Yuan Ma, Tianyu Wang, Jérémie Laydevant, Logan G. Wright, Peter L. McMahon,
• Abstract要約: 計算におけるエネルギー効率は最終的にノイズによって制限され、量子制限は基本的なノイズフロアを設定する。 我々は、各ニューロンを1つの光子で活性化できる限界において、最後の層を除くすべての層が作動する光学ニューラルネットワークについて研究する。 トレーニングにおけるニューロン活性化の物理モデルを用いて、極めて高いショットノイズにもかかわらず、正確な機械学習推論を行うことができることを示す。
• 参考スコア（独自算出の注目度）: 6.12660587056967
• License:
• Abstract: Energy efficiency in computation is ultimately limited by noise, with quantum limits setting the fundamental noise floor. Analog physical neural networks hold promise for improved energy efficiency compared to digital electronic neural networks. However, they are typically operated in a relatively high-power regime so that the signal-to-noise ratio (SNR) is large, and the noise can be treated as a perturbation. We study optical neural networks where all layers except the last are operated in the limit that each neuron can be activated by just a single photon, and as a result the noise on neuron activations is no longer merely perturbative. We show that by using a physics-based probabilistic model of the neuron activations in training, it is possible to perform accurate machine-learning inference in spite of the extremely high shot noise (SNR ~ 1). We experimentally demonstrated MNIST handwritten-digit classification with a test accuracy of 98% using an optical neural network with a hidden layer operating in the single-photon regime; the optical energy used to perform the classification corresponds to just 0.038 photons per multiply-accumulate (MAC) operation. Our physics-aware stochastic training approach might also prove useful with non-optical ultra-low-power hardware.
• Abstract（参考訳）: 計算におけるエネルギー効率は最終的にノイズによって制限され、量子制限は基本的なノイズフロアを設定する。 アナログ物理ニューラルネットワークは、デジタル電子ニューラルネットワークと比較してエネルギー効率の向上を約束している。 しかし、通常は比較的高出力な状態で運用されており、信号対雑音比(SNR)が大きく、ノイズを摂動として扱うことができる。 我々は、各ニューロンが1つの光子で活性化できる限界において、最後の層を除く全ての層が作動する光学ニューラルネットワークを研究し、その結果、ニューロンの活性化に対するノイズは単に摂動的ではない。 トレーニングにおけるニューロン活性化の物理モデルを用いて、非常に高いショットノイズ(SNR ~ 1)にもかかわらず、正確な機械学習推論を行うことができることを示す。 我々は,MNISTの手書きデジタル分類の精度を98%の精度で実験的に実証した。この分類に使用される光エネルギーは,乗算累積 (MAC) 当たり0.038光子程度である。 物理を意識した確率的トレーニングアプローチは、光学的でない超低消費電力ハードウェアでも有効である。

関連論文リスト

• A spiking photonic neural network of 40.000 neurons, trained with rank-order coding for leveraging sparsity [0.0]
  市販部品を用いた4万個のニューロンからなるフォトニックニューラルネットワーク(SNN)を提案する。 このネットワークは22%のニューロンを用いてMNISTで83.5%の精度を達成し、8.5%のニューロン利用で77.5%を達成している。 このデモンストレーションはフォトニック非線形性、励起性、スパース計算を統合し、より効率的な大規模フォトニックニューロモルフィックシステムを実現する。
  論文  参考訳（メタデータ） (2024-11-28T15:28:30Z)
• Optical training of large-scale Transformers and deep neural networks with direct feedback alignment [48.90869997343841]
  我々は,ハイブリッド電子フォトニックプラットフォーム上で,ダイレクトフィードバックアライメントと呼ばれる多目的でスケーラブルなトレーニングアルゴリズムを実験的に実装した。 光処理ユニットは、このアルゴリズムの中央動作である大規模ランダム行列乗算を最大1500テラOpsで行う。 我々は、ハイブリッド光アプローチの計算スケーリングについて検討し、超深度・広帯域ニューラルネットワークの潜在的な利点を実証する。
  論文  参考訳（メタデータ） (2024-09-01T12:48:47Z)
• Expressivity of Neural Networks with Random Weights and Learned Biases [44.02417750529102]
  最近の研究は、任意の関数がパラメータの小さな部分集合をチューニングすることによって同様に学習できることを示し、普遍近似の境界を推し進めている。 ランダムな重みを固定したフィードフォワードニューラルネットワークが、バイアスのみを学習することによって複数のタスクを実行することができることを示す理論的および数値的なエビデンスを提供する。 我々の結果は神経科学に関係しており、シナプスの重みを変えることなく動的に行動に関連のある変化が起こる可能性を実証している。
  論文  参考訳（メタデータ） (2024-07-01T04:25:49Z)
• Single Neuromorphic Memristor closely Emulates Multiple Synaptic Mechanisms for Energy Efficient Neural Networks [71.79257685917058]
  我々はこれらのシナプス機能を本質的にエミュレートするSrTiO3に基づく膜状ナノデバイスを実証する。 これらのメムリスタは、安定かつエネルギー効率の良い運転を可能にする非定常低導電系で機能する。
  論文  参考訳（メタデータ） (2024-02-26T15:01:54Z)
• All-optical modulation with single-photons using electron avalanche [69.65384453064829]
  単光子強度ビームを用いた全光変調の実証を行った。 本稿では,テラヘルツ高速光スイッチングの可能性を明らかにする。
  論文  参考訳（メタデータ） (2023-12-18T20:14:15Z)
• Spatially Varying Nanophotonic Neural Networks [39.1303097259564]
  電子の代わりに光子を使った演算を実行するフォトニックプロセッサは、超低レイテンシと消費電力で光ニューラルネットワークを実現することを約束する。 既存の光学ニューラルネットワークは、基礎となるネットワーク設計によって制限されており、最先端の電子ニューラルネットワークよりもはるかに低い画像認識精度を実現している。
  論文  参考訳（メタデータ） (2023-08-07T08:48:46Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Single-Shot Optical Neural Network [55.41644538483948]
  深層ニューラルネットワークに必要な計算資源を削減するために,「重定常」アナログ光学・電子ハードウェアが提案されている。 我々は、スケーラブルで1層当たり単発の重み付き光学プロセッサを提案する。
  論文  参考訳（メタデータ） (2022-05-18T17:49:49Z)
• Resonant tunnelling diode nano-optoelectronic spiking nodes for neuromorphic information processing [0.0]
  超高速かつ低消費電力で動作可能な光電子人工ニューロンを提案する。 提案システムは、励起可能なトンネルダイオード(RTD)素子とナノスケール光源を組み合わせたものである。
  論文  参考訳（メタデータ） (2021-07-14T14:11:04Z)
• An optical neural network using less than 1 photon per multiplication [4.003843776219224]
  手書き桁分類において99%の精度を達成する光ニューラルネットワークを実験的に実証した。 この性能は、カスタム自由空間光学プロセッサを使用して達成された。 私達の結果は低光力操作のための原則を提供します。
  論文  参考訳（メタデータ） (2021-04-27T20:43:23Z)
• All-optical neural network quantum state tomography [0.39146761527401414]
  我々は、オールオプティカルニューラルネットワーク(AONN)に基づいて、ニューラルネットワークQSTのための統合されたオールオプティカルセットアップを構築する。 実験結果は全光学装置の有効性と効率を実証した。 統合されたAONN-QSTのオール光学構成は、最後のレンガで全光学量子ネットワークを補充することに光を当てるかもしれない。
  論文  参考訳（メタデータ） (2021-03-11T04:43:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。