論文の概要: Quantum-noise-limited optical neural networks operating at a few quanta per activation

• arxiv url: http://arxiv.org/abs/2307.15712v1
• Date: Fri, 28 Jul 2023 17:59:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-31 11:47:07.300465
• Title: Quantum-noise-limited optical neural networks operating at a few quanta per activation
• Title（参考訳）: アクティベーション当たり数量子で動作する量子ノイズ制限型光ニューラルネットワーク
• Authors: Shi-Yuan Ma, Tianyu Wang, J\'er\'emie Laydevant, Logan G. Wright and Peter L. McMahon
• Abstract要約: 我々は,光学ニューラルネットワークを訓練し,決定論的画像分類タスクを高精度に行うことができることを示す。 単一光子系で動作する隠蔽層を有する光ニューラルネットワークを用いて, 試験精度98%のMNIST分類を実験的に実証した。
• 参考スコア（独自算出の注目度）: 5.494796517705931
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Analog physical neural networks, which hold promise for improved energy efficiency and speed compared to digital electronic neural networks, are nevertheless typically operated in a relatively high-power regime so that the signal-to-noise ratio (SNR) is large (>10). What happens if an analog system is instead operated in an ultra-low-power regime, in which the behavior of the system becomes highly stochastic and the noise is no longer a small perturbation on the signal? In this paper, we study this question in the setting of optical neural networks operated in the limit where some layers use only a single photon to cause a neuron activation. Neuron activations in this limit are dominated by quantum noise from the fundamentally probabilistic nature of single-photon detection of weak optical signals. We show that it is possible to train stochastic optical neural networks to perform deterministic image-classification tasks with high accuracy in spite of the extremely high noise (SNR ~ 1) by using a training procedure that directly models the stochastic behavior of photodetection. We experimentally demonstrated MNIST classification with a test accuracy of 98% using an optical neural network with a hidden layer operating in the single-photon regime; the optical energy used to perform the classification corresponds to 0.008 photons per multiply-accumulate (MAC) operation, which is equivalent to 0.003 attojoules of optical energy per MAC. Our experiment used >40x fewer photons per inference than previous state-of-the-art low-optical-energy demonstrations, to achieve the same accuracy of >90%. Our work shows that some extremely stochastic analog systems, including those operating in the limit where quantum noise dominates, can nevertheless be used as layers in neural networks that deterministically perform classification tasks with high accuracy if they are appropriately trained.
• Abstract（参考訳）: アナログ物理ニューラルネットワークは、デジタル電子ニューラルネットワークと比較してエネルギー効率と速度の向上を約束するが、通常、信号対雑音比(SNR)が大きくなるように、比較的高出力な状態で運用される(>10)。 アナログシステムの動作が高度に確率的になり、ノイズが信号の小さな摂動ではないような、超低消費電力のシステムで操作されたらどうなるのか? 本稿では,ある層が単一光子のみを用いてニューロンを活性化させる極限で動作する光ニューラルネットワークの設定において,この問題を考察する。 この限界におけるニューロンの活性化は、弱い光信号の単一光子検出の根本的な確率的性質から生じる量子ノイズによって支配される。 超高ノイズ(snr~1)にもかかわらず、光検出の確率的振舞いを直接モデル化する訓練手順を用いて、確率的光ニューラルネットワークを高い精度で決定論的画像分類タスクに訓練することが可能であることを示す。 単一光子系で動作する隠蔽層を有する光ニューラルネットワークを用いて,テスト精度98%のMNIST分類を実験的に実証し,その分類に使用する光エネルギーは,光エネルギー0.003 attojoules per MAC(MAC)演算あたり0.008 Photonsに相当することを示した。 実験では、従来の低光エネルギー実験よりも40倍少ない光子を用いて、90%の精度を実現した。 我々の研究は、量子ノイズが支配する極限で動作しているものを含む、非常に確率的なアナログシステムが、適切な訓練を受けた場合、決定的に高い精度で分類タスクを実行するニューラルネットワークの層として使用できることを示している。

関連論文リスト

• A spiking photonic neural network of 40.000 neurons, trained with rank-order coding for leveraging sparsity [0.0]
  市販部品を用いた4万個のニューロンからなるフォトニックニューラルネットワーク(SNN)を提案する。 このネットワークは22%のニューロンを用いてMNISTで83.5%の精度を達成し、8.5%のニューロン利用で77.5%を達成している。 このデモンストレーションはフォトニック非線形性、励起性、スパース計算を統合し、より効率的な大規模フォトニックニューロモルフィックシステムを実現する。
  論文  参考訳（メタデータ） (2024-11-28T15:28:30Z)
• Optical training of large-scale Transformers and deep neural networks with direct feedback alignment [48.90869997343841]
  我々は,ハイブリッド電子フォトニックプラットフォーム上で,ダイレクトフィードバックアライメントと呼ばれる多目的でスケーラブルなトレーニングアルゴリズムを実験的に実装した。 光処理ユニットは、このアルゴリズムの中央動作である大規模ランダム行列乗算を最大1500テラOpsで行う。 我々は、ハイブリッド光アプローチの計算スケーリングについて検討し、超深度・広帯域ニューラルネットワークの潜在的な利点を実証する。
  論文  参考訳（メタデータ） (2024-09-01T12:48:47Z)
• Expressivity of Neural Networks with Random Weights and Learned Biases [44.02417750529102]
  最近の研究は、任意の関数がパラメータの小さな部分集合をチューニングすることによって同様に学習できることを示し、普遍近似の境界を推し進めている。 ランダムな重みを固定したフィードフォワードニューラルネットワークが、バイアスのみを学習することによって複数のタスクを実行することができることを示す理論的および数値的なエビデンスを提供する。 我々の結果は神経科学に関係しており、シナプスの重みを変えることなく動的に行動に関連のある変化が起こる可能性を実証している。
  論文  参考訳（メタデータ） (2024-07-01T04:25:49Z)
• Single Neuromorphic Memristor closely Emulates Multiple Synaptic Mechanisms for Energy Efficient Neural Networks [71.79257685917058]
  我々はこれらのシナプス機能を本質的にエミュレートするSrTiO3に基づく膜状ナノデバイスを実証する。 これらのメムリスタは、安定かつエネルギー効率の良い運転を可能にする非定常低導電系で機能する。
  論文  参考訳（メタデータ） (2024-02-26T15:01:54Z)
• All-optical modulation with single-photons using electron avalanche [69.65384453064829]
  単光子強度ビームを用いた全光変調の実証を行った。 本稿では,テラヘルツ高速光スイッチングの可能性を明らかにする。
  論文  参考訳（メタデータ） (2023-12-18T20:14:15Z)
• Spatially Varying Nanophotonic Neural Networks [39.1303097259564]
  電子の代わりに光子を使った演算を実行するフォトニックプロセッサは、超低レイテンシと消費電力で光ニューラルネットワークを実現することを約束する。 既存の光学ニューラルネットワークは、基礎となるネットワーク設計によって制限されており、最先端の電子ニューラルネットワークよりもはるかに低い画像認識精度を実現している。
  論文  参考訳（メタデータ） (2023-08-07T08:48:46Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Single-Shot Optical Neural Network [55.41644538483948]
  深層ニューラルネットワークに必要な計算資源を削減するために,「重定常」アナログ光学・電子ハードウェアが提案されている。 我々は、スケーラブルで1層当たり単発の重み付き光学プロセッサを提案する。
  論文  参考訳（メタデータ） (2022-05-18T17:49:49Z)
• Resonant tunnelling diode nano-optoelectronic spiking nodes for neuromorphic information processing [0.0]
  超高速かつ低消費電力で動作可能な光電子人工ニューロンを提案する。 提案システムは、励起可能なトンネルダイオード(RTD)素子とナノスケール光源を組み合わせたものである。
  論文  参考訳（メタデータ） (2021-07-14T14:11:04Z)
• An optical neural network using less than 1 photon per multiplication [4.003843776219224]
  手書き桁分類において99%の精度を達成する光ニューラルネットワークを実験的に実証した。 この性能は、カスタム自由空間光学プロセッサを使用して達成された。 私達の結果は低光力操作のための原則を提供します。
  論文  参考訳（メタデータ） (2021-04-27T20:43:23Z)
• All-optical neural network quantum state tomography [0.39146761527401414]
  我々は、オールオプティカルニューラルネットワーク(AONN)に基づいて、ニューラルネットワークQSTのための統合されたオールオプティカルセットアップを構築する。 実験結果は全光学装置の有効性と効率を実証した。 統合されたAONN-QSTのオール光学構成は、最後のレンガで全光学量子ネットワークを補充することに光を当てるかもしれない。
  論文  参考訳（メタデータ） (2021-03-11T04:43:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。