論文の概要: Training neural networks with end-to-end optical backpropagation
- arxiv url: http://arxiv.org/abs/2308.05226v1
- Date: Wed, 9 Aug 2023 21:11:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-11 14:16:24.960934
- Title: Training neural networks with end-to-end optical backpropagation
- Title(参考訳): エンドツーエンド光バックプロパゲーションを用いたニューラルネットワークのトレーニング
- Authors: James Spall, Xianxin Guo, A. I. Lvovsky
- Abstract要約: 光プロセスを用いてニューラルネットワークをトレーニングするアルゴリズムであるバックプロパゲーションの実装方法を示す。
我々のアプローチは、様々なアナログプラットフォーム、材料、ネットワーク構造に適用可能である。
これは、トレーニングタスクと推論タスクの両方において、アナログ光学プロセスに完全に依存するニューラルネットワークを構築する可能性を示している。
- 参考スコア(独自算出の注目度): 1.1602089225841632
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Optics is an exciting route for the next generation of computing hardware for
machine learning, promising several orders of magnitude enhancement in both
computational speed and energy efficiency. However, to reach the full capacity
of an optical neural network it is necessary that the computing not only for
the inference, but also for the training be implemented optically. The primary
algorithm for training a neural network is backpropagation, in which the
calculation is performed in the order opposite to the information flow for
inference. While straightforward in a digital computer, optical implementation
of backpropagation has so far remained elusive, particularly because of the
conflicting requirements for the optical element that implements the nonlinear
activation function. In this work, we address this challenge for the first time
with a surprisingly simple and generic scheme. Saturable absorbers are employed
for the role of the activation units, and the required properties are achieved
through a pump-probe process, in which the forward propagating signal acts as
the pump and backward as the probe. Our approach is adaptable to various analog
platforms, materials, and network structures, and it demonstrates the
possibility of constructing neural networks entirely reliant on analog optical
processes for both training and inference tasks.
- Abstract(参考訳): opticsは、機械学習のための次世代コンピューティングハードウェアのためのエキサイティングなルートであり、計算速度とエネルギー効率の両方において数桁の強化を約束している。
しかし、光学ニューラルネットワークの全容量に達するためには、推論だけでなく、トレーニングも光学的に行う必要がある。
ニューラルネットワークをトレーニングするための第一のアルゴリズムはバックプロパゲーションであり、推論のための情報フローとは反対の順序で計算が行われる。
デジタルコンピュータでは単純だが、特に非線形活性化関数を実装する光学素子の要求が矛盾するため、バックプロパゲーションの光学的実装はいまだ解明されていない。
本研究では, 驚くほど単純で汎用的なスキームで, 初めてこの問題に対処する。
活性化ユニットの役割には飽和吸収剤が用いられ、ポンププロブプロセスによって必要な特性が達成され、前方伝播信号がポンプとして、プローブとして後方に作用する。
提案手法は, 各種アナログプラットフォーム, 材料, ネットワーク構造に適用可能であり, トレーニングと推論の両方において, アナログ光学プロセスに完全に依存するニューラルネットワーク構築の可能性を示す。
関連論文リスト
- Contrastive-Signal-Dependent Plasticity: Forward-Forward Learning of
Spiking Neural Systems [73.18020682258606]
我々は、ニューロンの個々の層が並列に機能する、スパイキングニューロンユニットからなる神経模倣アーキテクチャを開発する。
コントラスト信号依存塑性(CSDP)と呼ばれるイベントベース前方学習の一般化を提案する。
いくつかのパターンデータセットに対する実験結果から,CSDPプロセスは分類と再構成の両方が可能な動的再帰スパイクネットワークのトレーニングに有効であることが示された。
論文 参考訳(メタデータ) (2023-03-30T02:40:28Z) - The Predictive Forward-Forward Algorithm [79.07468367923619]
本稿では,ニューラルネットワークにおける信頼割当を行うための予測フォワード(PFF)アルゴリズムを提案する。
我々は,有向生成回路と表現回路を同時に同時に学習する,新しい動的リカレントニューラルネットワークを設計する。
PFFは効率よく学習し、学習信号を伝達し、フォワードパスのみでシナプスを更新する。
論文 参考訳(メタデータ) (2023-01-04T05:34:48Z) - Realization of a quantum neural network using repeat-until-success
circuits in a superconducting quantum processor [0.0]
本稿では、リアルタイム制御-フローフィードバックによって実現されたリピート・アンティル・サクセス回路を用いて、非線形活性化機能を持つ量子ニューロンを実現する。
例えば、2ビットから1ビットのブール関数をすべて学習できる最小限のフィードフォワード量子ニューラルネットワークを構築する。
このモデルは非線形分類を行い、全ての入力の最大重ね合わせからなる単一のトレーニング状態の複数のコピーから効果的に学習する。
論文 参考訳(メタデータ) (2022-12-21T03:26:32Z) - Simple initialization and parametrization of sinusoidal networks via
their kernel bandwidth [92.25666446274188]
従来の活性化機能を持つネットワークの代替として、活性化を伴う正弦波ニューラルネットワークが提案されている。
まず,このような正弦波ニューラルネットワークの簡易版を提案する。
次に、ニューラルタンジェントカーネルの観点からこれらのネットワークの挙動を分析し、そのカーネルが調整可能な帯域幅を持つ低域フィルタを近似することを実証する。
論文 参考訳(メタデータ) (2022-11-26T07:41:48Z) - Experimentally realized in situ backpropagation for deep learning in
nanophotonic neural networks [0.7627023515997987]
私たちは、カスタムデザインの「フォトニックメッシュ」アクセラレーターをカスケードする、大量製造可能なシリコンフォトニックニューラルネットワークを設計します。
In situ backproagation を初めて示し、分類課題を解く。
本研究は、フォトニクス加速人工知能の新しいトレーニングパラダイムを、一般的なバックプロパゲーション手法の物理的類似に基づいて提案するものであることを示唆する。
論文 参考訳(メタデータ) (2022-05-17T17:13:50Z) - Physical Deep Learning with Biologically Plausible Training Method [2.5608506499175094]
直感フィードバックアライメントと呼ばれる生物学的に妥当なトレーニングアルゴリズムを拡張し,物理深層学習を提案する。
このトレーニングの計算を、シンプルでスケーラブルな物理システム上でエミュレートし、高速化することができる。
本結果は,ニューロモルフィック計算の訓練と加速のための実用的なソリューションを提供する。
論文 参考訳(メタデータ) (2022-04-01T05:46:16Z) - Scale-, shift- and rotation-invariant diffractive optical networks [0.0]
D2NN(Diffractive Deep Neural Networks)は、一連のトレーニング可能な表面上の光-物質相互作用を利用して、所望の統計的推論タスクを計算する。
そこで本研究では,学習期間中に入力オブジェクトの変換,回転,スケーリングを導入する,拡散型ネットワークの新たなトレーニング戦略を示す。
このトレーニング戦略は、スケール、シフト、回転不変の解への微分光学ネットワーク設計の進化をうまく導く。
論文 参考訳(メタデータ) (2020-10-24T02:18:39Z) - Rapid characterisation of linear-optical networks via PhaseLift [51.03305009278831]
集積フォトニクスは優れた位相安定性を提供し、半導体産業によって提供される大規模な製造性に依存することができる。
このような光回路に基づく新しいデバイスは、機械学習アプリケーションにおいて高速でエネルギー効率の高い計算を約束する。
線形光ネットワークの転送行列を再構成する新しい手法を提案する。
論文 参考訳(メタデータ) (2020-10-01T16:04:22Z) - Training End-to-End Analog Neural Networks with Equilibrium Propagation [64.0476282000118]
本稿では,勾配降下による終端から終端までのアナログニューラルネットワークの学習法を提案する。
数学的には、アナログニューラルネットワークのクラス(非線形抵抗性ネットワークと呼ばれる)がエネルギーベースモデルであることが示される。
我々の研究は、オンチップ学習をサポートする、超高速でコンパクトで低消費電力のニューラルネットワークの新世代の開発を導くことができる。
論文 参考訳(メタデータ) (2020-06-02T23:38:35Z) - Light-in-the-loop: using a photonics co-processor for scalable training
of neural networks [21.153688679957337]
本稿では,デジタル実装ニューラルネットワークのトレーニングフェーズを高速化する最初の光コプロセッサを提案する。
我々は、手書き桁認識のためのニューラルネットワークのトレーニングに使用していることを実証する。
論文 参考訳(メタデータ) (2020-06-02T09:19:45Z) - Spiking Neural Networks Hardware Implementations and Challenges: a
Survey [53.429871539789445]
スパイキングニューラルネットワークは、ニューロンとシナプスの操作原理を模倣する認知アルゴリズムである。
スパイキングニューラルネットワークのハードウェア実装の現状について述べる。
本稿では,これらのイベント駆動アルゴリズムの特性をハードウェアレベルで活用するための戦略について論じる。
論文 参考訳(メタデータ) (2020-05-04T13:24:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。