論文の概要: Training neural networks with end-to-end optical backpropagation
- arxiv url: http://arxiv.org/abs/2308.05226v1
- Date: Wed, 9 Aug 2023 21:11:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-11 14:16:24.960934
- Title: Training neural networks with end-to-end optical backpropagation
- Title（参考訳）: エンドツーエンド光バックプロパゲーションを用いたニューラルネットワークのトレーニング
- Authors: James Spall, Xianxin Guo, A. I. Lvovsky
- Abstract要約: 光プロセスを用いてニューラルネットワークをトレーニングするアルゴリズムであるバックプロパゲーションの実装方法を示す。
我々のアプローチは、様々なアナログプラットフォーム、材料、ネットワーク構造に適用可能である。
これは、トレーニングタスクと推論タスクの両方において、アナログ光学プロセスに完全に依存するニューラルネットワークを構築する可能性を示している。
- 参考スコア（独自算出の注目度）: 1.1602089225841632
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Optics is an exciting route for the next generation of computing hardware for
machine learning, promising several orders of magnitude enhancement in both
computational speed and energy efficiency. However, to reach the full capacity
of an optical neural network it is necessary that the computing not only for
the inference, but also for the training be implemented optically. The primary
algorithm for training a neural network is backpropagation, in which the
calculation is performed in the order opposite to the information flow for
inference. While straightforward in a digital computer, optical implementation
of backpropagation has so far remained elusive, particularly because of the
conflicting requirements for the optical element that implements the nonlinear
activation function. In this work, we address this challenge for the first time
with a surprisingly simple and generic scheme. Saturable absorbers are employed
for the role of the activation units, and the required properties are achieved
through a pump-probe process, in which the forward propagating signal acts as
the pump and backward as the probe. Our approach is adaptable to various analog
platforms, materials, and network structures, and it demonstrates the
possibility of constructing neural networks entirely reliant on analog optical
processes for both training and inference tasks.
- Abstract（参考訳）: opticsは、機械学習のための次世代コンピューティングハードウェアのためのエキサイティングなルートであり、計算速度とエネルギー効率の両方において数桁の強化を約束している。
しかし、光学ニューラルネットワークの全容量に達するためには、推論だけでなく、トレーニングも光学的に行う必要がある。
ニューラルネットワークをトレーニングするための第一のアルゴリズムはバックプロパゲーションであり、推論のための情報フローとは反対の順序で計算が行われる。
デジタルコンピュータでは単純だが、特に非線形活性化関数を実装する光学素子の要求が矛盾するため、バックプロパゲーションの光学的実装はいまだ解明されていない。
本研究では, 驚くほど単純で汎用的なスキームで, 初めてこの問題に対処する。
活性化ユニットの役割には飽和吸収剤が用いられ、ポンププロブプロセスによって必要な特性が達成され、前方伝播信号がポンプとして、プローブとして後方に作用する。
提案手法は, 各種アナログプラットフォーム, 材料, ネットワーク構造に適用可能であり, トレーニングと推論の両方において, アナログ光学プロセスに完全に依存するニューラルネットワーク構築の可能性を示す。
関連論文リスト
- Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。
本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
論文 参考訳（メタデータ） (2024-09-17T04:48:45Z) - Optical training of large-scale Transformers and deep neural networks with direct feedback alignment [48.90869997343841]
我々は,ハイブリッド電子フォトニックプラットフォーム上で,ダイレクトフィードバックアライメントと呼ばれる多目的でスケーラブルなトレーニングアルゴリズムを実験的に実装した。
光処理ユニットは、このアルゴリズムの中央動作である大規模ランダム行列乗算を最大1500テラOpsで行う。
我々は、ハイブリッド光アプローチの計算スケーリングについて検討し、超深度・広帯域ニューラルネットワークの潜在的な利点を実証する。
論文 参考訳（メタデータ） (2024-09-01T12:48:47Z) - Training Large-Scale Optical Neural Networks with Two-Pass Forward Propagation [0.0]
本稿では、トレーニング効率、非線形関数の実装、大規模入力データ処理に関連する光学ニューラルネットワーク(ONN)の限界について述べる。
ランダムノイズによる誤差の変調と再入出力により,特定の非線形アクティベーション関数を回避する新しいトレーニング手法であるTwo-Pass Forward Propagationを導入する。
統合光学系における単純なニューラルネットワークを用いた畳み込みニューラルネットワークの新たな実装法を提案する。
論文 参考訳（メタデータ） (2024-08-15T11:27:01Z) - Genetically programmable optical random neural networks [0.0]
遺伝的にプログラム可能であるが、光学的ランダムプロジェクションによる高性能を実現するための単純な光学ニューラルネットワークを実証する。
ランダムプロジェクションカーネルとして機能する散乱媒質の配向を遺伝的にプログラミングすることにより,本手法は最適なカーネルを発見し,初期試験精度を7-22%向上させる。
提案手法は,シンプルでスケーラブルな設計で,光ニューラルネットワークの高性能化を実現するための有望な手法である。
論文 参考訳（メタデータ） (2024-03-19T06:55:59Z) - Simple initialization and parametrization of sinusoidal networks via
their kernel bandwidth [92.25666446274188]
従来の活性化機能を持つネットワークの代替として、活性化を伴う正弦波ニューラルネットワークが提案されている。
まず,このような正弦波ニューラルネットワークの簡易版を提案する。
次に、ニューラルタンジェントカーネルの観点からこれらのネットワークの挙動を分析し、そのカーネルが調整可能な帯域幅を持つ低域フィルタを近似することを実証する。
論文 参考訳（メタデータ） (2022-11-26T07:41:48Z) - Scale-, shift- and rotation-invariant diffractive optical networks [0.0]
D2NN(Diffractive Deep Neural Networks)は、一連のトレーニング可能な表面上の光-物質相互作用を利用して、所望の統計的推論タスクを計算する。
そこで本研究では,学習期間中に入力オブジェクトの変換,回転,スケーリングを導入する,拡散型ネットワークの新たなトレーニング戦略を示す。
このトレーニング戦略は、スケール、シフト、回転不変の解への微分光学ネットワーク設計の進化をうまく導く。
論文 参考訳（メタデータ） (2020-10-24T02:18:39Z) - Rapid characterisation of linear-optical networks via PhaseLift [51.03305009278831]
集積フォトニクスは優れた位相安定性を提供し、半導体産業によって提供される大規模な製造性に依存することができる。
このような光回路に基づく新しいデバイスは、機械学習アプリケーションにおいて高速でエネルギー効率の高い計算を約束する。
線形光ネットワークの転送行列を再構成する新しい手法を提案する。
論文 参考訳（メタデータ） (2020-10-01T16:04:22Z) - Training End-to-End Analog Neural Networks with Equilibrium Propagation [64.0476282000118]
本稿では,勾配降下による終端から終端までのアナログニューラルネットワークの学習法を提案する。
数学的には、アナログニューラルネットワークのクラス(非線形抵抗性ネットワークと呼ばれる)がエネルギーベースモデルであることが示される。
我々の研究は、オンチップ学習をサポートする、超高速でコンパクトで低消費電力のニューラルネットワークの新世代の開発を導くことができる。
論文 参考訳（メタデータ） (2020-06-02T23:38:35Z) - Light-in-the-loop: using a photonics co-processor for scalable training
of neural networks [21.153688679957337]
本稿では,デジタル実装ニューラルネットワークのトレーニングフェーズを高速化する最初の光コプロセッサを提案する。
我々は、手書き桁認識のためのニューラルネットワークのトレーニングに使用していることを実証する。
論文 参考訳（メタデータ） (2020-06-02T09:19:45Z) - Spiking Neural Networks Hardware Implementations and Challenges: a
Survey [53.429871539789445]
スパイキングニューラルネットワークは、ニューロンとシナプスの操作原理を模倣する認知アルゴリズムである。
スパイキングニューラルネットワークのハードウェア実装の現状について述べる。
本稿では,これらのイベント駆動アルゴリズムの特性をハードウェアレベルで活用するための戦略について論じる。
論文 参考訳（メタデータ） (2020-05-04T13:24:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。