論文の概要: Hybrid training of optical neural networks
- arxiv url: http://arxiv.org/abs/2203.11207v1
- Date: Sun, 20 Mar 2022 21:16:42 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-23 15:40:47.688196
- Title: Hybrid training of optical neural networks
- Title(参考訳): 光ニューラルネットワークのハイブリッドトレーニング
- Authors: James Spall, Xianxin Guo, and A. I. Lvovsky
- Abstract要約: 光学ニューラルネットワークは、機械学習ハードウェアの有望なタイプとして登場しつつある。
これらのネットワークは主に、デジタルシミュレータのシリコトレーニング後に光推論を行うために開発されている。
我々は,光ニューラルネットワークのハイブリッドトレーニングを,多種多様な光ニューラルネットワークに適用できることを実証した。
- 参考スコア(独自算出の注目度): 1.0323063834827415
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Optical neural networks are emerging as a promising type of machine learning
hardware capable of energy-efficient, parallel computation. Today's optical
neural networks are mainly developed to perform optical inference after in
silico training on digital simulators. However, various physical imperfections
that cannot be accurately modelled may lead to the notorious reality gap
between the digital simulator and the physical system. To address this
challenge, we demonstrate hybrid training of optical neural networks where the
weight matrix is trained with neuron activation functions computed optically
via forward propagation through the network. We examine the efficacy of hybrid
training with three different networks: an optical linear classifier, a hybrid
opto-electronic network, and a complex-valued optical network. We perform a
comparative study to in silico training, and our results show that hybrid
training is robust against different kinds of static noise. Our
platform-agnostic hybrid training scheme can be applied to a wide variety of
optical neural networks, and this work paves the way towards advanced
all-optical training in machine intelligence.
- Abstract(参考訳): 光ニューラルネットワークは、エネルギー効率が高く並列計算が可能な有望な機械学習ハードウェアとして登場している。
今日の光学ニューラルネットワークは、主にデジタルシミュレーターのシリコトレーニング後に光学推論を行うために開発されている。
しかし、正確にモデル化できない様々な物理的欠陥は、デジタルシミュレータと物理システムの間に悪名高い現実のギャップをもたらす可能性がある。
この課題に対処するために、重み行列をネットワークを経由する前方伝播によって光学的に計算されるニューロン活性化関数で訓練する光ニューラルネットワークのハイブリッドトレーニングを行う。
我々は,光線形分類器,ハイブリッド光電子ネットワーク,複合価値光ネットワークの3つの異なるネットワークを用いたハイブリッドトレーニングの有効性を検討した。
我々は,サイリコ訓練との比較研究を行い,この結果から,ハイブリッドトレーニングは様々な静音に対して堅牢であることが示された。
プラットフォームに依存しないハイブリッドトレーニングスキームは、さまざまな光学ニューラルネットワークに適用可能であり、この研究は、マシンインテリジェンスにおける高度な全光学トレーニングへの道を開く。
関連論文リスト
- Design and development of opto-neural processors for simulation of
neural networks trained in image detection for potential implementation in
hybrid robotics [0.0]
リビングニューラルネットワークは、消費電力の低減、処理の高速化、生物学的リアリズムの利点を提供する。
本研究は,オプトジェネティクスによる精密アクティベーションを用いたSTDPベースのアルゴリズムを逆伝播させることにより,間接的に訓練されたシミュレーション型生きたニューラルネットワークを提案する。
論文 参考訳(メタデータ) (2024-01-17T04:42:49Z) - Training neural networks with end-to-end optical backpropagation [1.1602089225841632]
光プロセスを用いてニューラルネットワークをトレーニングするアルゴリズムであるバックプロパゲーションの実装方法を示す。
我々のアプローチは、様々なアナログプラットフォーム、材料、ネットワーク構造に適用可能である。
これは、トレーニングタスクと推論タスクの両方において、アナログ光学プロセスに完全に依存するニューラルネットワークを構築する可能性を示している。
論文 参考訳(メタデータ) (2023-08-09T21:11:26Z) - Spatially Varying Nanophotonic Neural Networks [39.1303097259564]
電子の代わりに光子を使った演算を実行するフォトニックプロセッサは、超低レイテンシと消費電力で光ニューラルネットワークを実現することを約束する。
既存の光学ニューラルネットワークは、基礎となるネットワーク設計によって制限されており、最先端の電子ニューラルネットワークよりもはるかに低い画像認識精度を実現している。
論文 参考訳(メタデータ) (2023-08-07T08:48:46Z) - Quantum machine learning for image classification [62.997667081978825]
我々のハイブリッド量子アプローチの1つは、MNISTデータセットで99%以上の顕著な精度を示す。
要約して,本研究は,量子機械学習技術を用いた画像認識と分類の改善に関する継続的な研究に寄与する。
論文 参考訳(メタデータ) (2023-04-18T18:23:20Z) - Contrastive-Signal-Dependent Plasticity: Forward-Forward Learning of
Spiking Neural Systems [73.18020682258606]
我々は、ニューロンの個々の層が並列に機能する、スパイキングニューロンユニットからなる神経模倣アーキテクチャを開発する。
コントラスト信号依存塑性(CSDP)と呼ばれるイベントベース前方学習の一般化を提案する。
いくつかのパターンデータセットに対する実験結果から,CSDPプロセスは分類と再構成の両方が可能な動的再帰スパイクネットワークのトレーニングに有効であることが示された。
論文 参考訳(メタデータ) (2023-03-30T02:40:28Z) - Unsupervised Domain Transfer with Conditional Invertible Neural Networks [83.90291882730925]
条件付き可逆ニューラルネットワーク(cINN)に基づくドメイン転送手法を提案する。
提案手法は本質的に,その可逆的アーキテクチャによるサイクル一貫性を保証し,ネットワークトレーニングを最大限効率的に行うことができる。
提案手法は,2つの下流分類タスクにおいて,現実的なスペクトルデータの生成を可能にし,その性能を向上する。
論文 参考訳(メタデータ) (2023-03-17T18:00:27Z) - Experimentally realized in situ backpropagation for deep learning in
nanophotonic neural networks [0.7627023515997987]
私たちは、カスタムデザインの「フォトニックメッシュ」アクセラレーターをカスケードする、大量製造可能なシリコンフォトニックニューラルネットワークを設計します。
In situ backproagation を初めて示し、分類課題を解く。
本研究は、フォトニクス加速人工知能の新しいトレーニングパラダイムを、一般的なバックプロパゲーション手法の物理的類似に基づいて提案するものであることを示唆する。
論文 参考訳(メタデータ) (2022-05-17T17:13:50Z) - Rapid characterisation of linear-optical networks via PhaseLift [51.03305009278831]
集積フォトニクスは優れた位相安定性を提供し、半導体産業によって提供される大規模な製造性に依存することができる。
このような光回路に基づく新しいデバイスは、機械学習アプリケーションにおいて高速でエネルギー効率の高い計算を約束する。
線形光ネットワークの転送行列を再構成する新しい手法を提案する。
論文 参考訳(メタデータ) (2020-10-01T16:04:22Z) - Reservoir Memory Machines as Neural Computers [70.5993855765376]
微分可能なニューラルネットワークは、干渉することなく明示的なメモリで人工ニューラルネットワークを拡張する。
我々は、非常に効率的に訓練できるモデルを用いて、微分可能なニューラルネットワークの計算能力を実現する。
論文 参考訳(メタデータ) (2020-09-14T12:01:30Z) - Training End-to-End Analog Neural Networks with Equilibrium Propagation [64.0476282000118]
本稿では,勾配降下による終端から終端までのアナログニューラルネットワークの学習法を提案する。
数学的には、アナログニューラルネットワークのクラス(非線形抵抗性ネットワークと呼ばれる)がエネルギーベースモデルであることが示される。
我々の研究は、オンチップ学習をサポートする、超高速でコンパクトで低消費電力のニューラルネットワークの新世代の開発を導くことができる。
論文 参考訳(メタデータ) (2020-06-02T23:38:35Z) - Light-in-the-loop: using a photonics co-processor for scalable training
of neural networks [21.153688679957337]
本稿では,デジタル実装ニューラルネットワークのトレーニングフェーズを高速化する最初の光コプロセッサを提案する。
我々は、手書き桁認識のためのニューラルネットワークのトレーニングに使用していることを実証する。
論文 参考訳(メタデータ) (2020-06-02T09:19:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。