論文の概要: Hybrid training of optical neural networks

• arxiv url: http://arxiv.org/abs/2203.11207v1
• Date: Sun, 20 Mar 2022 21:16:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-23 15:40:47.688196
• Title: Hybrid training of optical neural networks
• Title（参考訳）: 光ニューラルネットワークのハイブリッドトレーニング
• Authors: James Spall, Xianxin Guo, and A. I. Lvovsky
• Abstract要約: 光学ニューラルネットワークは、機械学習ハードウェアの有望なタイプとして登場しつつある。 これらのネットワークは主に、デジタルシミュレータのシリコトレーニング後に光推論を行うために開発されている。 我々は,光ニューラルネットワークのハイブリッドトレーニングを,多種多様な光ニューラルネットワークに適用できることを実証した。
• 参考スコア（独自算出の注目度）: 1.0323063834827415
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Optical neural networks are emerging as a promising type of machine learning hardware capable of energy-efficient, parallel computation. Today's optical neural networks are mainly developed to perform optical inference after in silico training on digital simulators. However, various physical imperfections that cannot be accurately modelled may lead to the notorious reality gap between the digital simulator and the physical system. To address this challenge, we demonstrate hybrid training of optical neural networks where the weight matrix is trained with neuron activation functions computed optically via forward propagation through the network. We examine the efficacy of hybrid training with three different networks: an optical linear classifier, a hybrid opto-electronic network, and a complex-valued optical network. We perform a comparative study to in silico training, and our results show that hybrid training is robust against different kinds of static noise. Our platform-agnostic hybrid training scheme can be applied to a wide variety of optical neural networks, and this work paves the way towards advanced all-optical training in machine intelligence.
• Abstract（参考訳）: 光ニューラルネットワークは、エネルギー効率が高く並列計算が可能な有望な機械学習ハードウェアとして登場している。 今日の光学ニューラルネットワークは、主にデジタルシミュレーターのシリコトレーニング後に光学推論を行うために開発されている。 しかし、正確にモデル化できない様々な物理的欠陥は、デジタルシミュレータと物理システムの間に悪名高い現実のギャップをもたらす可能性がある。 この課題に対処するために、重み行列をネットワークを経由する前方伝播によって光学的に計算されるニューロン活性化関数で訓練する光ニューラルネットワークのハイブリッドトレーニングを行う。 我々は,光線形分類器,ハイブリッド光電子ネットワーク,複合価値光ネットワークの3つの異なるネットワークを用いたハイブリッドトレーニングの有効性を検討した。 我々は,サイリコ訓練との比較研究を行い,この結果から,ハイブリッドトレーニングは様々な静音に対して堅牢であることが示された。 プラットフォームに依存しないハイブリッドトレーニングスキームは、さまざまな光学ニューラルネットワークに適用可能であり、この研究は、マシンインテリジェンスにおける高度な全光学トレーニングへの道を開く。

関連論文リスト

• Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
  スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。 本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
  論文  参考訳（メタデータ） (2024-09-17T04:48:45Z)
• Optical training of large-scale Transformers and deep neural networks with direct feedback alignment [48.90869997343841]
  我々は,ハイブリッド電子フォトニックプラットフォーム上で,ダイレクトフィードバックアライメントと呼ばれる多目的でスケーラブルなトレーニングアルゴリズムを実験的に実装した。 光処理ユニットは、このアルゴリズムの中央動作である大規模ランダム行列乗算を最大1500テラOpsで行う。 我々は、ハイブリッド光アプローチの計算スケーリングについて検討し、超深度・広帯域ニューラルネットワークの潜在的な利点を実証する。
  論文  参考訳（メタデータ） (2024-09-01T12:48:47Z)
• Genetically programmable optical random neural networks [0.0]
  遺伝的にプログラム可能であるが、光学的ランダムプロジェクションによる高性能を実現するための単純な光学ニューラルネットワークを実証する。 ランダムプロジェクションカーネルとして機能する散乱媒質の配向を遺伝的にプログラミングすることにより,本手法は最適なカーネルを発見し,初期試験精度を7-22%向上させる。 提案手法は,シンプルでスケーラブルな設計で,光ニューラルネットワークの高性能化を実現するための有望な手法である。
  論文  参考訳（メタデータ） (2024-03-19T06:55:59Z)
• Training neural networks with end-to-end optical backpropagation [1.1602089225841632]
  光プロセスを用いてニューラルネットワークをトレーニングするアルゴリズムであるバックプロパゲーションの実装方法を示す。 我々のアプローチは、様々なアナログプラットフォーム、材料、ネットワーク構造に適用可能である。 これは、トレーニングタスクと推論タスクの両方において、アナログ光学プロセスに完全に依存するニューラルネットワークを構築する可能性を示している。
  論文  参考訳（メタデータ） (2023-08-09T21:11:26Z)
• Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
  この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。 我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
  論文  参考訳（メタデータ） (2023-03-30T02:40:28Z)
• Experimentally realized in situ backpropagation for deep learning in nanophotonic neural networks [0.7627023515997987]
  私たちは、カスタムデザインの「フォトニックメッシュ」アクセラレーターをカスケードする、大量製造可能なシリコンフォトニックニューラルネットワークを設計します。 In situ backproagation を初めて示し、分類課題を解く。 本研究は、フォトニクス加速人工知能の新しいトレーニングパラダイムを、一般的なバックプロパゲーション手法の物理的類似に基づいて提案するものであることを示唆する。
  論文  参考訳（メタデータ） (2022-05-17T17:13:50Z)
• Rapid characterisation of linear-optical networks via PhaseLift [51.03305009278831]
  集積フォトニクスは優れた位相安定性を提供し、半導体産業によって提供される大規模な製造性に依存することができる。 このような光回路に基づく新しいデバイスは、機械学習アプリケーションにおいて高速でエネルギー効率の高い計算を約束する。 線形光ネットワークの転送行列を再構成する新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-10-01T16:04:22Z)
• Reservoir Memory Machines as Neural Computers [70.5993855765376]
  微分可能なニューラルネットワークは、干渉することなく明示的なメモリで人工ニューラルネットワークを拡張する。 我々は、非常に効率的に訓練できるモデルを用いて、微分可能なニューラルネットワークの計算能力を実現する。
  論文  参考訳（メタデータ） (2020-09-14T12:01:30Z)
• Training End-to-End Analog Neural Networks with Equilibrium Propagation [64.0476282000118]
  本稿では,勾配降下による終端から終端までのアナログニューラルネットワークの学習法を提案する。 数学的には、アナログニューラルネットワークのクラス(非線形抵抗性ネットワークと呼ばれる)がエネルギーベースモデルであることが示される。 我々の研究は、オンチップ学習をサポートする、超高速でコンパクトで低消費電力のニューラルネットワークの新世代の開発を導くことができる。
  論文  参考訳（メタデータ） (2020-06-02T23:38:35Z)
• Light-in-the-loop: using a photonics co-processor for scalable training of neural networks [21.153688679957337]
  本稿では,デジタル実装ニューラルネットワークのトレーニングフェーズを高速化する最初の光コプロセッサを提案する。 我々は、手書き桁認識のためのニューラルネットワークのトレーニングに使用していることを実証する。
  論文  参考訳（メタデータ） (2020-06-02T09:19:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。