論文の概要: Experimentally realized in situ backpropagation for deep learning in nanophotonic neural networks

• arxiv url: http://arxiv.org/abs/2205.08501v1
• Date: Tue, 17 May 2022 17:13:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-18 14:54:25.508297
• Title: Experimentally realized in situ backpropagation for deep learning in nanophotonic neural networks
• Title（参考訳）: ナノフォトニックニューラルネットワークにおける深層学習のためのin situバックプロパゲーション実験
• Authors: Sunil Pai, Zhanghao Sun, Tyler W. Hughes, Taewon Park, Ben Bartlett, Ian A. D. Williamson, Momchil Minkov, Maziyar Milanizadeh, Nathnael Abebe, Francesco Morichetti, Andrea Melloni, Shanhui Fan, Olav Solgaard, David A.B. Miller
• Abstract要約: 私たちは、カスタムデザインの「フォトニックメッシュ」アクセラレーターをカスケードする、大量製造可能なシリコンフォトニックニューラルネットワークを設計します。 In situ backproagation を初めて示し、分類課題を解く。 本研究は、フォトニクス加速人工知能の新しいトレーニングパラダイムを、一般的なバックプロパゲーション手法の物理的類似に基づいて提案するものであることを示唆する。
• 参考スコア（独自算出の注目度）: 0.7627023515997987
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural networks are widely deployed models across many scientific disciplines and commercial endeavors ranging from edge computing and sensing to large-scale signal processing in data centers. The most efficient and well-entrenched method to train such networks is backpropagation, or reverse-mode automatic differentiation. To counter an exponentially increasing energy budget in the artificial intelligence sector, there has been recent interest in analog implementations of neural networks, specifically nanophotonic neural networks for which no analog backpropagation demonstration exists. We design mass-manufacturable silicon photonic neural networks that alternately cascade our custom designed "photonic mesh" accelerator with digitally implemented nonlinearities. These reconfigurable photonic meshes program computationally intensive arbitrary matrix multiplication by setting physical voltages that tune the interference of optically encoded input data propagating through integrated Mach-Zehnder interferometer networks. Here, using our packaged photonic chip, we demonstrate in situ backpropagation for the first time to solve classification tasks and evaluate a new protocol to keep the entire gradient measurement and update of physical device voltages in the analog domain, improving on past theoretical proposals. Our method is made possible by introducing three changes to typical photonic meshes: (1) measurements at optical "grating tap" monitors, (2) bidirectional optical signal propagation automated by fiber switch, and (3) universal generation and readout of optical amplitude and phase. After training, our classification achieves accuracies similar to digital equivalents even in presence of systematic error. Our findings suggest a new training paradigm for photonics-accelerated artificial intelligence based entirely on a physical analog of the popular backpropagation technique.
• Abstract（参考訳）: ニューラルネットワークは、エッジコンピューティングやセンシングからデータセンターでの大規模信号処理に至るまで、多くの科学分野や商業分野にまたがって広く展開されるモデルである。 このようなネットワークをトレーニングする最も効率的で定着した方法は、バックプロパゲーション(英語版)またはリバースモード自動微分である。 人工知能分野におけるエネルギー予算の指数関数的な増加に対抗するため、ニューラルネットワークのアナログ実装、特にアナログバックプロパゲーションの実証が存在しないナノフォトニックニューラルネットワークへの関心が高まっている。 我々は、デジタルに実装された非線形性を持つカスタムデザインの「フォトニックメッシュ」加速器を交互にカスケードする、大量生産可能なシリコンフォトニックニューラルネットワークを設計する。 これらの再構成可能なフォトニックメッシュは、mach-zehnder干渉計ネットワークを介して伝搬する光符号化された入力データの干渉を調整する物理電圧を設定することで、計算集約的な任意の行列乗算をプログラムする。 ここでは,本パッケージのフォトニックチップを用いて,分類課題を初めてin situバックプロパゲーションを行い,アナログ領域の物理デバイス電圧の勾配測定と更新を継続する新しいプロトコルを評価し,過去の理論的な提案を改良した。 本手法は,(1)光学式"グラファイティングタップ"モニタにおける計測,(2)ファイバスイッチにより自動化された双方向光信号伝搬,(3)光振幅と位相の普遍的生成と読み出しという,一般的なフォトニックメッシュに3つの変更を加えることで実現されている。 訓練後,系統的誤りが存在する場合でも,デジタル等価性に類似した精度が得られた。 本研究は,一般的なバックプロパゲーション手法の物理的類似性に基づく,光子加速型人工知能の新しい学習パラダイムを提案する。

関連論文リスト

• Optical training of large-scale Transformers and deep neural networks with direct feedback alignment [48.90869997343841]
  我々は,ハイブリッド電子フォトニックプラットフォーム上で,ダイレクトフィードバックアライメントと呼ばれる多目的でスケーラブルなトレーニングアルゴリズムを実験的に実装した。 光処理ユニットは、このアルゴリズムの中央動作である大規模ランダム行列乗算を最大1500テラOpsで行う。 我々は、ハイブリッド光アプローチの計算スケーリングについて検討し、超深度・広帯域ニューラルネットワークの潜在的な利点を実証する。
  論文  参考訳（メタデータ） (2024-09-01T12:48:47Z)
• Integration of Programmable Diffraction with Digital Neural Networks [0.0]
  近年のディープラーニングとデジタルニューラルネットワークの進歩は、バックエンドとして機能するデジタルニューラルネットワークと共同最適化された微分プロセッサの確立に繋がった。 この記事では、さまざまなアプリケーションに対して、エンジニアリングとプログラムされた回折とデジタルニューラルネットワークのこのエキサイティングなコラボレーションの有用性を強調します。
  論文  参考訳（メタデータ） (2024-06-15T16:49:53Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Spatially Varying Nanophotonic Neural Networks [39.1303097259564]
  電子の代わりに光子を使った演算を実行するフォトニックプロセッサは、超低レイテンシと消費電力で光ニューラルネットワークを実現することを約束する。 既存の光学ニューラルネットワークは、基礎となるネットワーク設計によって制限されており、最先端の電子ニューラルネットワークよりもはるかに低い画像認識精度を実現している。
  論文  参考訳（メタデータ） (2023-08-07T08:48:46Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Scale-, shift- and rotation-invariant diffractive optical networks [0.0]
  D2NN(Diffractive Deep Neural Networks)は、一連のトレーニング可能な表面上の光-物質相互作用を利用して、所望の統計的推論タスクを計算する。 そこで本研究では,学習期間中に入力オブジェクトの変換,回転,スケーリングを導入する,拡散型ネットワークの新たなトレーニング戦略を示す。 このトレーニング戦略は、スケール、シフト、回転不変の解への微分光学ネットワーク設計の進化をうまく導く。
  論文  参考訳（メタデータ） (2020-10-24T02:18:39Z)
• Rapid characterisation of linear-optical networks via PhaseLift [51.03305009278831]
  集積フォトニクスは優れた位相安定性を提供し、半導体産業によって提供される大規模な製造性に依存することができる。 このような光回路に基づく新しいデバイスは、機械学習アプリケーションにおいて高速でエネルギー効率の高い計算を約束する。 線形光ネットワークの転送行列を再構成する新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-10-01T16:04:22Z)
• Deep neural networks for the evaluation and design of photonic devices [0.0]
  レビュー:ディープニューラルネットワークは、トレーニングセットからどのように学習し、高速サロゲート電磁解法として動作するか。 フォトニクスの文脈内での基本的なデータ科学についても論じる。
  論文  参考訳（メタデータ） (2020-06-30T19:52:54Z)
• Training End-to-End Analog Neural Networks with Equilibrium Propagation [64.0476282000118]
  本稿では,勾配降下による終端から終端までのアナログニューラルネットワークの学習法を提案する。 数学的には、アナログニューラルネットワークのクラス(非線形抵抗性ネットワークと呼ばれる)がエネルギーベースモデルであることが示される。 我々の研究は、オンチップ学習をサポートする、超高速でコンパクトで低消費電力のニューラルネットワークの新世代の開発を導くことができる。
  論文  参考訳（メタデータ） (2020-06-02T23:38:35Z)
• Light-in-the-loop: using a photonics co-processor for scalable training of neural networks [21.153688679957337]
  本稿では,デジタル実装ニューラルネットワークのトレーニングフェーズを高速化する最初の光コプロセッサを提案する。 我々は、手書き桁認識のためのニューラルネットワークのトレーニングに使用していることを実証する。
  論文  参考訳（メタデータ） (2020-06-02T09:19:45Z)
• Compressive sensing with un-trained neural networks: Gradient descent finds the smoothest approximation [60.80172153614544]
  訓練されていない畳み込みニューラルネットワークは、画像の回復と復元に非常に成功したツールとして登場した。 トレーニングされていない畳み込みニューラルネットワークは、ほぼ最小限のランダムな測定値から、十分に構造化された信号や画像を概ね再構成可能であることを示す。
  論文  参考訳（メタデータ） (2020-05-07T15:57:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。