論文の概要: L2ight: Enabling On-Chip Learning for Optical Neural Networks via
Efficient in-situ Subspace Optimization
- arxiv url: http://arxiv.org/abs/2110.14807v1
- Date: Wed, 27 Oct 2021 22:53:47 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-29 16:54:53.791393
- Title: L2ight: Enabling On-Chip Learning for Optical Neural Networks via
Efficient in-situ Subspace Optimization
- Title(参考訳): L2ight: 最適部分空間最適化による光ニューラルネットワークのオンチップ学習の実現
- Authors: Jiaqi Gu, Hanqing Zhu, Chenghao Feng, Zixuan Jiang, Ray T. Chen, David
Z. Pan
- Abstract要約: シリコンフォトニクスベースの光ニューラルネットワーク(ONN)は、効率的なAIのパラダイムシフトを示す可能性のある、有望なハードウェアプラットフォームである。
そこで本研究では,スケーラブルなONNマッピングと効率的なin-situ学習を実現するための,閉ループONNオンチップ学習フレームワークL2ightを提案する。
- 参考スコア(独自算出の注目度): 10.005026783940682
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Silicon-photonics-based optical neural network (ONN) is a promising hardware
platform that could represent a paradigm shift in efficient AI with its
CMOS-compatibility, flexibility, ultra-low execution latency, and high energy
efficiency. In-situ training on the online programmable photonic chips is
appealing but still encounters challenging issues in on-chip implementability,
scalability, and efficiency. In this work, we propose a closed-loop ONN on-chip
learning framework L2ight to enable scalable ONN mapping and efficient in-situ
learning. L2ight adopts a three-stage learning flow that first calibrates the
complicated photonic circuit states under challenging physical constraints,
then performs photonic core mapping via combined analytical solving and
zeroth-order optimization. A subspace learning procedure with multi-level
sparsity is integrated into L2ight to enable in-situ gradient evaluation and
fast adaptation, unleashing the power of optics for real on-chip intelligence.
Extensive experiments demonstrate our proposed L2ight outperforms prior ONN
training protocols with 3-order-of-magnitude higher scalability and over 30X
better efficiency, when benchmarked on various models and learning tasks. This
synergistic framework is the first scalable on-chip learning solution that
pushes this emerging field from intractable to scalable and further to
efficient for next-generation self-learnable photonic neural chips. From a
co-design perspective, L2ight also provides essential insights for
hardware-restricted unitary subspace optimization and efficient sparse
training. We open-source our framework at
https://github.com/JeremieMelo/L2ight.
- Abstract(参考訳): シリコンフォトニクスベースの光ニューラルネットワーク(ONN)は、CMOS互換性、柔軟性、超低実行レイテンシ、高エネルギー効率で効率的なAIのパラダイムシフトを表現できる、有望なハードウェアプラットフォームである。
オンラインプログラマブルフォトニックチップのトレーニングは魅力的だが、オンチップ実装性、スケーラビリティ、効率の面での課題に直面している。
そこで本研究では,スケーラブルなONNマッピングと効率的なin-situ学習を実現するための,閉ループONNオンチップ学習フレームワークL2ightを提案する。
L2ightは3段階の学習フローを採用し、まず複雑なフォトニック回路状態のキャリブレーションを行い、次に解析的解法とゼロ階最適化を組み合わせたフォトニックコアマッピングを実行する。
マルチレベル間隔のサブスペース学習手順をL2ightに統合し、その場での勾配評価と高速適応を実現し、実際のオンチップインテリジェンスのための光学のパワーを解放する。
提案するl2ightは,様々なモデルや学習タスクでベンチマークを行った場合,従来のonnトレーニングプロトコルよりも3次元のスケーラビリティと30倍以上の効率で優れていた。
このシナジスティックなフレームワークは、この新興分野を難解からスケーラブルにし、次世代の自己学習型フォトニックニューラルチップの効率を高める、最初のスケーラブルなオンチップ学習ソリューションである。
共同設計の観点から、L2ightはハードウェア制限されたユニタリ部分空間最適化と効率的なスパーストレーニングのための重要な洞察を提供する。
私たちはフレームワークをhttps://github.com/JeremieMelo/L2ight.comでオープンソース化しました。
関連論文リスト
- Real-Time FJ/MAC PDE Solvers via Tensorized, Back-Propagation-Free
Optical PINN Training [5.809283001227614]
本稿では,物理インフォームドニューラルネットワーク(PINN)のためのオンチップトレーニングフレームワークを開発する。
これは、fJ/MACフォトニック電力消費と超低レイテンシで高次元PDEを解決することを目的としている。
これは、高次元PDEを解くために適用可能な、最初のリアルタイム光PINNトレーニングフレームワークである。
論文 参考訳(メタデータ) (2023-12-31T07:10:15Z) - On-Device Learning with Binary Neural Networks [2.7040098749051635]
我々は、最近のCL分野の進歩とBNN(Binary Neural Networks)の効率を取り入れたCLソリューションを提案する。
バックボーンとしてのバイナリネットワークの選択は、低消費電力デバイスの制約を満たすために不可欠である。
論文 参考訳(メタデータ) (2023-08-29T13:48:35Z) - Speed Limits for Deep Learning [67.69149326107103]
熱力学の最近の進歩は、初期重量分布から完全に訓練されたネットワークの最終分布への移動速度の制限を可能にする。
線形および線形化可能なニューラルネットワークに対して,これらの速度制限に対する解析式を提供する。
NTKスペクトルとラベルのスペクトル分解に関するいくつかの妥当なスケーリング仮定を考えると、学習はスケーリングの意味で最適である。
論文 参考訳(メタデータ) (2023-07-27T06:59:46Z) - NeuralStagger: Accelerating Physics-constrained Neural PDE Solver with
Spatial-temporal Decomposition [67.46012350241969]
本稿では,NeuralStaggerと呼ばれる一般化手法を提案する。
元の学習タスクをいくつかの粗い解像度のサブタスクに分解する。
本稿では,2次元および3次元流体力学シミュレーションにおけるNeuralStaggerの適用例を示す。
論文 参考訳(メタデータ) (2023-02-20T19:36:52Z) - Symbolic Learning to Optimize: Towards Interpretability and Scalability [113.23813868412954]
近年のL2O(Learning to Optimize)研究は,複雑なタスクに対する最適化手順の自動化と高速化に期待できる道のりを示唆している。
既存のL2Oモデルは、ニューラルネットワークによる最適化ルールをパラメータ化し、メタトレーニングを通じてそれらの数値ルールを学ぶ。
本稿では,L2Oの総合的な記号表現と解析の枠組みを確立する。
そこで本稿では,大規模問題にメタトレーニングを施す軽量なL2Oモデルを提案する。
論文 参考訳(メタデータ) (2022-03-13T06:04:25Z) - Silicon photonic subspace neural chip for hardware-efficient deep
learning [11.374005508708995]
光ニューラルネットワーク(ONN)は次世代のニューロコンピューティングの候補として期待されている。
ハードウェア効率の良いフォトニックサブスペースニューラルネットワークアーキテクチャを考案する。
我々は,バタフライ型プログラマブルシリコンフォトニック集積回路上でPSNNを実験的に実証した。
論文 参考訳(メタデータ) (2021-11-11T06:34:05Z) - Multi-Exit Semantic Segmentation Networks [78.44441236864057]
本稿では,最先端セグメンテーションモデルをMESSネットワークに変換するフレームワークを提案する。
パラメトリド早期出口を用いた特別訓練されたCNNは、より簡単なサンプルの推測時に、その深さに沿って保存する。
接続されたセグメンテーションヘッドの数、配置、アーキテクチャとエグジットポリシーを併用して、デバイス機能とアプリケーション固有の要件に適応する。
論文 参考訳(メタデータ) (2021-06-07T11:37:03Z) - 3U-EdgeAI: Ultra-Low Memory Training, Ultra-Low BitwidthQuantization,
and Ultra-Low Latency Acceleration [8.419854797930668]
エッジ上のディープニューラルネットワーク(DNN)ベースのAIアプリケーションは、低コストのコンピューティングプラットフォームと高品質なサービスの両方を必要とする。
本稿では、トレーニング、量子化、加速器設計の重要性を強調し、エッジ上のAI分野におけるさらなる研究のブレークスルーを求める。
論文 参考訳(メタデータ) (2021-05-11T03:22:30Z) - Efficient On-Chip Learning for Optical Neural Networks Through
Power-Aware Sparse Zeroth-Order Optimization [12.052076188811052]
光ニューラルネットワーク(ONN)は、ニューロモルフィックコンピューティングにおける記録破りの可能性を示した。
我々は,パワー効率向上のためのONNの潜在能力を最大限に発揮するための,新しいオンチップ学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-12-21T07:00:39Z) - Optimization-driven Machine Learning for Intelligent Reflecting Surfaces
Assisted Wireless Networks [82.33619654835348]
インテリジェントサーフェス(IRS)は、個々の散乱素子の位相シフトを制御して無線チャネルを再形成するために用いられる。
散乱素子の規模が大きいため、受動ビームフォーミングは一般に高い計算複雑性によって挑戦される。
本稿では、IRS支援無線ネットワークの性能向上のための機械学習(ML)アプローチに焦点を当てる。
論文 参考訳(メタデータ) (2020-08-29T08:39:43Z) - Optimizing Memory Placement using Evolutionary Graph Reinforcement
Learning [56.83172249278467]
大規模検索空間を対象とした進化グラフ強化学習(EGRL)を提案する。
我々は、推論のために、Intel NNP-Iチップ上で、我々のアプローチを直接訓練し、検証する。
また,NNP-Iコンパイラと比較して28~78%の高速化を実現している。
論文 参考訳(メタデータ) (2020-07-14T18:50:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。