論文の概要: L2ight: Enabling On-Chip Learning for Optical Neural Networks via
Efficient in-situ Subspace Optimization
- arxiv url: http://arxiv.org/abs/2110.14807v1
- Date: Wed, 27 Oct 2021 22:53:47 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-29 16:54:53.791393
- Title: L2ight: Enabling On-Chip Learning for Optical Neural Networks via
Efficient in-situ Subspace Optimization
- Title（参考訳）: L2ight: 最適部分空間最適化による光ニューラルネットワークのオンチップ学習の実現
- Authors: Jiaqi Gu, Hanqing Zhu, Chenghao Feng, Zixuan Jiang, Ray T. Chen, David
Z. Pan
- Abstract要約: シリコンフォトニクスベースの光ニューラルネットワーク(ONN)は、効率的なAIのパラダイムシフトを示す可能性のある、有望なハードウェアプラットフォームである。
そこで本研究では,スケーラブルなONNマッピングと効率的なin-situ学習を実現するための,閉ループONNオンチップ学習フレームワークL2ightを提案する。
- 参考スコア（独自算出の注目度）: 10.005026783940682
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Silicon-photonics-based optical neural network (ONN) is a promising hardware
platform that could represent a paradigm shift in efficient AI with its
CMOS-compatibility, flexibility, ultra-low execution latency, and high energy
efficiency. In-situ training on the online programmable photonic chips is
appealing but still encounters challenging issues in on-chip implementability,
scalability, and efficiency. In this work, we propose a closed-loop ONN on-chip
learning framework L2ight to enable scalable ONN mapping and efficient in-situ
learning. L2ight adopts a three-stage learning flow that first calibrates the
complicated photonic circuit states under challenging physical constraints,
then performs photonic core mapping via combined analytical solving and
zeroth-order optimization. A subspace learning procedure with multi-level
sparsity is integrated into L2ight to enable in-situ gradient evaluation and
fast adaptation, unleashing the power of optics for real on-chip intelligence.
Extensive experiments demonstrate our proposed L2ight outperforms prior ONN
training protocols with 3-order-of-magnitude higher scalability and over 30X
better efficiency, when benchmarked on various models and learning tasks. This
synergistic framework is the first scalable on-chip learning solution that
pushes this emerging field from intractable to scalable and further to
efficient for next-generation self-learnable photonic neural chips. From a
co-design perspective, L2ight also provides essential insights for
hardware-restricted unitary subspace optimization and efficient sparse
training. We open-source our framework at
https://github.com/JeremieMelo/L2ight.
- Abstract（参考訳）: シリコンフォトニクスベースの光ニューラルネットワーク(ONN)は、CMOS互換性、柔軟性、超低実行レイテンシ、高エネルギー効率で効率的なAIのパラダイムシフトを表現できる、有望なハードウェアプラットフォームである。
オンラインプログラマブルフォトニックチップのトレーニングは魅力的だが、オンチップ実装性、スケーラビリティ、効率の面での課題に直面している。
そこで本研究では,スケーラブルなONNマッピングと効率的なin-situ学習を実現するための,閉ループONNオンチップ学習フレームワークL2ightを提案する。
L2ightは3段階の学習フローを採用し、まず複雑なフォトニック回路状態のキャリブレーションを行い、次に解析的解法とゼロ階最適化を組み合わせたフォトニックコアマッピングを実行する。
マルチレベル間隔のサブスペース学習手順をL2ightに統合し、その場での勾配評価と高速適応を実現し、実際のオンチップインテリジェンスのための光学のパワーを解放する。
提案するl2ightは,様々なモデルや学習タスクでベンチマークを行った場合,従来のonnトレーニングプロトコルよりも3次元のスケーラビリティと30倍以上の効率で優れていた。
このシナジスティックなフレームワークは、この新興分野を難解からスケーラブルにし、次世代の自己学習型フォトニックニューラルチップの効率を高める、最初のスケーラブルなオンチップ学習ソリューションである。
共同設計の観点から、L2ightはハードウェア制限されたユニタリ部分空間最適化と効率的なスパーストレーニングのための重要な洞察を提供する。
私たちはフレームワークをhttps://github.com/JeremieMelo/L2ight.comでオープンソース化しました。
関連論文リスト
- FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
分散トレーニングは、システム設計と効率に関する重要な課題に直面します。
大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。
本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
論文 参考訳（メタデータ） (2024-10-16T16:13:19Z) - How Feature Learning Can Improve Neural Scaling Laws [86.9540615081759]
我々は,カーネル限界を超えたニューラルスケーリング法則の解法モデルを開発する。
モデルのサイズ、トレーニング時間、利用可能なデータの総量によるパフォーマンスのスケールアップ方法を示す。
論文 参考訳（メタデータ） (2024-09-26T14:05:32Z) - Optical training of large-scale Transformers and deep neural networks with direct feedback alignment [48.90869997343841]
我々は,ハイブリッド電子フォトニックプラットフォーム上で,ダイレクトフィードバックアライメントと呼ばれる多目的でスケーラブルなトレーニングアルゴリズムを実験的に実装した。
光処理ユニットは、このアルゴリズムの中央動作である大規模ランダム行列乗算を最大1500テラOpsで行う。
我々は、ハイブリッド光アプローチの計算スケーリングについて検討し、超深度・広帯域ニューラルネットワークの潜在的な利点を実証する。
論文 参考訳（メタデータ） (2024-09-01T12:48:47Z) - DNN Partitioning, Task Offloading, and Resource Allocation in Dynamic Vehicular Networks: A Lyapunov-Guided Diffusion-Based Reinforcement Learning Approach [49.56404236394601]
本稿では,Vehicular Edge Computingにおける共同DNNパーティショニング,タスクオフロード,リソース割り当ての問題を定式化する。
我々の目標は、時間とともにシステムの安定性を保証しながら、DNNベースのタスク完了時間を最小化することである。
拡散モデルの革新的利用を取り入れたマルチエージェント拡散に基づく深層強化学習(MAD2RL)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-06-11T06:31:03Z) - Real-Time FJ/MAC PDE Solvers via Tensorized, Back-Propagation-Free
Optical PINN Training [5.809283001227614]
本稿では,物理インフォームドニューラルネットワーク(PINN)のためのオンチップトレーニングフレームワークを開発する。
これは、fJ/MACフォトニック電力消費と超低レイテンシで高次元PDEを解決することを目的としている。
これは、高次元PDEを解くために適用可能な、最初のリアルタイム光PINNトレーニングフレームワークである。
論文 参考訳（メタデータ） (2023-12-31T07:10:15Z) - On-Device Learning with Binary Neural Networks [2.7040098749051635]
我々は、最近のCL分野の進歩とBNN(Binary Neural Networks)の効率を取り入れたCLソリューションを提案する。
バックボーンとしてのバイナリネットワークの選択は、低消費電力デバイスの制約を満たすために不可欠である。
論文 参考訳（メタデータ） (2023-08-29T13:48:35Z) - Symbolic Learning to Optimize: Towards Interpretability and Scalability [113.23813868412954]
近年のL2O(Learning to Optimize)研究は,複雑なタスクに対する最適化手順の自動化と高速化に期待できる道のりを示唆している。
既存のL2Oモデルは、ニューラルネットワークによる最適化ルールをパラメータ化し、メタトレーニングを通じてそれらの数値ルールを学ぶ。
本稿では,L2Oの総合的な記号表現と解析の枠組みを確立する。
そこで本稿では,大規模問題にメタトレーニングを施す軽量なL2Oモデルを提案する。
論文 参考訳（メタデータ） (2022-03-13T06:04:25Z) - Silicon photonic subspace neural chip for hardware-efficient deep
learning [11.374005508708995]
光ニューラルネットワーク(ONN)は次世代のニューロコンピューティングの候補として期待されている。
ハードウェア効率の良いフォトニックサブスペースニューラルネットワークアーキテクチャを考案する。
我々は,バタフライ型プログラマブルシリコンフォトニック集積回路上でPSNNを実験的に実証した。
論文 参考訳（メタデータ） (2021-11-11T06:34:05Z) - 3U-EdgeAI: Ultra-Low Memory Training, Ultra-Low BitwidthQuantization,
and Ultra-Low Latency Acceleration [8.419854797930668]
エッジ上のディープニューラルネットワーク(DNN)ベースのAIアプリケーションは、低コストのコンピューティングプラットフォームと高品質なサービスの両方を必要とする。
本稿では、トレーニング、量子化、加速器設計の重要性を強調し、エッジ上のAI分野におけるさらなる研究のブレークスルーを求める。
論文 参考訳（メタデータ） (2021-05-11T03:22:30Z) - Efficient On-Chip Learning for Optical Neural Networks Through
Power-Aware Sparse Zeroth-Order Optimization [12.052076188811052]
光ニューラルネットワーク(ONN)は、ニューロモルフィックコンピューティングにおける記録破りの可能性を示した。
我々は,パワー効率向上のためのONNの潜在能力を最大限に発揮するための,新しいオンチップ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-12-21T07:00:39Z) - Optimizing Memory Placement using Evolutionary Graph Reinforcement
Learning [56.83172249278467]
大規模検索空間を対象とした進化グラフ強化学習(EGRL)を提案する。
我々は、推論のために、Intel NNP-Iチップ上で、我々のアプローチを直接訓練し、検証する。
また,NNP-Iコンパイラと比較して28～78%の高速化を実現している。
論文 参考訳（メタデータ） (2020-07-14T18:50:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。