論文の概要: Efficient On-Chip Learning for Optical Neural Networks Through
Power-Aware Sparse Zeroth-Order Optimization
- arxiv url: http://arxiv.org/abs/2012.11148v2
- Date: Mon, 1 Mar 2021 03:48:26 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-27 06:19:24.359068
- Title: Efficient On-Chip Learning for Optical Neural Networks Through
Power-Aware Sparse Zeroth-Order Optimization
- Title(参考訳): パワーアウェアスパースゼロ次最適化による光ニューラルネットワークの効率的なオンチップ学習
- Authors: Jiaqi Gu, Chenghao Feng, Zheng Zhao, Zhoufeng Ying, Ray T. Chen, David
Z. Pan
- Abstract要約: 光ニューラルネットワーク(ONN)は、ニューロモルフィックコンピューティングにおける記録破りの可能性を示した。
我々は,パワー効率向上のためのONNの潜在能力を最大限に発揮するための,新しいオンチップ学習フレームワークを提案する。
- 参考スコア(独自算出の注目度): 12.052076188811052
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Optical neural networks (ONNs) have demonstrated record-breaking potential in
high-performance neuromorphic computing due to their ultra-high execution speed
and low energy consumption. However, current learning protocols fail to provide
scalable and efficient solutions to photonic circuit optimization in practical
applications. In this work, we propose a novel on-chip learning framework to
release the full potential of ONNs for power-efficient in situ training.
Instead of deploying implementation-costly back-propagation, we directly
optimize the device configurations with computation budgets and power
constraints. We are the first to model the ONN on-chip learning as a
resource-constrained stochastic noisy zeroth-order optimization problem, and
propose a novel mixed-training strategy with two-level sparsity and power-aware
dynamic pruning to offer a scalable on-chip training solution in practical ONN
deployment. Compared with previous methods, we are the first to optimize over
2,500 optical components on chip. We can achieve much better optimization
stability, 3.7x-7.6x higher efficiency, and save >90% power under practical
device variations and thermal crosstalk.
- Abstract(参考訳): 光ニューラルネットワーク(ONN)は、超高速実行速度と低エネルギー消費により、高性能なニューロモルフィックコンピューティングにおいて記録破りの可能性を示している。
しかし、現在の学習プロトコルは、実用的な応用においてフォトニック回路最適化のスケーラブルで効率的なソリューションを提供していない。
そこで本研究では,ONNのパワー効率向上のための潜在能力を最大限に発揮するための,新しいオンチップ学習フレームワークを提案する。
実装コストのかかるバックプロパゲーションをデプロイする代わりに、計算予算と電力制約でデバイス構成を直接最適化します。
我々は,onnオンチップ学習を資源制約付き確率的ゼロ次最適化問題としてモデル化し,実用的onn展開においてスケーラブルなオンチップトレーニングソリューションを提供するために,2レベルスパーシティとパワーアウェア動的プルーニングを用いた新しい混合学習戦略を提案する。
従来の手法と比較して、我々は初めて2500以上の光学部品をチップ上で最適化した。
最適化の安定性が向上し、3.7x-7.6倍の効率が向上し、実用的なデバイスバリエーションと熱クロストークで90%以上の電力を節約できる。
関連論文リスト
- Energy-Efficient On-Board Radio Resource Management for Satellite
Communications via Neuromorphic Computing [59.40731173370976]
本研究は,エネルギー効率のよい脳誘発機械学習モデルのオンボード無線リソース管理への応用について検討する。
関連するワークロードでは、Loihi 2に実装されたスパイクニューラルネットワーク(SNN)の方が精度が高く、CNNベースのリファレンスプラットフォームと比較して消費電力が100ドル以上削減される。
論文 参考訳(メタデータ) (2023-08-22T03:13:57Z) - Towards Compute-Optimal Transfer Learning [82.88829463290041]
我々は、事前訓練されたモデルのゼロショット構造化プルーニングにより、性能を最小限に抑えて計算効率を向上させることができると主張している。
その結果,事前訓練されたモデルの畳み込み畳み込みフィルタは,低計算条件下で20%以上の性能向上をもたらす可能性が示唆された。
論文 参考訳(メタデータ) (2023-04-25T21:49:09Z) - Approaching Globally Optimal Energy Efficiency in Interference Networks
via Machine Learning [22.926877147296594]
本研究は,マルチセル無線ネットワークにおけるエネルギー効率(EE)を最適化する機械学習手法を提案する。
その結果,この手法は分岐計算テストにより最適値に近いEEを達成できることが判明した。
論文 参考訳(メタデータ) (2022-11-25T08:36:34Z) - Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。
私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。
我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
論文 参考訳(メタデータ) (2022-09-04T06:45:33Z) - L2ight: Enabling On-Chip Learning for Optical Neural Networks via
Efficient in-situ Subspace Optimization [10.005026783940682]
シリコンフォトニクスベースの光ニューラルネットワーク(ONN)は、効率的なAIのパラダイムシフトを示す可能性のある、有望なハードウェアプラットフォームである。
そこで本研究では,スケーラブルなONNマッピングと効率的なin-situ学習を実現するための,閉ループONNオンチップ学習フレームワークL2ightを提案する。
論文 参考訳(メタデータ) (2021-10-27T22:53:47Z) - Variational Quantum Optimization with Multi-Basis Encodings [62.72309460291971]
マルチバスグラフ複雑性と非線形活性化関数の2つの革新の恩恵を受ける新しい変分量子アルゴリズムを導入する。
その結果,最適化性能が向上し,有効景観が2つ向上し,測定の進歩が減少した。
論文 参考訳(メタデータ) (2021-06-24T20:16:02Z) - Use of static surrogates in hyperparameter optimization [0.0]
本研究の目的は,ニューラルネットワークのアーキテクチャとトレーニングの両方を同時にチューニングするために,直接探索微分自由最適化アルゴリズムを適用するライブラリであるHyperNOMADを強化することである。
これらのHyperNOMADへの追加は、提案したソリューションの品質を損なうことなく、リソース消費を改善することが示されている。
論文 参考訳(メタデータ) (2021-03-14T16:15:53Z) - Deep Learning-based Power Control for Cell-Free Massive MIMO Networks [11.814562485294916]
セルフリー大規模マルチインプットマルチアウトプット(MIMO)システムにおける最大ユーザフェアネス問題を解決するために,電力制御アルゴリズムを提案する。
数学的最適化理論を用いて問題をモデル化し、反復アルゴリズムで解く代わりに、提案した解法はディープラーニング(DL)を用いる。
オンライン学習の段階も導入され、4~6倍高速な処理でほぼ最適性能が得られる。
論文 参考訳(メタデータ) (2021-02-20T14:59:42Z) - Deep Learning-based Resource Allocation For Device-to-Device
Communication [66.74874646973593]
デバイス間通信(D2D)を用いたマルチチャネルセルシステムにおいて,リソース割り当ての最適化のためのフレームワークを提案する。
任意のチャネル条件に対する最適な資源配分戦略をディープニューラルネットワーク(DNN)モデルにより近似する深層学習(DL)フレームワークを提案する。
シミュレーションの結果,提案手法のリアルタイム性能を低速で実現できることが確認された。
論文 参考訳(メタデータ) (2020-11-25T14:19:23Z) - Adaptive pruning-based optimization of parameterized quantum circuits [62.997667081978825]
Variisyハイブリッド量子古典アルゴリズムは、ノイズ中間量子デバイスの使用を最大化する強力なツールである。
我々は、変分量子アルゴリズムで使用されるそのようなアンサーゼを「効率的な回路訓練」(PECT)と呼ぶ戦略を提案する。
すべてのアンサッツパラメータを一度に最適化する代わりに、PECTは一連の変分アルゴリズムを起動する。
論文 参考訳(メタデータ) (2020-10-01T18:14:11Z) - Neural Networks for Encoding Dynamic Security-Constrained Optimal Power
Flow [0.0]
本稿では,それまでの難解な最適化制約を捕捉し,それらを混合整数線形プログラムに変換するフレームワークを提案する。
我々は,N-1セキュリティと小信号安定性を考慮した電力系統運用へのアプローチを実証し,コスト最適解を効率的に得る方法を示した。
論文 参考訳(メタデータ) (2020-03-17T21:01:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。