Fugu-MT 論文翻訳(概要): Efficient On-Chip Learning for Optical Neural Networks Through Power-Aware Sparse Zeroth-Order Optimization

論文の概要: Efficient On-Chip Learning for Optical Neural Networks Through Power-Aware Sparse Zeroth-Order Optimization

arxiv url: http://arxiv.org/abs/2012.11148v2
Date: Mon, 1 Mar 2021 03:48:26 GMT
ステータス: 処理完了
システム内更新日: 2021-04-27 06:19:24.359068
Title: Efficient On-Chip Learning for Optical Neural Networks Through Power-Aware Sparse Zeroth-Order Optimization
Title（参考訳）: パワーアウェアスパースゼロ次最適化による光ニューラルネットワークの効率的なオンチップ学習
Authors: Jiaqi Gu, Chenghao Feng, Zheng Zhao, Zhoufeng Ying, Ray T. Chen, David Z. Pan
Abstract要約: 光ニューラルネットワーク(ONN)は、ニューロモルフィックコンピューティングにおける記録破りの可能性を示した。我々は,パワー効率向上のためのONNの潜在能力を最大限に発揮するための,新しいオンチップ学習フレームワークを提案する。
参考スコア（独自算出の注目度）: 12.052076188811052
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Optical neural networks (ONNs) have demonstrated record-breaking potential in high-performance neuromorphic computing due to their ultra-high execution speed and low energy consumption. However, current learning protocols fail to provide scalable and efficient solutions to photonic circuit optimization in practical applications. In this work, we propose a novel on-chip learning framework to release the full potential of ONNs for power-efficient in situ training. Instead of deploying implementation-costly back-propagation, we directly optimize the device configurations with computation budgets and power constraints. We are the first to model the ONN on-chip learning as a resource-constrained stochastic noisy zeroth-order optimization problem, and propose a novel mixed-training strategy with two-level sparsity and power-aware dynamic pruning to offer a scalable on-chip training solution in practical ONN deployment. Compared with previous methods, we are the first to optimize over 2,500 optical components on chip. We can achieve much better optimization stability, 3.7x-7.6x higher efficiency, and save >90% power under practical device variations and thermal crosstalk.
Abstract（参考訳）: 光ニューラルネットワーク(ONN)は、超高速実行速度と低エネルギー消費により、高性能なニューロモルフィックコンピューティングにおいて記録破りの可能性を示している。しかし、現在の学習プロトコルは、実用的な応用においてフォトニック回路最適化のスケーラブルで効率的なソリューションを提供していない。そこで本研究では,ONNのパワー効率向上のための潜在能力を最大限に発揮するための,新しいオンチップ学習フレームワークを提案する。実装コストのかかるバックプロパゲーションをデプロイする代わりに、計算予算と電力制約でデバイス構成を直接最適化します。我々は,onnオンチップ学習を資源制約付き確率的ゼロ次最適化問題としてモデル化し,実用的onn展開においてスケーラブルなオンチップトレーニングソリューションを提供するために,2レベルスパーシティとパワーアウェア動的プルーニングを用いた新しい混合学習戦略を提案する。従来の手法と比較して、我々は初めて2500以上の光学部品をチップ上で最適化した。最適化の安定性が向上し、3.7x-7.6倍の効率が向上し、実用的なデバイスバリエーションと熱クロストークで90%以上の電力を節約できる。

関連論文リスト

Hardware-Software Co-optimised Fast and Accurate Deep Reconfigurable Spiking Inference Accelerator Architecture Design Methodology [2.968768532937366]
Spiking Neural Networks(SNN)は、機械学習モデルのエネルギー効率を改善するための有望なアプローチとして登場した。我々は,ソフトウェア学習深層ニューラルネットワーク(DNN)を高精度スパイキングモデルに移植するハードウェア・ソフトウェア共同最適化戦略を開発した。
論文参考訳（メタデータ） (2024-10-07T05:04:13Z)
Optical training of large-scale Transformers and deep neural networks with direct feedback alignment [48.90869997343841]
我々は,ハイブリッド電子フォトニックプラットフォーム上で,ダイレクトフィードバックアライメントと呼ばれる多目的でスケーラブルなトレーニングアルゴリズムを実験的に実装した。光処理ユニットは、このアルゴリズムの中央動作である大規模ランダム行列乗算を最大1500テラOpsで行う。我々は、ハイブリッド光アプローチの計算スケーリングについて検討し、超深度・広帯域ニューラルネットワークの潜在的な利点を実証する。
論文参考訳（メタデータ） (2024-09-01T12:48:47Z)
Sparks of Quantum Advantage and Rapid Retraining in Machine Learning [0.0]
本研究では、最小パラメータで複雑な関数を表現するために、強力なニューラルネットワークアーキテクチャを最適化する。高速再トレーニング機能を導入し、古いサンプルを再処理することなく、ネットワークを新しいデータで再トレーニングできるようにする。量子ハードウェアとアルゴリズム最適化のさらなる進歩により、量子最適化機械学習モデルが幅広い応用をもたらす可能性が示唆された。
論文参考訳（メタデータ） (2024-07-22T19:55:44Z)
DNN Partitioning, Task Offloading, and Resource Allocation in Dynamic Vehicular Networks: A Lyapunov-Guided Diffusion-Based Reinforcement Learning Approach [49.56404236394601]
本稿では,Vehicular Edge Computingにおける共同DNNパーティショニング,タスクオフロード,リソース割り当ての問題を定式化する。我々の目標は、時間とともにシステムの安定性を保証しながら、DNNベースのタスク完了時間を最小化することである。拡散モデルの革新的利用を取り入れたマルチエージェント拡散に基づく深層強化学習(MAD2RL)アルゴリズムを提案する。
論文参考訳（メタデータ） (2024-06-11T06:31:03Z)
Auto-Train-Once: Controller Network Guided Automatic Network Pruning from Scratch [72.26822499434446]
オートトレインオース (Auto-Train-Once, ATO) は、DNNの計算コストと記憶コストを自動的に削減するために設計された、革新的なネットワークプルーニングアルゴリズムである。総合的な収束解析と広範な実験を行い,本手法が様々なモデルアーキテクチャにおける最先端性能を実現することを示す。
論文参考訳（メタデータ） (2024-03-21T02:33:37Z)
Real-Time Machine-Learning-Based Optimization Using Input Convex Long Short-Term Memory Network [18.84965086425835]
本稿では,エネルギー・化学系の入力メモリに基づくニューラルネットワークを用いた新しい最適化手法を提案する。ランタイムの観点から,ICLSTMに基づく最適化の優れた性能を示す。具体的には、シンガポールのLHTホールディングスにおける実世界のエネルギーシステムのリアルタイム最適化問題において、IC-LSTMに基づく最適化は従来のLSTMによる最適化に比べて少なくとも4倍の精度で達成された。
論文参考訳（メタデータ） (2023-11-13T09:41:32Z)
Towards Compute-Optimal Transfer Learning [82.88829463290041]
我々は、事前訓練されたモデルのゼロショット構造化プルーニングにより、性能を最小限に抑えて計算効率を向上させることができると主張している。その結果,事前訓練されたモデルの畳み込み畳み込みフィルタは,低計算条件下で20%以上の性能向上をもたらす可能性が示唆された。
論文参考訳（メタデータ） (2023-04-25T21:49:09Z)
Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
論文参考訳（メタデータ） (2022-09-04T06:45:33Z)
L2ight: Enabling On-Chip Learning for Optical Neural Networks via Efficient in-situ Subspace Optimization [10.005026783940682]
シリコンフォトニクスベースの光ニューラルネットワーク(ONN)は、効率的なAIのパラダイムシフトを示す可能性のある、有望なハードウェアプラットフォームである。そこで本研究では,スケーラブルなONNマッピングと効率的なin-situ学習を実現するための,閉ループONNオンチップ学習フレームワークL2ightを提案する。
論文参考訳（メタデータ） (2021-10-27T22:53:47Z)
Deep Learning-based Power Control for Cell-Free Massive MIMO Networks [11.814562485294916]
セルフリー大規模マルチインプットマルチアウトプット(MIMO)システムにおける最大ユーザフェアネス問題を解決するために,電力制御アルゴリズムを提案する。数学的最適化理論を用いて問題をモデル化し、反復アルゴリズムで解く代わりに、提案した解法はディープラーニング(DL)を用いる。オンライン学習の段階も導入され、4～6倍高速な処理でほぼ最適性能が得られる。
論文参考訳（メタデータ） (2021-02-20T14:59:42Z)
Adaptive pruning-based optimization of parameterized quantum circuits [62.997667081978825]
Variisyハイブリッド量子古典アルゴリズムは、ノイズ中間量子デバイスの使用を最大化する強力なツールである。我々は、変分量子アルゴリズムで使用されるそのようなアンサーゼを「効率的な回路訓練」(PECT)と呼ぶ戦略を提案する。すべてのアンサッツパラメータを一度に最適化する代わりに、PECTは一連の変分アルゴリズムを起動する。
論文参考訳（メタデータ） (2020-10-01T18:14:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。