論文の概要: Asymmetrical estimator for training encapsulated deep photonic neural networks
- arxiv url: http://arxiv.org/abs/2405.18458v3
- Date: Sun, 17 Nov 2024 12:33:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-19 14:26:43.737700
- Title: Asymmetrical estimator for training encapsulated deep photonic neural networks
- Title（参考訳）: 深部フォトニックニューラルネットワークの訓練のための非対称推定器
- Authors: Yizhi Wang, Minjia Chen, Chunhui Yao, Jie Ma, Ting Yan, Richard Penty, Qixiang Cheng,
- Abstract要約: フォトニックニューラルネットワーク(PNN)は高速なインプロパゲーションと高帯域幅のパラダイムである。
デバイス・ツー・デバイスとシステム・ツー・システムの違いは、PNNの完全な知識を生み出す。
DPNNのカプセル化に適した非対称訓練法(AT法)を導入する。
- 参考スコア（独自算出の注目度）: 10.709758849326061
- License:
- Abstract: Photonic neural networks (PNNs) are fast in-propagation and high bandwidth paradigms that aim to popularize reproducible NN acceleration with higher efficiency and lower cost. However, the training of PNN is known to be a challenge, where the device-to-device and system-to-system variations create imperfect knowledge of the PNN. Despite backpropagation (BP)-based training algorithms often being the industry standard for their robustness, generality, and fast gradient convergence for digital training, existing PNN-BP methods rely heavily on the accurate intermediate state extraction for a deep PNN (DPNN). These information accesses truncate the photonic signal propagation, bottlenecking DPNN's operation speed and increasing the system construction cost. Here, we introduce the asymmetrical training (AT) method, tailored for encapsulated DPNNs, where the signal is preserved in the analogue photonic domain for the entire structure. AT's minimum information readout for training bypasses analogue-digital interfaces wherever possible for fast operation and minimum system footprint. AT's error tolerance and generality aim to promote PNN acceleration in a widened operational scenario despite the fabrication variations and imperfect controls. We demonstrated AT for encapsulated DPNN with integrated photonic chips, repeatably enhancing the performance from in-silico BP for different network structures and datasets.
- Abstract（参考訳）: フォトニックニューラルネットワーク(PNN)は、再現可能なNNアクセラレーションを高効率で低コストで普及させることを目的とした、高速なインプロパゲーションと高帯域幅のパラダイムである。
しかしながら、PNNのトレーニングは、デバイス・ツー・デバイスとシステム・ツー・システムの違いがPNNの不完全な知識を生み出すという課題であることが知られている。
バックプロパゲーション(BP)ベースのトレーニングアルゴリズムは、デジタルトレーニングの堅牢性、汎用性、高速勾配収束の業界標準となっていることが多いが、既存のPNN-BP手法はディープPNN(DPNN)の正確な中間状態抽出に大きく依存している。
これらの情報にアクセスすると、フォトニック信号の伝搬が途絶え、DPNNの動作速度がボトルネックになり、システム構築コストが増大する。
本稿では,DPNNのカプセル化に適した非対称トレーニング(AT)手法を紹介し,その信号は構造全体に対してアナログフォトニックドメインに保存される。
ATのトレーニング用最小情報読み出しは、可能な限り高速な操作と最小のシステムフットプリントが可能なアナログデジタルインターフェースをバイパスする。
ATのエラー耐性と汎用性は、製造のバリエーションや不完全な制御にもかかわらず、幅広い運用シナリオでPNN加速を促進することを目的としている。
我々は、集積フォトニックチップによるDPNNのカプセル化を実証し、異なるネットワーク構造とデータセットのためのサイリコBPの性能を再現的に向上させた。
関連論文リスト
- Deep-Unrolling Multidimensional Harmonic Retrieval Algorithms on Neuromorphic Hardware [78.17783007774295]
本稿では,高精度かつエネルギー効率の高い単発多次元高調波検索のための変換に基づくニューロモルフィックアルゴリズムの可能性について検討する。
複雑な値の畳み込み層と活性化をスパイクニューラルネットワーク(SNN)に変換する新しい手法を開発した。
変換されたSNNは、元のCNNに比べて性能が低下し、ほぼ5倍の電力効率を実現している。
論文 参考訳（メタデータ） (2024-12-05T09:41:33Z) - Hardware-Aware DNN Compression via Diverse Pruning and Mixed-Precision
Quantization [1.0235078178220354]
本稿では, プルーニングと量子化を併用してハードウェアに配慮したディープニューラルネットワーク(DNN)の自動圧縮フレームワークを提案する。
われわれのフレームワークはデータセットの平均エネルギー消費量を39%減らし、平均精度損失を1.7%減らし、最先端のアプローチを著しく上回っている。
論文 参考訳（メタデータ） (2023-12-23T18:50:13Z) - Dual adaptive training of photonic neural networks [30.86507809437016]
フォトニックニューラルネットワーク(PNN)は、低レイテンシ、高エネルギー効率、高並列性を特徴とする電子の代わりに光子を用いて計算する。
既存のトレーニングアプローチでは、大規模PNNにおける体系的エラーの広範な蓄積には対処できない。
そこで本研究では,PNNモデルが実質的な系統的誤りに適応できるように,DAT(Dual Adaptive Training)を提案する。
論文 参考訳（メタデータ） (2022-12-09T05:03:45Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Online Training Through Time for Spiking Neural Networks [66.7744060103562]
スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。
近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。
本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
論文 参考訳（メタデータ） (2022-10-09T07:47:56Z) - Revisiting PINNs: Generative Adversarial Physics-informed Neural
Networks and Point-weighting Method [70.19159220248805]
物理インフォームドニューラルネットワーク(PINN)は、偏微分方程式(PDE)を数値的に解くためのディープラーニングフレームワークを提供する
本稿では,GA機構とPINNの構造を統合したGA-PINNを提案する。
本稿では,Adaboost法の重み付け戦略からヒントを得て,PINNのトレーニング効率を向上させるためのPW法を提案する。
論文 参考訳（メタデータ） (2022-05-18T06:50:44Z) - DNN Training Acceleration via Exploring GPGPU Friendly Sparsity [16.406482603838157]
本稿では、従来のランダムなニューロンやシナプスのドロップアウトを、通常のオンラインの行ベースもしくはタイルベースのドロップアウトパターンに置き換える近似ランダムドロップアウトを提案する。
次に,SGDに基づく探索アルゴリズムを開発し,行ベースあるいはタイルベースのドロップアウトパターンの分布を生成し,潜在的な精度損失を補う。
また,入力特徴図をその感度に基づいて動的にドロップアウトし,前向きおよび後向きのトレーニングアクセラレーションを実現するための感度対応ドロップアウト手法を提案する。
論文 参考訳（メタデータ） (2022-03-11T01:32:03Z) - Sub-bit Neural Networks: Learning to Compress and Accelerate Binary
Neural Networks [72.81092567651395]
Sub-bit Neural Networks (SNN) は、BNNの圧縮と高速化に適した新しいタイプのバイナリ量子化設計である。
SNNは、微細な畳み込みカーネル空間におけるバイナリ量子化を利用するカーネル対応最適化フレームワークで訓練されている。
ビジュアル認識ベンチマークの実験とFPGA上でのハードウェア展開は、SNNの大きな可能性を検証する。
論文 参考訳（メタデータ） (2021-10-18T11:30:29Z) - TaxoNN: A Light-Weight Accelerator for Deep Neural Network Training [2.5025363034899732]
本稿では,SGDアルゴリズムを単純な計算要素に分割することで,ベースラインDNNアクセラレータ(推論のみ)にトレーニング能力を付加する手法を提案する。
DNNトレーニングのための軽量加速器であるTaxoNNを提案する。
実験の結果,TaxoNNは実精度よりも平均0.97%,誤分類率が高いことがわかった。
論文 参考訳（メタデータ） (2020-10-11T09:04:19Z) - FSpiNN: An Optimization Framework for Memory- and Energy-Efficient
Spiking Neural Networks [14.916996986290902]
スパイキングニューラルネットワーク(SNN)は、スパイクタイピング依存の可塑性(STDP)ルールのために教師なし学習機能を提供する。
しかし、最先端のSNNは高い精度を達成するために大きなメモリフットプリントを必要とする。
トレーニングおよび推論処理のためのメモリ効率とエネルギー効率のよいSNNを得るための最適化フレームワークFSpiNNを提案する。
論文 参考訳（メタデータ） (2020-07-17T09:40:26Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。