論文の概要: Asymmetrical estimator for training encapsulated deep photonic neural networks

• arxiv url: http://arxiv.org/abs/2405.18458v3
• Date: Sun, 17 Nov 2024 12:33:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:26:43.737700
• Title: Asymmetrical estimator for training encapsulated deep photonic neural networks
• Title（参考訳）: 深部フォトニックニューラルネットワークの訓練のための非対称推定器
• Authors: Yizhi Wang, Minjia Chen, Chunhui Yao, Jie Ma, Ting Yan, Richard Penty, Qixiang Cheng,
• Abstract要約: フォトニックニューラルネットワーク(PNN)は高速なインプロパゲーションと高帯域幅のパラダイムである。 デバイス・ツー・デバイスとシステム・ツー・システムの違いは、PNNの完全な知識を生み出す。 DPNNのカプセル化に適した非対称訓練法(AT法)を導入する。
• 参考スコア（独自算出の注目度）: 10.709758849326061
• License:
• Abstract: Photonic neural networks (PNNs) are fast in-propagation and high bandwidth paradigms that aim to popularize reproducible NN acceleration with higher efficiency and lower cost. However, the training of PNN is known to be a challenge, where the device-to-device and system-to-system variations create imperfect knowledge of the PNN. Despite backpropagation (BP)-based training algorithms often being the industry standard for their robustness, generality, and fast gradient convergence for digital training, existing PNN-BP methods rely heavily on the accurate intermediate state extraction for a deep PNN (DPNN). These information accesses truncate the photonic signal propagation, bottlenecking DPNN's operation speed and increasing the system construction cost. Here, we introduce the asymmetrical training (AT) method, tailored for encapsulated DPNNs, where the signal is preserved in the analogue photonic domain for the entire structure. AT's minimum information readout for training bypasses analogue-digital interfaces wherever possible for fast operation and minimum system footprint. AT's error tolerance and generality aim to promote PNN acceleration in a widened operational scenario despite the fabrication variations and imperfect controls. We demonstrated AT for encapsulated DPNN with integrated photonic chips, repeatably enhancing the performance from in-silico BP for different network structures and datasets.
• Abstract（参考訳）: フォトニックニューラルネットワーク(PNN)は、再現可能なNNアクセラレーションを高効率で低コストで普及させることを目的とした、高速なインプロパゲーションと高帯域幅のパラダイムである。 しかしながら、PNNのトレーニングは、デバイス・ツー・デバイスとシステム・ツー・システムの違いがPNNの不完全な知識を生み出すという課題であることが知られている。 バックプロパゲーション(BP)ベースのトレーニングアルゴリズムは、デジタルトレーニングの堅牢性、汎用性、高速勾配収束の業界標準となっていることが多いが、既存のPNN-BP手法はディープPNN(DPNN)の正確な中間状態抽出に大きく依存している。 これらの情報にアクセスすると、フォトニック信号の伝搬が途絶え、DPNNの動作速度がボトルネックになり、システム構築コストが増大する。 本稿では,DPNNのカプセル化に適した非対称トレーニング(AT)手法を紹介し,その信号は構造全体に対してアナログフォトニックドメインに保存される。 ATのトレーニング用最小情報読み出しは、可能な限り高速な操作と最小のシステムフットプリントが可能なアナログデジタルインターフェースをバイパスする。 ATのエラー耐性と汎用性は、製造のバリエーションや不完全な制御にもかかわらず、幅広い運用シナリオでPNN加速を促進することを目的としている。 我々は、集積フォトニックチップによるDPNNのカプセル化を実証し、異なるネットワーク構造とデータセットのためのサイリコBPの性能を再現的に向上させた。

関連論文リスト

• Dual adaptive training of photonic neural networks [30.86507809437016]
  フォトニックニューラルネットワーク(PNN)は、低レイテンシ、高エネルギー効率、高並列性を特徴とする電子の代わりに光子を用いて計算する。 既存のトレーニングアプローチでは、大規模PNNにおける体系的エラーの広範な蓄積には対処できない。 そこで本研究では,PNNモデルが実質的な系統的誤りに適応できるように,DAT(Dual Adaptive Training)を提案する。
  論文  参考訳（メタデータ） (2022-12-09T05:03:45Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Training Spiking Neural Networks with Local Tandem Learning [96.32026780517097]
  スパイキングニューラルネットワーク(SNN)は、前者よりも生物学的に可塑性でエネルギー効率が高いことが示されている。 本稿では,局所タンデム学習(Local Tandem Learning, LTL)と呼ばれる一般化学習規則を提案する。 CIFAR-10データセット上の5つのトレーニングエポック内に高速なネットワーク収束を示すとともに,計算複雑性が低い。
  論文  参考訳（メタデータ） (2022-10-10T10:05:00Z)
• Online Training Through Time for Spiking Neural Networks [66.7744060103562]
  スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。 近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。 本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
  論文  参考訳（メタデータ） (2022-10-09T07:47:56Z)
• DNN Training Acceleration via Exploring GPGPU Friendly Sparsity [16.406482603838157]
  本稿では、従来のランダムなニューロンやシナプスのドロップアウトを、通常のオンラインの行ベースもしくはタイルベースのドロップアウトパターンに置き換える近似ランダムドロップアウトを提案する。 次に,SGDに基づく探索アルゴリズムを開発し,行ベースあるいはタイルベースのドロップアウトパターンの分布を生成し,潜在的な精度損失を補う。 また,入力特徴図をその感度に基づいて動的にドロップアウトし,前向きおよび後向きのトレーニングアクセラレーションを実現するための感度対応ドロップアウト手法を提案する。
  論文  参考訳（メタデータ） (2022-03-11T01:32:03Z)
• Two-Timescale End-to-End Learning for Channel Acquisition and Hybrid Precoding [94.40747235081466]
  本研究では,ミリ波(mmWave)大規模マルチインプット多重出力(MIMO)システムのためのエンドツーエンドの深層学習に基づくジョイントトランスシーバ設計アルゴリズムを提案する。 我々は受信したパイロットを受信機でフィードバックビットにマッピングし、さらに送信機でハイブリッドプリコーダにフィードバックビットをマッピングするDNNアーキテクチャを開発した。
  論文  参考訳（メタデータ） (2021-10-22T20:49:02Z)
• A Meta-Learning Approach to the Optimal Power Flow Problem Under Topology Reconfigurations [69.73803123972297]
  メタラーニング(MTL)アプローチを用いて訓練されたDNNベースのOPF予測器を提案する。 開発したOPF予測器はベンチマークIEEEバスシステムを用いてシミュレーションにより検証される。
  論文  参考訳（メタデータ） (2020-12-21T17:39:51Z)
• TaxoNN: A Light-Weight Accelerator for Deep Neural Network Training [2.5025363034899732]
  本稿では,SGDアルゴリズムを単純な計算要素に分割することで,ベースラインDNNアクセラレータ(推論のみ)にトレーニング能力を付加する手法を提案する。 DNNトレーニングのための軽量加速器であるTaxoNNを提案する。 実験の結果,TaxoNNは実精度よりも平均0.97%,誤分類率が高いことがわかった。
  論文  参考訳（メタデータ） (2020-10-11T09:04:19Z)
• DIET-SNN: Direct Input Encoding With Leakage and Threshold Optimization in Deep Spiking Neural Networks [8.746046482977434]
  DIET-SNNは、膜漏れと発射閾値を最適化するために勾配降下で訓練された低深さスパイクネットワークである。 我々は,VGGおよびResNetアーキテクチャ上のCIFARおよびImageNetデータセットから画像分類タスクのDIET-SNNを評価する。 我々は、ImageNetデータセット上の5つのタイムステップ(推論レイテンシ)でトップ1の精度を69%達成し、同等の標準ANNよりも12倍少ない計算エネルギーを実現した。
  論文  参考訳（メタデータ） (2020-08-09T05:07:17Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。