論文の概要: Asymmetrical estimator for training encapsulated deep photonic neural networks

• arxiv url: http://arxiv.org/abs/2405.18458v2
• Date: Thu, 15 Aug 2024 10:58:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-16 18:17:13.593990
• Title: Asymmetrical estimator for training encapsulated deep photonic neural networks
• Title（参考訳）: 深部フォトニックニューラルネットワークの訓練のための非対称推定器
• Authors: Yizhi Wang, Minjia Chen, Chunhui Yao, Jie Ma, Ting Yan, Richard Penty, Qixiang Cheng,
• Abstract要約: 非対称訓練(asymmetrical training、AT)は、BPをベースとした訓練方法であり、カプセル化された深層ネットワーク上で訓練を行うことができる。 ATは既存のBP-PNN法に比べて時間とエネルギー効率が大幅に向上した。 集積フォトニックディープネットワークのためのATの耐エラー性および校正性のないトレーニングを実演する。
• 参考スコア（独自算出の注目度）: 10.709758849326061
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Scalable isomorphic physical neural networks (PNNs) are emerging NN acceleration paradigms for their high-bandwidth, in-propagation computation. Despite backpropagation (BP)-based training is often the industry standard for its robustness and fast gradient convergences, existing BP-PNN training methods need to truncate the propagation of analogue signal at each layer and acquire accurate hidden neuron readouts for deep networks. This compromises the incentive of PNN for fast in-propagation processing. In addition, the required readouts introduce massive bottlenecks due to the conversions between the analogue-digital interfaces to shuttle information across. These factors limit both the time and energy efficiency during training. Here we introduce the asymmetrical training (AT) method, a BP-based method that can perform training on an encapsulated deep network, where the information propagation is maintained within the analogue domain until the output layer. AT's minimum information access bypass analogue-digital interface bottleneck wherever possible. For any deep network structure, AT offers significantly improved time and energy efficiency compared to existing BP-PNN methods, and scales well for large network sizes. We demonstrated AT's error-tolerant and calibration-free training for encapsulated integrated photonic deep networks to achieve near ideal BP performances. AT's well-behaved training is demonstrated repeatably across different datasets and network structures
• Abstract（参考訳）: スケーラブルな同型物理ニューラルネットワーク(PNN)は、その高帯域幅インプロパゲーション計算のために、NNアクセラレーションパラダイムを生み出している。 バックプロパゲーション(BP)ベースのトレーニングは、その堅牢性と高速な勾配収束の業界標準であることが多いが、既存のBP-PNNトレーニング手法では、各層でのアナログ信号の伝播を切断し、ディープネットワークの正確な隠れニューロン読み取りを取得する必要がある。 これにより、高速なインプロパゲーション処理のためのPNNのインセンティブが損なわれる。 さらに、必要な読み出しはアナログ・デジタル・インタフェース間の変換によって情報を移動させるため、大きなボトルネックをもたらす。 これらの要因は、トレーニング中の時間とエネルギー効率の両方を制限する。 本稿では,非対称訓練(AT)法,BPに基づく深層ネットワーク上での訓練を行い,情報伝達をアナログ領域内で出力層まで維持する手法を紹介する。 ATの最小情報アクセスバイパスアナログ-デジタルインターフェースボトルネックは、可能であればどこでも発生します。 あらゆる深いネットワーク構造に対して、ATは既存のBP-PNN法に比べて時間とエネルギー効率が大幅に改善され、大規模なネットワークサイズに対して十分にスケールできる。 我々は, ほぼ理想的なBP性能を実現するために, 集積フォトニックディープネットワークをカプセル化するためのATの耐エラー性と校正不要なトレーニングを実演した。 ATの順調なトレーニングは、異なるデータセットとネットワーク構造間で繰り返し実施される

関連論文リスト

• Deep-Unrolling Multidimensional Harmonic Retrieval Algorithms on Neuromorphic Hardware [78.17783007774295]
  本稿では,高精度かつエネルギー効率の高い単発多次元高調波検索のための変換に基づくニューロモルフィックアルゴリズムの可能性について検討する。 複雑な値の畳み込み層と活性化をスパイクニューラルネットワーク(SNN)に変換する新しい手法を開発した。 変換されたSNNは、元のCNNに比べて性能が低下し、ほぼ5倍の電力効率を実現している。
  論文  参考訳（メタデータ） (2024-12-05T09:41:33Z)
• Hardware-Aware DNN Compression via Diverse Pruning and Mixed-Precision Quantization [1.0235078178220354]
  本稿では, プルーニングと量子化を併用してハードウェアに配慮したディープニューラルネットワーク(DNN)の自動圧縮フレームワークを提案する。 われわれのフレームワークはデータセットの平均エネルギー消費量を39%減らし、平均精度損失を1.7%減らし、最先端のアプローチを著しく上回っている。
  論文  参考訳（メタデータ） (2023-12-23T18:50:13Z)
• Dual adaptive training of photonic neural networks [30.86507809437016]
  フォトニックニューラルネットワーク(PNN)は、低レイテンシ、高エネルギー効率、高並列性を特徴とする電子の代わりに光子を用いて計算する。 既存のトレーニングアプローチでは、大規模PNNにおける体系的エラーの広範な蓄積には対処できない。 そこで本研究では,PNNモデルが実質的な系統的誤りに適応できるように,DAT(Dual Adaptive Training)を提案する。
  論文  参考訳（メタデータ） (2022-12-09T05:03:45Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Online Training Through Time for Spiking Neural Networks [66.7744060103562]
  スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。 近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。 本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
  論文  参考訳（メタデータ） (2022-10-09T07:47:56Z)
• Revisiting PINNs: Generative Adversarial Physics-informed Neural Networks and Point-weighting Method [70.19159220248805]
  物理インフォームドニューラルネットワーク(PINN)は、偏微分方程式(PDE)を数値的に解くためのディープラーニングフレームワークを提供する 本稿では,GA機構とPINNの構造を統合したGA-PINNを提案する。 本稿では,Adaboost法の重み付け戦略からヒントを得て,PINNのトレーニング効率を向上させるためのPW法を提案する。
  論文  参考訳（メタデータ） (2022-05-18T06:50:44Z)
• DNN Training Acceleration via Exploring GPGPU Friendly Sparsity [16.406482603838157]
  本稿では、従来のランダムなニューロンやシナプスのドロップアウトを、通常のオンラインの行ベースもしくはタイルベースのドロップアウトパターンに置き換える近似ランダムドロップアウトを提案する。 次に,SGDに基づく探索アルゴリズムを開発し,行ベースあるいはタイルベースのドロップアウトパターンの分布を生成し,潜在的な精度損失を補う。 また,入力特徴図をその感度に基づいて動的にドロップアウトし,前向きおよび後向きのトレーニングアクセラレーションを実現するための感度対応ドロップアウト手法を提案する。
  論文  参考訳（メタデータ） (2022-03-11T01:32:03Z)
• Sub-bit Neural Networks: Learning to Compress and Accelerate Binary Neural Networks [72.81092567651395]
  Sub-bit Neural Networks (SNN) は、BNNの圧縮と高速化に適した新しいタイプのバイナリ量子化設計である。 SNNは、微細な畳み込みカーネル空間におけるバイナリ量子化を利用するカーネル対応最適化フレームワークで訓練されている。 ビジュアル認識ベンチマークの実験とFPGA上でのハードウェア展開は、SNNの大きな可能性を検証する。
  論文  参考訳（メタデータ） (2021-10-18T11:30:29Z)
• TaxoNN: A Light-Weight Accelerator for Deep Neural Network Training [2.5025363034899732]
  本稿では,SGDアルゴリズムを単純な計算要素に分割することで,ベースラインDNNアクセラレータ(推論のみ)にトレーニング能力を付加する手法を提案する。 DNNトレーニングのための軽量加速器であるTaxoNNを提案する。 実験の結果,TaxoNNは実精度よりも平均0.97%,誤分類率が高いことがわかった。
  論文  参考訳（メタデータ） (2020-10-11T09:04:19Z)
• FSpiNN: An Optimization Framework for Memory- and Energy-Efficient Spiking Neural Networks [14.916996986290902]
  スパイキングニューラルネットワーク(SNN)は、スパイクタイピング依存の可塑性(STDP)ルールのために教師なし学習機能を提供する。 しかし、最先端のSNNは高い精度を達成するために大きなメモリフットプリントを必要とする。 トレーニングおよび推論処理のためのメモリ効率とエネルギー効率のよいSNNを得るための最適化フレームワークFSpiNNを提案する。
  論文  参考訳（メタデータ） (2020-07-17T09:40:26Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。