Fugu-MT 論文翻訳(概要): Pruning Coherent Integrated Photonic Neural Networks Using the Lottery Ticket Hypothesis

論文の概要: Pruning Coherent Integrated Photonic Neural Networks Using the Lottery Ticket Hypothesis

arxiv url: http://arxiv.org/abs/2112.07485v1
Date: Tue, 14 Dec 2021 15:45:14 GMT
ステータス: 処理完了
システム内更新日: 2021-12-15 16:46:53.626466
Title: Pruning Coherent Integrated Photonic Neural Networks Using the Lottery Ticket Hypothesis
Title（参考訳）: 宝くじ仮説を用いたプルーニングコヒーレント統合フォトニックニューラルネットワーク
Authors: Sanmitra Banerjee, Mahdi Nikdast, Sudeep Pasricha, Krishnendu Chakrabarty
Abstract要約: SC-IPNNは、フットプリントが大きく、トレーニングや推論のために高い静的電力消費に悩まされており、従来のプルーニング技術では刈り取られていない。重みパラメータの最小化によりこれらの課題を緩和する,SC-IPNNのハードウェア対応プルーニング手法を提案する。
参考スコア（独自算出の注目度）: 8.019317467917109
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Singular-value-decomposition-based coherent integrated photonic neural networks (SC-IPNNs) have a large footprint, suffer from high static power consumption for training and inference, and cannot be pruned using conventional DNN pruning techniques. We leverage the lottery ticket hypothesis to propose the first hardware-aware pruning method for SC-IPNNs that alleviates these challenges by minimizing the number of weight parameters. We prune a multi-layer perceptron-based SC-IPNN and show that up to 89% of the phase angles, which correspond to weight parameters in SC-IPNNs, can be pruned with a negligible accuracy loss (smaller than 5%) while reducing the static power consumption by up to 86%.
Abstract（参考訳）: 特異値分解に基づくコヒーレント統合フォトニックニューラルネットワーク(sc-ipnns)は足跡が大きく、トレーニングや推論のために高い静的電力消費を被り、従来のdnnプラニング技術では刈り取ることができない。我々は,ロッタリーチケット仮説を利用して,重量パラメータ数を最小化することにより,これらの課題を軽減したsc-ipnnのハードウェアアウェアプルーニング手法を提案する。我々は多層パーセプトロンを用いたsc-ipnnを試用し,sc-ipnnの重みパラメータに対応する位相角の最大89%を,静電消費電力を最大86%削減しつつ,精度の低下(5%未満)でプルーピングできることを示した。

関連論文リスト

LitE-SNN: Designing Lightweight and Efficient Spiking Neural Network through Spatial-Temporal Compressive Network Search and Joint Optimization [48.41286573672824]
スパイキングニューラルネットワーク(SNN)は人間の脳の情報処理機構を模倣し、エネルギー効率が高い。本稿では,空間圧縮と時間圧縮の両方を自動ネットワーク設計プロセスに組み込むLitE-SNNという新しい手法を提案する。
論文参考訳（メタデータ） (2024-01-26T05:23:11Z)
Hardware-Aware DNN Compression via Diverse Pruning and Mixed-Precision Quantization [1.0235078178220354]
本稿では, プルーニングと量子化を併用してハードウェアに配慮したディープニューラルネットワーク(DNN)の自動圧縮フレームワークを提案する。われわれのフレームワークはデータセットの平均エネルギー消費量を39%減らし、平均精度損失を1.7%減らし、最先端のアプローチを著しく上回っている。
論文参考訳（メタデータ） (2023-12-23T18:50:13Z)
Scale-Dropout: Estimating Uncertainty in Deep Neural Networks Using Stochastic Scale [0.7025445595542577]
ニューラルネットワーク(NN)の不確実性推定は、特に安全クリティカルなアプリケーションにおいて、予測の信頼性と信頼性を向上させる上で不可欠である。 Dropoutを近似とするBayNNは、不確実性に対する体系的なアプローチを提供するが、本質的には、電力、メモリ、定量化の点で高いハードウェアオーバーヘッドに悩まされている。提案するBayNNに対して,スピントロニクスメモリベースのCIMアーキテクチャを導入し,最先端技術と比較して100倍以上の省エネを実現した。
論文参考訳（メタデータ） (2023-11-27T13:41:20Z)
EPIM: Efficient Processing-In-Memory Accelerators based on Epitome [78.79382890789607]
畳み込みのような機能を提供する軽量神経オペレータであるEpitomeを紹介する。ソフトウェア側では,PIMアクセラレータ上でのエピトームのレイテンシとエネルギを評価する。ハードウェア効率を向上させるため,PIM対応層設計手法を提案する。
論文参考訳（メタデータ） (2023-11-12T17:56:39Z)
Workload-Balanced Pruning for Sparse Spiking Neural Networks [22.16634869332639]
Pruning for Spiking Neural Networks (SNN)は、リソース制約のあるエッジデバイスにディープSNNをデプロイするための基本的な方法論として登場した。我々は,LTH(Lottery Ticket hypothesis)に基づくプルーニング中にSNNの重み接続を監視し,調整するu-Ticketを提案する。実験の結果,U-Ticketは最大100%のハードウェア利用を保証でき,76.9%のレイテンシと63.8%のエネルギーコストを低減できることがわかった。
論文参考訳（メタデータ） (2023-02-13T23:18:47Z)
The Hardware Impact of Quantization and Pruning for Weights in Spiking Neural Networks [0.368986335765876]
パラメータの量子化とプルーニングは、モデルサイズを圧縮し、メモリフットプリントを削減し、低レイテンシ実行を容易にする。本研究では,身近な身近なジェスチャー認識システムであるSNNに対して,孤立度,累積的に,そして同時にプルーニングと量子化の様々な組み合わせについて検討する。本研究では,3次重みまで精度の低下に悩まされることなく,攻撃的パラメータ量子化に対処可能であることを示す。
論文参考訳（メタデータ） (2023-02-08T16:25:20Z)
Single-Shot Optical Neural Network [55.41644538483948]
深層ニューラルネットワークに必要な計算資源を削減するために,「重定常」アナログ光学・電子ハードウェアが提案されている。我々は、スケーラブルで1層当たり単発の重み付き光学プロセッサを提案する。
論文参考訳（メタデータ） (2022-05-18T17:49:49Z)
Random and Adversarial Bit Error Robustness: Energy-Efficient and Secure DNN Accelerators [105.60654479548356]
固定点量子化と重み切り、およびランダムビット誤り訓練(RandBET)の組み合わせにより、量子化DNN重みにおけるランダムビット誤りや逆ビット誤りに対するロバスト性を著しく向上することを示す。これは低電圧運転のための高省エネと低精度量子化をもたらすが、DNN加速器の安全性も向上する。
論文参考訳（メタデータ） (2021-04-16T19:11:14Z)
Hessian-Aware Pruning and Optimal Neural Implant [74.3282611517773]
プルーニングは、ニューラルネットワークモデルに関連するメモリフットプリントとフラップを減らす効果的な方法である。構造的プルーニングの指標として2次感度を用いたニューラルインプラントアプローチと組み合わされた新しいヘッセン認識プルーニング法を提案する。
論文参考訳（メタデータ） (2021-01-22T04:08:03Z)
Holistic Filter Pruning for Efficient Deep Neural Networks [25.328005340524825]
HFP(Holistic Filter Pruning)は、実装が容易で正確なプルーニング率の特定が可能な、一般的なDNNトレーニングのための新しいアプローチである。各種実験において,CIFAR-10 と ImageNet のトレーニングと最先端性能について考察した。
論文参考訳（メタデータ） (2020-09-17T09:23:36Z)
Bit Error Robustness for Energy-Efficient DNN Accelerators [93.58572811484022]
本稿では、ロバストな固定点量子化、重み切り、ランダムビット誤り訓練(RandBET)の組み合わせにより、ランダムビット誤りに対するロバスト性を向上することを示す。これは低電圧動作と低精度量子化の両方から高エネルギーの節約につながる。
論文参考訳（メタデータ） (2020-06-24T18:23:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。