論文の概要: Sorted Weight Sectioning for Energy-Efficient Unstructured Sparse DNNs on Compute-in-Memory Crossbars

• arxiv url: http://arxiv.org/abs/2410.11298v1
• Date: Tue, 15 Oct 2024 05:37:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-16 14:03:06.622282
• Title: Sorted Weight Sectioning for Energy-Efficient Unstructured Sparse DNNs on Compute-in-Memory Crossbars
• Title（参考訳）: メモリ・イン・メモリ・クロスバー上でのエネルギー効率の良いスパースDNNのSorted Weight Sectioning
• Authors: Matheus Farias, H. T. Kung,
• Abstract要約: $textitsorted weight sectioning$ (SWS) は、ビットスライクな計算インメモリ(CIM)クロスバーにソートされたディープニューラルネットワーク(DNN)重みを配置する重み付けアルゴリズムである。 提案手法は,非構造スパルスBERTモデルにおけるADCエネルギー使用量を89.5%削減する。
• 参考スコア（独自算出の注目度）: 4.089232204089156
• License:
• Abstract: We introduce $\textit{sorted weight sectioning}$ (SWS): a weight allocation algorithm that places sorted deep neural network (DNN) weight sections on bit-sliced compute-in-memory (CIM) crossbars to reduce analog-to-digital converter (ADC) energy consumption. Data conversions are the most energy-intensive process in crossbar operation. SWS effectively reduces this cost leveraging (1) small weights and (2) zero weights (weight sparsity). DNN weights follow bell-shaped distributions, with most weights near zero. Using SWS, we only need low-order crossbar columns for sections with low-magnitude weights. This reduces the quantity and resolution of ADCs used, exponentially decreasing ADC energy costs without significantly degrading DNN accuracy. Unstructured sparsification further sharpens the weight distribution with small accuracy loss. However, it presents challenges in hardware tracking of zeros: we cannot switch zero rows to other layer weights in unsorted crossbars without index matching. SWS efficiently addresses unstructured sparse models using offline remapping of zeros into earlier sections, which reveals full sparsity potential and maximizes energy efficiency. Our method reduces ADC energy use by 89.5% on unstructured sparse BERT models. Overall, this paper introduces a novel algorithm to promote energy-efficient CIM crossbars for unstructured sparse DNN workloads.
• Abstract（参考訳）: 我々は、ビットスライクな計算インメモリ(CIM)クロスバー上に、ソートされたディープニューラルネットワーク(DNN)重み付けアルゴリズムを配置し、アナログ・デジタルコンバータ(ADC)エネルギー消費量を削減する。 データ変換はクロスバー操作において最もエネルギー集約的なプロセスである。 SWSは、(1)小重量と(2)ゼロ重量(重み)を活用することにより、このコストを効果的に削減する。 DNNの重みはベル型の分布に従っており、ほとんどの重みはゼロに近い。 SWSを用いることで、低次重みを持つセクションに対してのみ、低次クロスバー列が必要である。 これにより、使用するADCの量と分解能を低減し、DNNの精度を著しく低下させることなく、ADCのエネルギーコストを指数関数的に削減する。 非構造スペーシフィケーションは、より小さな精度の損失で重量分布を鋭くする。 しかし、ゼロ列のハードウェア追跡における課題は、索引マッチングなしでは、ソートしないクロスバーにおいてゼロ列を他の層重みに切り替えることができないことである。 SWSはゼロを初期区間にオフラインで再マッピングすることで非構造スパースモデルに効率よく対処し、完全な空間ポテンシャルを示し、エネルギー効率を最大化する。 提案手法は,非構造スパルスBERTモデルにおけるADCエネルギー使用量を89.5%削減する。 本稿では,非構造的スパースDNNワークロードに対して,エネルギー効率の高いCIMクロスバーを促進する新しいアルゴリズムを提案する。

関連論文リスト

• OvSW: Overcoming Silent Weights for Accurate Binary Neural Networks [19.41917323210239]
  バイナリニューラルネットワーク(BNN)における重み付け更新の効率性について検討する。 バニラBNNでは、トレーニング中に重量の50%以上が変化していない。 この問題に対処するために、オーバーカム・サイレント・ウェイト(OvSW)を提案する。
  論文  参考訳（メタデータ） (2024-07-07T05:01:20Z)
• Learning to Compose SuperWeights for Neural Parameter Allocation Search [61.078949532440724]
  提案手法は,同じ重み集合を用いて多くのネットワークに対してパラメータを生成することができることを示す。 これにより、効率的なアンサンブルや、いつでも予測できるようなタスクをサポートできます。
  論文  参考訳（メタデータ） (2023-12-03T04:20:02Z)
• Single-Shot Optical Neural Network [55.41644538483948]
  深層ニューラルネットワークに必要な計算資源を削減するために,「重定常」アナログ光学・電子ハードウェアが提案されている。 我々は、スケーラブルで1層当たり単発の重み付き光学プロセッサを提案する。
  論文  参考訳（メタデータ） (2022-05-18T17:49:49Z)
• Examining and Mitigating the Impact of Crossbar Non-idealities for Accurate Implementation of Sparse Deep Neural Networks [2.4283778735260686]
  非理想のクロスバーにマッピングされた未処理のDNNと比較して、スパースディープニューラルネットワーク(DNN)が深刻な精度の損失をもたらすことを示す。 我々は,クロスバー列再構成とWCT (Weight-Constrained-Training) の2つの緩和手法を提案する。 これらは、クロスバー上の低コンダクタンスシナプスの割合を増大させ、計算精度を向上させることで、非イデアルを緩和するのに役立つ。
  論文  参考訳（メタデータ） (2022-01-13T21:56:48Z)
• CREW: Computation Reuse and Efficient Weight Storage for Hardware-accelerated MLPs and RNNs [1.0635248457021496]
  本稿では,ReuseとEfficient Weight Storage機構を実装したハードウェアアクセラレータCREWを紹介する。 CREWは乗算数を大幅に削減し、モデルメモリフットプリントとメモリ帯域幅使用量を大幅に削減する。 CREWは平均2.61倍のスピードアップと2.42倍の省エネを提供する。
  論文  参考訳（メタデータ） (2021-07-20T11:10:54Z)
• ReCU: Reviving the Dead Weights in Binary Neural Networks [153.6789340484509]
  我々は,BNNのトレーニング中にほとんど更新されない重みのグループを指す「死重み」の影響について検討する。 ReCUによる「死重み」の復活は、量子化誤差が小さくなることを示す。 提案手法は,高速なBNNトレーニングだけでなく,CIFAR-10およびImageNet上での最先端のパフォーマンスも提供する。
  論文  参考訳（メタデータ） (2021-03-23T08:11:20Z)
• Learning N:M Fine-grained Structured Sparse Neural Networks From Scratch [75.69506249886622]
  ディープニューラルネットワーク(DNN)におけるスパーシティは、資源制約された環境でモデルを圧縮し、加速するために広く研究されている。 本稿では,N:M細粒構造スパースネットワークのスクラッチからトレーニングを初めて行う。
  論文  参考訳（メタデータ） (2021-02-08T05:55:47Z)
• SmartDeal: Re-Modeling Deep Network Weights for Efficient Inference and Training [82.35376405568975]
  ディープニューラルネットワーク(DNN)は重いパラメータ化を伴い、ストレージ用の外部動的ランダムアクセスメモリ(DRAM)につながります。 We present SmartDeal (SD), a algorithm framework to trade high-cost memory storage/ access for lower-cost compute。 SDは貯蔵および訓練エネルギーの10.56xそして4.48x減少、最先端の訓練のベースラインと比較される無視可能な正確さの損失をもたらすことを示します。
  論文  参考訳（メタデータ） (2021-01-04T18:54:07Z)
• Sparsity-Control Ternary Weight Networks [34.00378876525579]
  我々は、乗算を回避し、メモリと要求を大幅に削減できる3次重み -1, 0, +1 ネットワークのトレーニングに重点を置いている。 既存の3次重みネットワークのトレーニングアプローチでは、3次重みの間隔を制御できない。 3次重みネットワークをトレーニングするための第一時空間制御手法(SCA)を提案する。
  論文  参考訳（メタデータ） (2020-11-01T18:06:26Z)
• Bit Error Robustness for Energy-Efficient DNN Accelerators [93.58572811484022]
  本稿では、ロバストな固定点量子化、重み切り、ランダムビット誤り訓練(RandBET)の組み合わせにより、ランダムビット誤りに対するロバスト性を向上することを示す。 これは低電圧動作と低精度量子化の両方から高エネルギーの節約につながる。
  論文  参考訳（メタデータ） (2020-06-24T18:23:10Z)
• Exploiting Weight Redundancy in CNNs: Beyond Pruning and Quantization [0.2538209532048866]
  畳み込みニューラルネットワーク(CNN)の性能と記憶効率を向上させる方法として、プルーニングと量子化が証明されている。 CNN重みテンソルにおける別の冗長性は、類似した値の繰り返しパターンの形で識別する。
  論文  参考訳（メタデータ） (2020-06-22T01:54:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。