論文の概要: Optimal Gradient Checkpointing for Sparse and Recurrent Architectures using Off-Chip Memory

• arxiv url: http://arxiv.org/abs/2412.11810v1
• Date: Mon, 16 Dec 2024 14:23:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 14:02:19.993786
• Title: Optimal Gradient Checkpointing for Sparse and Recurrent Architectures using Off-Chip Memory
• Title（参考訳）: オフチップメモリを用いたスパース・リカレントアーキテクチャのための最適勾配チェックポイント
• Authors: Wadjih Bencheikh, Jan Finkbeiner, Emre Neftci,
• Abstract要約: 本稿では,スパースRNNとスパイキングニューラルネットワークの一般クラスに適したメモリ効率の高い勾配チェックポイント戦略を提案する。 再計算のオーバーヘッドを最小限に抑えながら、ローカルメモリリソースの使用を最適化し、Double Checkpointingが最も効果的な方法であることが判明した。
• 参考スコア（独自算出の注目度）: 0.8321953606016751
• License:
• Abstract: Recurrent neural networks (RNNs) are valued for their computational efficiency and reduced memory requirements on tasks involving long sequence lengths but require high memory-processor bandwidth to train. Checkpointing techniques can reduce the memory requirements by only storing a subset of intermediate states, the checkpoints, but are still rarely used due to the computational overhead of the additional recomputation phase. This work addresses these challenges by introducing memory-efficient gradient checkpointing strategies tailored for the general class of sparse RNNs and Spiking Neural Networks (SNNs). SNNs are energy efficient alternatives to RNNs thanks to their local, event-driven operation and potential neuromorphic implementation. We use the Intelligence Processing Unit (IPU) as an exemplary platform for architectures with distributed local memory. We exploit its suitability for sparse and irregular workloads to scale SNN training on long sequence lengths. We find that Double Checkpointing emerges as the most effective method, optimizing the use of local memory resources while minimizing recomputation overhead. This approach reduces dependency on slower large-scale memory access, enabling training on sequences over 10 times longer or 4 times larger networks than previously feasible, with only marginal time overhead. The presented techniques demonstrate significant potential to enhance scalability and efficiency in training sparse and recurrent networks across diverse hardware platforms, and highlights the benefits of sparse activations for scalable recurrent neural network training.
• Abstract（参考訳）: リカレントニューラルネットワーク(RNN)は、長いシーケンスの長さを含むタスクにおいて、その計算効率とメモリ要求の低減のために評価されるが、トレーニングにはメモリプロセッサの帯域幅が高い。 チェックポイント技術は、中間状態、チェックポイントのサブセットのみを格納することでメモリ要求を減らすことができるが、追加の再計算フェーズの計算オーバーヘッドのため、依然としてほとんど使われない。 この研究は、スパースRNNとスパイキングニューラルネットワーク(SNN)の一般的なクラスに適したメモリ効率の高い勾配チェックポイント戦略を導入することで、これらの課題に対処する。 SNNは、局所的でイベント駆動の操作と潜在的なニューロモルフィック実装のおかげで、RNNのエネルギー効率の良い代替品である。 我々はインテリジェンス処理ユニット(IPU)を、分散ローカルメモリを持つアーキテクチャの例示プラットフォームとして使用しています。 スパースおよび不規則なワークロードに対して、長いシーケンス長でSNNトレーニングをスケールするために、その適合性を利用する。 再計算のオーバーヘッドを最小限に抑えながら、ローカルメモリリソースの使用を最適化し、Double Checkpointingが最も効果的な方法であることが判明した。 このアプローチは、大規模なメモリアクセスの遅さへの依存を減らし、従来よりも10倍、または4倍のネットワークをトレーニングできる。 提案した技術は、さまざまなハードウェアプラットフォームにわたるスパースとリカレントネットワークのトレーニングにおいて、スケーラビリティと効率性を向上する可能性を示し、スケーラブルなリカレントニューラルネットワークトレーニングにおけるスパースアクティベーションのメリットを強調している。

関連論文リスト

• LR-CNN: Lightweight Row-centric Convolutional Neural Network Training for Memory Reduction [21.388549904063538]
  多層構造を持つ畳み込みニューラルネットワークは急速に進歩している。 現在の取り組みは、追加のハードウェアコストによる外部補助ソリューションによるボトルネックの緩和と、潜在的な精度のペナルティによる内部修正によって緩和されている。 従来のレイヤ・バイ・レイヤ(カラム)データフロールールを破ります。現在では,すべての畳み込みレイヤを通じて,新たな操作が行に再編成されています。 この軽量な設計により、ほとんどの中間データを精度を損なうことなく取り除くことができる。
  論文  参考訳（メタデータ） (2024-01-21T12:19:13Z)
• Heterogenous Memory Augmented Neural Networks [84.29338268789684]
  ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。 学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。 In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
  論文  参考訳（メタデータ） (2023-10-17T01:05:28Z)
• Towards Zero Memory Footprint Spiking Neural Network Training [7.4331790419913455]
  スパイキングニューラルネットワーク(SNN)は、連続値ではなくスパイクと呼ばれる離散時間イベントを使用して情報を処理する。 本稿では,メモリフットプリントが著しく低いことを特徴とする,革新的なフレームワークを提案する。 我々の設計では、現在のSNNノードと比較してメモリ使用量の削減を$mathbf58.65times$で達成できる。
  論文  参考訳（メタデータ） (2023-08-16T19:49:24Z)
• Towards Memory- and Time-Efficient Backpropagation for Training Spiking Neural Networks [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックコンピューティングのためのエネルギー効率の高いモデルである。 本研究では,学習効率を大幅に向上させつつ,高い性能を達成できる空間学習時間(SLTT)法を提案する。 BPTTと比較して, メモリコストとトレーニング時間は, それぞれ70%以上, 50%以上削減されている。
  論文  参考訳（メタデータ） (2023-02-28T05:01:01Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• OLLA: Decreasing the Memory Usage of Neural Networks by Optimizing the Lifetime and Location of Arrays [6.418232942455968]
  OLLAは、ニューラルネットワークのトレーニングに使用されるテンソルの寿命とメモリ位置を最適化するアルゴリズムである。 問題のエンコーディングを単純化し、最先端のニューラルネットワークのサイズにスケールするためのアプローチを可能にするために、いくつかの手法を提案する。
  論文  参考訳（メタデータ） (2022-10-24T02:39:13Z)
• Efficient Hardware Acceleration of Sparsely Active Convolutional Spiking Neural Networks [0.0]
  スパイキングニューラルネットワーク(SNN)は、標準のニューラルネットワークよりも効率的な計算を実現するために、イベントベースで計算する。 本稿では,高いアクティベーション間隔を有する畳み込みSNNの処理に最適化された新しいアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-03-23T14:18:58Z)
• Quantized Neural Networks via {-1, +1} Encoding Decomposition and Acceleration [83.84684675841167]
  本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。 本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
  論文  参考訳（メタデータ） (2021-06-18T03:11:15Z)
• Selfish Sparse RNN Training [13.165729746380816]
  本稿では,1回のランでパラメータ数を固定したスパースRNNを,性能を損なうことなく訓練する手法を提案する。 我々はPenn TreeBankとWikitext-2の様々なデータセットを用いて最先端のスパーストレーニング結果を得る。
  論文  参考訳（メタデータ） (2021-01-22T10:45:40Z)
• Optimizing Memory Placement using Evolutionary Graph Reinforcement Learning [56.83172249278467]
  大規模検索空間を対象とした進化グラフ強化学習(EGRL)を提案する。 我々は、推論のために、Intel NNP-Iチップ上で、我々のアプローチを直接訓練し、検証する。 また,NNP-Iコンパイラと比較して28～78%の高速化を実現している。
  論文  参考訳（メタデータ） (2020-07-14T18:50:12Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。