論文の概要: Fast offset corrected in-memory training
- arxiv url: http://arxiv.org/abs/2303.04721v1
- Date: Wed, 8 Mar 2023 17:07:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-09 13:10:09.655941
- Title: Fast offset corrected in-memory training
- Title（参考訳）: 高速オフセット補正インメモリトレーニング
- Authors: Malte J. Rasch, Fabio Carta, Omebayode Fagbohungbe, Tayfun Gokmen
- Abstract要約: インメモリコンピューティングのための新しいアルゴリズムと改良アルゴリズムを2つ提案する。
Chopped-TTv2 (c-TTv2) と Analog Gradient Accumulation with Dynamic Reference (AGAD) は同じランタイムの複雑さを維持しているが、チョッパーを使用した残りのオフセットに対して正しい。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In-memory computing with resistive crossbar arrays has been suggested to
accelerate deep-learning workloads in highly efficient manner. To unleash the
full potential of in-memory computing, it is desirable to accelerate the
training as well as inference for large deep neural networks (DNNs). In the
past, specialized in-memory training algorithms have been proposed that not
only accelerate the forward and backward passes, but also establish tricks to
update the weight in-memory and in parallel. However, the state-of-the-art
algorithm (Tiki-Taka version 2 (TTv2)) still requires near perfect offset
correction and suffers from potential biases that might occur due to
programming and estimation inaccuracies, as well as longer-term instabilities
of the device materials. Here we propose and describe two new and improved
algorithms for in-memory computing (Chopped-TTv2 (c-TTv2) and Analog Gradient
Accumulation with Dynamic reference (AGAD)), that retain the same runtime
complexity but correct for any remaining offsets using choppers. These
algorithms greatly relax the device requirements and thus expanding the scope
of possible materials potentially employed for such fast in-memory DNN
training.
- Abstract（参考訳）: 抵抗性クロスバーアレイを用いたインメモリコンピューティングは、ディープラーニングのワークロードを高い効率で高速化することが提案されている。
インメモリコンピューティングの可能性を最大限に発揮するには、トレーニングの加速と大規模ディープニューラルネットワーク(dnn)の推論が望ましい。
過去には、前方と後方のパスを加速するだけでなく、ウェイトインメモリと並列にウェイトを更新するためのトリックを確立する特別なインメモリトレーニングアルゴリズムが提案されている。
しかし、最先端のアルゴリズム(Tiki-Takaバージョン2(TTv2))は依然としてほぼ完全なオフセット補正を必要としており、プログラムや推定の不正確さによって生じる可能性のあるバイアスや、デバイス材料の長期的な不安定さに悩まされている。
本稿では,メモリ内計算のための2つの新しい改良アルゴリズム(chopped-ttv2 (c-ttv2) と動的参照を用いたアナログ勾配累積法(agad))を提案する。
これらのアルゴリズムはデバイス要件を大幅に緩和し、このような高速なインメモリDNNトレーニングに使用される可能性のある材料の範囲を広げる。
関連論文リスト
- Optimal Gradient Checkpointing for Sparse and Recurrent Architectures using Off-Chip Memory [0.8321953606016751]
本稿では,スパースRNNとスパイキングニューラルネットワークの一般クラスに適したメモリ効率の高い勾配チェックポイント戦略を提案する。
再計算のオーバーヘッドを最小限に抑えながら、ローカルメモリリソースの使用を最適化し、Double Checkpointingが最も効果的な方法であることが判明した。
論文 参考訳（メタデータ） (2024-12-16T14:23:31Z) - Weight Block Sparsity: Training, Compilation, and AI Engine Accelerators [0.0]
Deep Neural Networks(DNN)が開発、トレーニング、利用され、高度なデバイスと限られたデバイスの両方に負担がかかっている。
私たちのソリューションは、ハードウェアに親しみやすい構造化された空間であるエムの重みブロック間隔を実装することです。
本稿では,Resnet50,Inception V3,VGG16を用いて,AIE2構成セット(AMD Versal FPGA)の正確かつ完全なコード生成による性能評価を行う。
論文 参考訳（メタデータ） (2024-07-12T17:37:49Z) - Improving Dual-Encoder Training through Dynamic Indexes for Negative
Mining [61.09807522366773]
本稿では,ソフトマックスを証明可能な境界で近似し,木を動的に維持するアルゴリズムを提案する。
我々は,2000万以上のターゲットを持つデータセットについて検討し,オラクル・ブルート力負の鉱業に関して,誤差を半分に削減した。
論文 参考訳（メタデータ） (2023-03-27T15:18:32Z) - GLEAM: Greedy Learning for Large-Scale Accelerated MRI Reconstruction [50.248694764703714]
アンロールされたニューラルネットワークは、最近最先端の加速MRI再構成を達成した。
これらのネットワークは、物理ベースの一貫性とニューラルネットワークベースの正規化を交互に組み合わせることで、反復最適化アルゴリズムをアンロールする。
我々は,高次元画像設定のための効率的なトレーニング戦略である加速度MRI再構成のためのグレディ・ラーニングを提案する。
論文 参考訳（メタデータ） (2022-07-18T06:01:29Z) - On-Device Training Under 256KB Memory [62.95579393237751]
本稿では,256KBのメモリでデバイス上でのトレーニングを可能にするアルゴリズム・システム協調設計フレームワークを提案する。
私たちのフレームワークは256KBと1MBのFlashで畳み込みニューラルネットワークのデバイス上での小さなトレーニングを可能にする最初のソリューションです。
論文 参考訳（メタデータ） (2022-06-30T17:59:08Z) - Quantized Neural Networks via {-1, +1} Encoding Decomposition and
Acceleration [83.84684675841167]
本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。
本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
論文 参考訳（メタデータ） (2021-06-18T03:11:15Z) - Hybrid In-memory Computing Architecture for the Training of Deep Neural
Networks [5.050213408539571]
ハードウェアアクセラレータ上でのディープニューラルネットワーク(DNN)のトレーニングのためのハイブリッドインメモリコンピューティングアーキテクチャを提案する。
HICをベースとしたトレーニングでは,ベースラインに匹敵する精度を達成するために,推論モデルのサイズが約50%小さくなることを示す。
シミュレーションの結果,HICをベースとしたトレーニングにより,PCMの耐久限界のごく一部に,デバイスによる書き込みサイクルの回数を自然に確保できることがわかった。
論文 参考訳（メタデータ） (2021-02-10T05:26:27Z) - SmartDeal: Re-Modeling Deep Network Weights for Efficient Inference and
Training [82.35376405568975]
ディープニューラルネットワーク(DNN)は重いパラメータ化を伴い、ストレージ用の外部動的ランダムアクセスメモリ(DRAM)につながります。
We present SmartDeal (SD), a algorithm framework to trade high-cost memory storage/ access for lower-cost compute。
SDは貯蔵および訓練エネルギーの10.56xそして4.48x減少、最先端の訓練のベースラインと比較される無視可能な正確さの損失をもたらすことを示します。
論文 参考訳（メタデータ） (2021-01-04T18:54:07Z) - Procrustes: a Dataflow and Accelerator for Sparse Deep Neural Network
Training [0.5219568203653523]
我々は,まず,第1の訓練を行わず,第2の訓練を行ない,第2の訓練を行ない,第1の訓練を行ない,第1の訓練を行ない,第1の訓練を行ない,第2の訓練を行ないながら,第1の訓練を行ない,第1の訓練を行ない,第2の訓練を行ないながら、第2の訓練を行ない、第2の訓練を行ない、第2の訓練を行ない、第2の訓練を行ない、第2の訓練を行ない、第2の訓練を行なう。
最先端のDNNアクセラレーターをスパーストレーニングサポートなしで使用した同等の未使用モデルのトレーニングと比較すると、Procrustesは最大3.26$times$少ないエネルギーを消費し、様々なモデルにわたって最大4$times$のスピードアップを提供する。
論文 参考訳（メタデータ） (2020-09-23T07:39:55Z) - Improving compute efficacy frontiers with SliceOut [31.864949424541344]
SliceOut - 最終テスト精度に影響を与えることなく、ディープラーニングモデルを高速にトレーニングするためのドロップアウトインスパイアされたスキームだ。
テスト時に、SliceOutをオフにすると、テストの正確性を保持する一連のアーキテクチャに暗黙のアンサンブルが実行される。
これにより、大規模な計算ワークロード全体の処理が高速化され、結果として生じるエネルギー消費とCO2エミッションが大幅に削減される。
論文 参考訳（メタデータ） (2020-07-21T15:59:09Z) - One-step regression and classification with crosspoint resistive memory
arrays [62.997667081978825]
高速で低エネルギーのコンピュータは、エッジでリアルタイム人工知能を実現するために要求されている。
ワンステップ学習は、ボストンの住宅のコスト予測と、MNIST桁認識のための2層ニューラルネットワークのトレーニングによって支援される。
結果は、クロスポイントアレイ内の物理計算、並列計算、アナログ計算のおかげで、1つの計算ステップで得られる。
論文 参考訳（メタデータ） (2020-05-05T08:00:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。