論文の概要: Energy-efficiency Limits on Training AI Systems using Learning-in-Memory
- arxiv url: http://arxiv.org/abs/2402.14878v1
- Date: Wed, 21 Feb 2024 21:02:11 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-26 16:49:43.265723
- Title: Energy-efficiency Limits on Training AI Systems using Learning-in-Memory
- Title(参考訳): 学習記憶を用いたAIシステムの訓練におけるエネルギー効率限界
- Authors: Zihao Chen and Johannes Leugering and Gert Cauwenberghs and Shantanu
Chakrabartty
- Abstract要約: 我々は、異なる学習インメモリアプローチを用いてAIシステムのトレーニングを行う際に、エネルギー散逸に関する新たな理論的な下限を導出する。
我々の予測では、LIMを用いた脳規模のAIシステムをトレーニングするためのエネルギー消費は108 sim 109$ Joulesであることが示唆されている。
- 参考スコア(独自算出の注目度): 5.945935315817107
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Learning-in-memory (LIM) is a recently proposed paradigm to overcome
fundamental memory bottlenecks in training machine learning systems. While
compute-in-memory (CIM) approaches can address the so-called memory-wall (i.e.
energy dissipated due to repeated memory read access) they are agnostic to the
energy dissipated due to repeated memory writes at the precision required for
training (the update-wall), and they don't account for the energy dissipated
when transferring information between short-term and long-term memories (the
consolidation-wall). The LIM paradigm proposes that these bottlenecks, too, can
be overcome if the energy barrier of physical memories is adaptively modulated
such that the dynamics of memory updates and consolidation match the Lyapunov
dynamics of gradient-descent training of an AI model. In this paper, we derive
new theoretical lower bounds on energy dissipation when training AI systems
using different LIM approaches. The analysis presented here is model-agnostic
and highlights the trade-off between energy efficiency and the speed of
training. The resulting non-equilibrium energy-efficiency bounds have a similar
flavor as that of Landauer's energy-dissipation bounds. We also extend these
limits by taking into account the number of floating-point operations (FLOPs)
used for training, the size of the AI model, and the precision of the training
parameters. Our projections suggest that the energy-dissipation lower-bound to
train a brain scale AI system (comprising of $10^{15}$ parameters) using LIM is
$10^8 \sim 10^9$ Joules, which is on the same magnitude the Landauer's
adiabatic lower-bound and $6$ to $7$ orders of magnitude lower than the
projections obtained using state-of-the-art AI accelerator hardware
lower-bounds.
- Abstract(参考訳): learning-in-memory (lim) は、機械学習システムのトレーニングにおいて基本的なメモリボトルネックを克服するために最近提案されたパラダイムである。
コンピュート・イン・メモリ(CIM)アプローチは、いわゆるメモリウォール(すなわち、繰り返しメモリの読み取りアクセスによって放出されるエネルギー)に対処できるが、トレーニングに必要な正確さ(更新ウォール)において繰り返しメモリ書き込みによって放出されるエネルギーとは無関係であり、短期記憶と長期記憶の間で情報を転送する際に放出されるエネルギー(統合ウォール)を考慮しない。
limパラダイムは、物理的記憶のエネルギー障壁が適応的に変調され、記憶の更新と統合のダイナミクスがaiモデルの勾配-青年トレーニングのリアプノフダイナミクスにマッチするようにすれば、これらのボトルネックも克服できると提案している。
本稿では、異なるLIM手法を用いてAIシステムのトレーニングを行う際に、エネルギー散逸に関する理論的な下限を導出する。
ここでは、モデルに依存しない分析を行い、エネルギー効率とトレーニング速度のトレードオフを強調した。
結果として生じる非平衡エネルギー効率境界は、ランダウアーのエネルギー散逸境界と同じ風味を持つ。
また、トレーニングに使用する浮動小数点演算(FLOP)の数、AIモデルのサイズ、トレーニングパラメータの精度を考慮して、これらの制限を拡張する。
我々の予測では、LIMを用いた脳規模のAIシステムをトレーニングするためのエネルギー散逸は10^8 \sim 10^9$ Joulesであり、これはランダウアーのアディベート低バウンドと同じ大きさで、最先端のAIアクセラレーターハードウェアの低バウンドを用いて得られた予測よりも6ドルから7ドル低い。
関連論文リスト
- Time-, Memory- and Parameter-Efficient Visual Adaptation [75.28557015773217]
バックボーンを介して勾配をバックプロパゲートしない適応法を提案する。
凍結した、事前訓練されたバックボーンの機能を利用する軽量ネットワークを並列に設計することで、これを実現する。
論文 参考訳(メタデータ) (2024-02-05T10:55:47Z) - Solving Boltzmann Optimization Problems with Deep Learning [0.21485350418225244]
Isingモデルは、高エネルギー効率計算のための将来のフレームワークとして、特に有望であることを示している。
イジングシステムは、計算のエネルギー消費に対する熱力学的限界に近づくエネルギーで操作することができる。
Isingベースのハードウェアを作成する際の課題は、基本的な非決定論的ハードウェア上で正しい結果を生成する有用な回路を最適化することである。
論文 参考訳(メタデータ) (2024-01-30T19:52:02Z) - Random resistive memory-based deep extreme point learning machine for
unified visual processing [67.51600474104171]
ハードウェア・ソフトウェア共同設計型, ランダム抵抗型メモリベース深部極点学習マシン(DEPLM)を提案する。
我々の共同設計システムは,従来のシステムと比較して,エネルギー効率の大幅な向上とトレーニングコストの削減を実現している。
論文 参考訳(メタデータ) (2023-12-14T09:46:16Z) - EMO: Episodic Memory Optimization for Few-Shot Meta-Learning [69.50380510879697]
メタ学習のためのエピソード記憶最適化は、EMOと呼ばれ、脳の記憶から過去の学習経験を思い出す人間の能力にインスパイアされている。
EMOは、限られた数の例によって提供される勾配が非形式的である場合でも、パラメータを正しい方向に更新する。
EMOは、ほとんど数ショットの分類ベンチマークでうまくスケールし、最適化ベースのメタラーニング手法の性能を改善している。
論文 参考訳(メタデータ) (2023-06-08T13:39:08Z) - POET: Training Neural Networks on Tiny Devices with Integrated
Rematerialization and Paging [35.397804171588476]
エッジデバイスの微調整モデルは、機密データに対するプライバシー保護のパーソナライゼーションを可能にする。
バッテリー駆動エッジデバイス上での大規模ニューラルネットワークのトレーニングを可能にするアルゴリズムであるPOETを提案する。
論文 参考訳(メタデータ) (2022-07-15T18:36:29Z) - Optimizing for In-memory Deep Learning with Emerging Memory Technology [10.176832742078991]
インメモリのディープラーニングは、性能密度とエネルギー効率の桁数をすでに証明している。
新興メモリ技術の使用により、密度、エネルギー、性能のさらなる向上が期待できる。
しかし、新興メモリ技術は本質的に不安定であり、データ読み込みのランダムな変動をもたらす。
これは非無視的な精度損失に変換でき、利得を無効にする可能性がある。
論文 参考訳(メタデータ) (2021-12-01T07:39:18Z) - An Adaptive Synaptic Array using Fowler-Nordheim Dynamic Analog Memory [6.681943980068049]
機械学習(ML)システムのエネルギー効率向上のためのアナログメモリを実装するために,動的状態を用いたシナプスアレイを提案する。
メモリ更新あたりのエネルギー散逸は5fJ以下で、14ビットまでのプログラム解像度を持つため、提案したシナプスアレイはトレーニングと推論フェーズ間のエネルギー効率の不均衡に対処することができる。
論文 参考訳(メタデータ) (2021-04-13T04:08:04Z) - SmartDeal: Re-Modeling Deep Network Weights for Efficient Inference and
Training [82.35376405568975]
ディープニューラルネットワーク(DNN)は重いパラメータ化を伴い、ストレージ用の外部動的ランダムアクセスメモリ(DRAM)につながります。
We present SmartDeal (SD), a algorithm framework to trade high-cost memory storage/ access for lower-cost compute。
SDは貯蔵および訓練エネルギーの10.56xそして4.48x減少、最先端の訓練のベースラインと比較される無視可能な正確さの損失をもたらすことを示します。
論文 参考訳(メタデータ) (2021-01-04T18:54:07Z) - One-step regression and classification with crosspoint resistive memory
arrays [62.997667081978825]
高速で低エネルギーのコンピュータは、エッジでリアルタイム人工知能を実現するために要求されている。
ワンステップ学習は、ボストンの住宅のコスト予測と、MNIST桁認識のための2層ニューラルネットワークのトレーニングによって支援される。
結果は、クロスポイントアレイ内の物理計算、並列計算、アナログ計算のおかげで、1つの計算ステップで得られる。
論文 参考訳(メタデータ) (2020-05-05T08:00:07Z) - Targeted free energy estimation via learned mappings [66.20146549150475]
自由エネルギー摂動 (FEP) は60年以上前にズワンツィヒによって自由エネルギー差を推定する方法として提案された。
FEPは、分布間の十分な重複の必要性という厳しい制限に悩まされている。
目標自由エネルギー摂動(Targeted Free Energy Perturbation)と呼ばれるこの問題を緩和するための1つの戦略は、オーバーラップを増やすために構成空間の高次元マッピングを使用する。
論文 参考訳(メタデータ) (2020-02-12T11:10:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。