論文の概要: Optimizing for In-memory Deep Learning with Emerging Memory Technology
- arxiv url: http://arxiv.org/abs/2112.00324v1
- Date: Wed, 1 Dec 2021 07:39:18 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-02 14:41:33.838644
- Title: Optimizing for In-memory Deep Learning with Emerging Memory Technology
- Title(参考訳): 新たなメモリ技術によるインメモリディープラーニングの最適化
- Authors: Zhehui Wang, Tao Luo, Rick Siow Mong Goh, Wei Zhang, Weng-Fai Wong
- Abstract要約: インメモリのディープラーニングは、性能密度とエネルギー効率の桁数をすでに証明している。
新興メモリ技術の使用により、密度、エネルギー、性能のさらなる向上が期待できる。
しかし、新興メモリ技術は本質的に不安定であり、データ読み込みのランダムな変動をもたらす。
これは非無視的な精度損失に変換でき、利得を無効にする可能性がある。
- 参考スコア(独自算出の注目度): 10.176832742078991
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In-memory deep learning computes neural network models where they are stored,
thus avoiding long distance communication between memory and computation units,
resulting in considerable savings in energy and time. In-memory deep learning
has already demonstrated orders of magnitude higher performance density and
energy efficiency. The use of emerging memory technology promises to increase
the gains in density, energy, and performance even further. However, emerging
memory technology is intrinsically unstable, resulting in random fluctuations
of data reads. This can translate to non-negligible accuracy loss, potentially
nullifying the gains. In this paper, we propose three optimization techniques
that can mathematically overcome the instability problem of emerging memory
technology. They can improve the accuracy of the in-memory deep learning model
while maximizing its energy efficiency. Experiments show that our solution can
fully recover most models' state-of-the-art accuracy, and achieves at least an
order of magnitude higher energy efficiency than the state-of-the-art.
- Abstract(参考訳): インメモリディープラーニングは、記憶されているニューラルネットワークモデルを計算し、メモリと計算ユニット間の長距離通信を避けることにより、エネルギーと時間を大幅に節約する。
インメモリディープラーニングはすでに、パフォーマンス密度とエネルギー効率を桁違いに高めている。
新たなメモリ技術を使用することで、密度、エネルギー、パフォーマンスのさらなる向上が期待できる。
しかし、新興メモリ技術は本質的に不安定であり、データ読み込みのランダムな変動をもたらす。
これは非無視的な精度損失に変換でき、利得を無効にする可能性がある。
本稿では,新しいメモリ技術の不安定性を数学的に克服する3つの最適化手法を提案する。
エネルギー効率を最大化しながら、インメモリディープラーニングモデルの精度を向上させることができる。
実験の結果,ほとんどのモデルの最先端の精度を完全に回復でき,最先端のエネルギー効率よりも1桁高いエネルギー効率が得られることがわかった。
関連論文リスト
- Energy-efficiency Limits on Training AI Systems using Learning-in-Memory [5.945935315817107]
我々は、異なる学習インメモリアプローチを用いてAIシステムのトレーニングを行う際に、エネルギー散逸に関する新たな理論的な下限を導出する。
我々の予測では、LIMを用いた脳規模のAIシステムをトレーニングするためのエネルギー消費は108 sim 109$ Joulesであることが示唆されている。
論文 参考訳(メタデータ) (2024-02-21T21:02:11Z) - Random resistive memory-based deep extreme point learning machine for
unified visual processing [67.51600474104171]
ハードウェア・ソフトウェア共同設計型, ランダム抵抗型メモリベース深部極点学習マシン(DEPLM)を提案する。
我々の共同設計システムは,従来のシステムと比較して,エネルギー効率の大幅な向上とトレーニングコストの削減を実現している。
論文 参考訳(メタデータ) (2023-12-14T09:46:16Z) - Pruning random resistive memory for optimizing analogue AI [54.21621702814583]
AIモデルは、エネルギー消費と環境持続可能性に前例のない課題を提示する。
有望な解決策の1つは、アナログコンピューティングを再考することである。
ここでは、構造的塑性に着想を得たエッジプルーニングを用いたユニバーサルソリューション、ソフトウェア・ハードウエアの共設計について報告する。
論文 参考訳(メタデータ) (2023-11-13T08:59:01Z) - AdaLomo: Low-memory Optimization with Adaptive Learning Rate [63.99489591661645]
大規模言語モデルに対する適応学習率(AdaLomo)を用いた低メモリ最適化を提案する。
AdaLomoはAdamWと同等の結果を得ると同時に、メモリ要件を大幅に削減し、大きな言語モデルをトレーニングするためのハードウェア障壁を低くする。
論文 参考訳(メタデータ) (2023-10-16T09:04:28Z) - Memoria: Resolving Fateful Forgetting Problem through Human-Inspired
Memory Architecture [7.012710335689297]
Memoriaは人工ニューラルネットワークのためのメモリシステムで、人間からインスピレーションを得ている。
従来の手法を超越したソートや言語モデリングといったタスクにおいて,メモリの有効性を実証した。
論文 参考訳(メタデータ) (2023-10-04T09:40:46Z) - A Brain-inspired Memory Transformation based Differentiable Neural
Computer for Reasoning-based Question Answering [3.036382664997076]
人間の基本的な認知機能としての推論と質問応答は、現在の人工知能にとって大きな課題である。
本論文は,脳の学習と記憶機構に動機付けられ,記憶変換に基づく微分可能ニューラルネットワーク(MT-DNC)モデルを提案する。
論文 参考訳(メタデータ) (2023-01-07T08:39:57Z) - More Is Better: An Analysis of Instance Quantity/Quality Trade-off in
Rehearsal-based Continual Learning [3.9596068699962315]
連続学習はコネクショナリストシステムの安定性・塑性ジレンマに対処する手段となっている。
本稿では、メモリに格納可能なインスタンス数を増やすために、様々なデータ削減アプローチを採用したメモリ量/品質トレードオフの分析を行う。
その結果, 最適トレードオフは, 非常に圧縮された複数のインスタンスによるリハーサルアプローチが, 最先端のアプローチよりも容易に向上することがわかった。
論文 参考訳(メタデータ) (2021-05-28T21:05:51Z) - Schematic Memory Persistence and Transience for Efficient and Robust
Continual Learning [8.030924531643532]
継続学習は、次世代人工知能(AI)に向けた有望なステップであると考えられている
まだ非常に原始的であり、既存の作品は主に(破滅的な)忘れの回避に焦点が当てられている。
神経科学の最近の進歩を踏まえた,外部記憶を用いた連続学習のための新しい枠組みを提案する。
論文 参考訳(メタデータ) (2021-05-05T14:32:47Z) - Improving Computational Efficiency in Visual Reinforcement Learning via
Stored Embeddings [89.63764845984076]
効率的な強化学習のためのストアド埋め込み(SEER)について紹介します。
SEERは、既存の非政治深層強化学習方法の簡単な修正です。
計算とメモリを大幅に節約しながら、SEERがRLizableエージェントのパフォーマンスを低下させないことを示します。
論文 参考訳(メタデータ) (2021-03-04T08:14:10Z) - SmartDeal: Re-Modeling Deep Network Weights for Efficient Inference and
Training [82.35376405568975]
ディープニューラルネットワーク(DNN)は重いパラメータ化を伴い、ストレージ用の外部動的ランダムアクセスメモリ(DRAM)につながります。
We present SmartDeal (SD), a algorithm framework to trade high-cost memory storage/ access for lower-cost compute。
SDは貯蔵および訓練エネルギーの10.56xそして4.48x減少、最先端の訓練のベースラインと比較される無視可能な正確さの損失をもたらすことを示します。
論文 参考訳(メタデータ) (2021-01-04T18:54:07Z) - Optimizing Memory Placement using Evolutionary Graph Reinforcement
Learning [56.83172249278467]
大規模検索空間を対象とした進化グラフ強化学習(EGRL)を提案する。
我々は、推論のために、Intel NNP-Iチップ上で、我々のアプローチを直接訓練し、検証する。
また,NNP-Iコンパイラと比較して28~78%の高速化を実現している。
論文 参考訳(メタデータ) (2020-07-14T18:50:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。