論文の概要: Optimizing for In-memory Deep Learning with Emerging Memory Technology
- arxiv url: http://arxiv.org/abs/2112.00324v1
- Date: Wed, 1 Dec 2021 07:39:18 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-02 14:41:33.838644
- Title: Optimizing for In-memory Deep Learning with Emerging Memory Technology
- Title（参考訳）: 新たなメモリ技術によるインメモリディープラーニングの最適化
- Authors: Zhehui Wang, Tao Luo, Rick Siow Mong Goh, Wei Zhang, Weng-Fai Wong
- Abstract要約: インメモリのディープラーニングは、性能密度とエネルギー効率の桁数をすでに証明している。
新興メモリ技術の使用により、密度、エネルギー、性能のさらなる向上が期待できる。
しかし、新興メモリ技術は本質的に不安定であり、データ読み込みのランダムな変動をもたらす。
これは非無視的な精度損失に変換でき、利得を無効にする可能性がある。
- 参考スコア（独自算出の注目度）: 10.176832742078991
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In-memory deep learning computes neural network models where they are stored,
thus avoiding long distance communication between memory and computation units,
resulting in considerable savings in energy and time. In-memory deep learning
has already demonstrated orders of magnitude higher performance density and
energy efficiency. The use of emerging memory technology promises to increase
the gains in density, energy, and performance even further. However, emerging
memory technology is intrinsically unstable, resulting in random fluctuations
of data reads. This can translate to non-negligible accuracy loss, potentially
nullifying the gains. In this paper, we propose three optimization techniques
that can mathematically overcome the instability problem of emerging memory
technology. They can improve the accuracy of the in-memory deep learning model
while maximizing its energy efficiency. Experiments show that our solution can
fully recover most models' state-of-the-art accuracy, and achieves at least an
order of magnitude higher energy efficiency than the state-of-the-art.
- Abstract（参考訳）: インメモリディープラーニングは、記憶されているニューラルネットワークモデルを計算し、メモリと計算ユニット間の長距離通信を避けることにより、エネルギーと時間を大幅に節約する。
インメモリディープラーニングはすでに、パフォーマンス密度とエネルギー効率を桁違いに高めている。
新たなメモリ技術を使用することで、密度、エネルギー、パフォーマンスのさらなる向上が期待できる。
しかし、新興メモリ技術は本質的に不安定であり、データ読み込みのランダムな変動をもたらす。
これは非無視的な精度損失に変換でき、利得を無効にする可能性がある。
本稿では,新しいメモリ技術の不安定性を数学的に克服する3つの最適化手法を提案する。
エネルギー効率を最大化しながら、インメモリディープラーニングモデルの精度を向上させることができる。
実験の結果,ほとんどのモデルの最先端の精度を完全に回復でき,最先端のエネルギー効率よりも1桁高いエネルギー効率が得られることがわかった。
関連論文リスト
- Stable Hadamard Memory: Revitalizing Memory-Augmented Agents for Reinforcement Learning [64.93848182403116]
現在のディープラーニングメモリモデルは、部分的に観察可能で長期にわたる強化学習環境で苦労している。
本稿では,強化学習エージェントのための新しい記憶モデルであるStable Hadamard Memoryを紹介する。
我々の手法は、部分的に観測可能なベンチマークに挑戦する上で、最先端のメモリベースの手法よりも大幅に優れています。
論文 参考訳（メタデータ） (2024-10-14T03:50:17Z) - Topology Optimization of Random Memristors for Input-Aware Dynamic SNN [44.38472635536787]
入力対応動的旋回型スパイクニューラルネットワーク(PRIME)のプルーニング最適化について紹介する。
信号表現の面では、PRIMEは脳固有のスパイキング機構をエミュレートするために、漏れやすい統合と発火のニューロンを使用する。
計算深度の動的調整にインスパイアされた再構成性のために、PRIMEは入力対応の動的早期停止ポリシーを採用している。
論文 参考訳（メタデータ） (2024-07-26T09:35:02Z) - Efficient and accurate neural field reconstruction using resistive memory [52.68088466453264]
デジタルコンピュータにおける従来の信号再構成手法は、ソフトウェアとハードウェアの両方の課題に直面している。
本稿では,スパース入力からの信号再構成のためのソフトウェア・ハードウェア協調最適化を用いた体系的アプローチを提案する。
この研究は、AI駆動の信号復元技術を進歩させ、将来の効率的で堅牢な医療AIと3Dビジョンアプリケーションへの道を開く。
論文 参考訳（メタデータ） (2024-04-15T09:33:09Z) - Resistive Memory-based Neural Differential Equation Solver for Score-based Diffusion Model [55.116403765330084]
スコアベースの拡散のような現在のAIGC法は、迅速性と効率性の点で依然として不足している。
スコアベース拡散のための時間連続型およびアナログ型インメモリ型ニューラル微分方程式解法を提案する。
我々は180nmの抵抗型メモリインメモリ・コンピューティング・マクロを用いて,我々の解を実験的に検証した。
論文 参考訳（メタデータ） (2024-04-08T16:34:35Z) - Random resistive memory-based deep extreme point learning machine for
unified visual processing [67.51600474104171]
ハードウェア・ソフトウェア共同設計型, ランダム抵抗型メモリベース深部極点学習マシン(DEPLM)を提案する。
我々の共同設計システムは,従来のシステムと比較して,エネルギー効率の大幅な向上とトレーニングコストの削減を実現している。
論文 参考訳（メタデータ） (2023-12-14T09:46:16Z) - Think Before You Act: Decision Transformers with Working Memory [44.18926449252084]
決定変換器に基づく意思決定エージェントは、複数のタスクにまたがる一般化能力を示している。
この非効率性は、モデルがトレーニングを通してパラメータの振る舞いを記憶する忘れ現象に起因していると我々は主張する。
ダウンストリームタスクの情報を格納、ブレンド、検索するためのワーキングメモリモジュールを提案する。
論文 参考訳（メタデータ） (2023-05-24T01:20:22Z) - A Brain-inspired Memory Transformation based Differentiable Neural
Computer for Reasoning-based Question Answering [3.036382664997076]
人間の基本的な認知機能としての推論と質問応答は、現在の人工知能にとって大きな課題である。
本論文は,脳の学習と記憶機構に動機付けられ,記憶変換に基づく微分可能ニューラルネットワーク(MT-DNC)モデルを提案する。
論文 参考訳（メタデータ） (2023-01-07T08:39:57Z) - More Is Better: An Analysis of Instance Quantity/Quality Trade-off in
Rehearsal-based Continual Learning [3.9596068699962315]
連続学習はコネクショナリストシステムの安定性・塑性ジレンマに対処する手段となっている。
本稿では、メモリに格納可能なインスタンス数を増やすために、様々なデータ削減アプローチを採用したメモリ量/品質トレードオフの分析を行う。
その結果, 最適トレードオフは, 非常に圧縮された複数のインスタンスによるリハーサルアプローチが, 最先端のアプローチよりも容易に向上することがわかった。
論文 参考訳（メタデータ） (2021-05-28T21:05:51Z) - Schematic Memory Persistence and Transience for Efficient and Robust
Continual Learning [8.030924531643532]
継続学習は、次世代人工知能(AI)に向けた有望なステップであると考えられている
まだ非常に原始的であり、既存の作品は主に(破滅的な)忘れの回避に焦点が当てられている。
神経科学の最近の進歩を踏まえた,外部記憶を用いた連続学習のための新しい枠組みを提案する。
論文 参考訳（メタデータ） (2021-05-05T14:32:47Z) - Improving Computational Efficiency in Visual Reinforcement Learning via
Stored Embeddings [89.63764845984076]
効率的な強化学習のためのストアド埋め込み(SEER)について紹介します。
SEERは、既存の非政治深層強化学習方法の簡単な修正です。
計算とメモリを大幅に節約しながら、SEERがRLizableエージェントのパフォーマンスを低下させないことを示します。
論文 参考訳（メタデータ） (2021-03-04T08:14:10Z) - SmartDeal: Re-Modeling Deep Network Weights for Efficient Inference and
Training [82.35376405568975]
ディープニューラルネットワーク(DNN)は重いパラメータ化を伴い、ストレージ用の外部動的ランダムアクセスメモリ(DRAM)につながります。
We present SmartDeal (SD), a algorithm framework to trade high-cost memory storage/ access for lower-cost compute。
SDは貯蔵および訓練エネルギーの10.56xそして4.48x減少、最先端の訓練のベースラインと比較される無視可能な正確さの損失をもたらすことを示します。
論文 参考訳（メタデータ） (2021-01-04T18:54:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。