論文の概要: Robust High-dimensional Memory-augmented Neural Networks
- arxiv url: http://arxiv.org/abs/2010.01939v2
- Date: Fri, 19 Mar 2021 09:46:59 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-10 20:10:38.139342
- Title: Robust High-dimensional Memory-augmented Neural Networks
- Title(参考訳): 頑健な高次元メモリ拡張ニューラルネットワーク
- Authors: Geethan Karunaratne, Manuel Schmuck, Manuel Le Gallo, Giovanni
Cherubini, Luca Benini, Abu Sebastian, Abbas Rahimi
- Abstract要約: メモリ拡張ニューラルネットワークは、これらの問題を克服するために、明示的なメモリでニューラルネットワークを強化する。
この明示的なメモリへのアクセスは、各個々のメモリエントリを含むソフト読み取りおよび書き込み操作を介して行われる。
本稿では,高次元(HD)ベクトル上でのアナログインメモリ計算を行う明示メモリとして,計算メモリユニットを用いた頑健なアーキテクチャを提案する。
- 参考スコア(独自算出の注目度): 13.82206983716435
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Traditional neural networks require enormous amounts of data to build their
complex mappings during a slow training procedure that hinders their abilities
for relearning and adapting to new data. Memory-augmented neural networks
enhance neural networks with an explicit memory to overcome these issues.
Access to this explicit memory, however, occurs via soft read and write
operations involving every individual memory entry, resulting in a bottleneck
when implemented using the conventional von Neumann computer architecture. To
overcome this bottleneck, we propose a robust architecture that employs a
computational memory unit as the explicit memory performing analog in-memory
computation on high-dimensional (HD) vectors, while closely matching 32-bit
software-equivalent accuracy. This is achieved by a content-based attention
mechanism that represents unrelated items in the computational memory with
uncorrelated HD vectors, whose real-valued components can be readily
approximated by binary, or bipolar components. Experimental results demonstrate
the efficacy of our approach on few-shot image classification tasks on the
Omniglot dataset using more than 256,000 phase-change memory devices. Our
approach effectively merges the richness of deep neural network representations
with HD computing that paves the way for robust vector-symbolic manipulations
applicable in reasoning, fusion, and compression.
- Abstract(参考訳): 従来のニューラルネットワークは、学習の遅さや新しいデータへの適応の妨げとなる、複雑なマッピングを構築するために膨大な量のデータを必要とする。
メモリ提供ニューラルネットワークは、これらの問題を克服するために、明示的なメモリでニューラルネットワークを強化する。
しかし、この明示的なメモリへのアクセスは、個々のメモリエントリ毎のソフト読み取りと書き込み操作を通じて行われ、従来のvon neumannコンピュータアーキテクチャを使用して実装するとボトルネックが発生する。
このボトルネックを克服するため,高次元(HD)ベクトル上でアナログインメモリ計算を行う明示的なメモリとして計算メモリユニットを用いる頑健なアーキテクチャを提案する。
これは、非相関hdベクトルで計算メモリ内の無関係な項目を表すコンテンツベースの注意機構によって実現され、その実数値成分はバイナリやバイポーラコンポーネントによって容易に近似することができる。
実験により,256,000以上の位相変化メモリデバイスを用いたOmniglotデータセットにおける画像分類タスクの有効性が示された。
提案手法は,深層ニューラルネットワーク表現の豊かさとHDコンピューティングを効果的に融合し,推論,融合,圧縮に適用可能な堅牢なベクトル-シンボル操作を実現する。
関連論文リスト
- Pruning random resistive memory for optimizing analogue AI [54.21621702814583]
AIモデルは、エネルギー消費と環境持続可能性に前例のない課題を提示する。
有望な解決策の1つは、アナログコンピューティングを再考することである。
ここでは、構造的塑性に着想を得たエッジプルーニングを用いたユニバーサルソリューション、ソフトウェア・ハードウエアの共設計について報告する。
論文 参考訳(メタデータ) (2023-11-13T08:59:01Z) - Heterogenous Memory Augmented Neural Networks [84.29338268789684]
ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。
学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。
In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
論文 参考訳(メタデータ) (2023-10-17T01:05:28Z) - OLLA: Decreasing the Memory Usage of Neural Networks by Optimizing the
Lifetime and Location of Arrays [6.418232942455968]
OLLAは、ニューラルネットワークのトレーニングに使用されるテンソルの寿命とメモリ位置を最適化するアルゴリズムである。
問題のエンコーディングを単純化し、最先端のニューラルネットワークのサイズにスケールするためのアプローチを可能にするために、いくつかの手法を提案する。
論文 参考訳(メタデータ) (2022-10-24T02:39:13Z) - Variable Bitrate Neural Fields [75.24672452527795]
本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。
辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
論文 参考訳(メタデータ) (2022-06-15T17:58:34Z) - A Co-design view of Compute in-Memory with Non-Volatile Elements for
Neural Networks [12.042322495445196]
次世代のコンピューティングハードウェアにおいて,コンピュート・イン・メモリがいかに重要な役割を果たすかを論じる。
非揮発性メモリベースのクロスバーアーキテクチャは、アナログプロセスを使用して行列ベクトル乗算演算を並列化するエンジンの心臓を形成する。
クロスバーアーキテクチャは、時にはニューロモルフィックアプローチと呼ばれ、将来のコンピュータにおいて重要なハードウェア要素となる。
論文 参考訳(メタデータ) (2022-06-03T15:59:46Z) - Experimentally realized memristive memory augmented neural network [0.0]
デバイス上での生涯学習は、マシンインテリジェンスにとって重要な課題だ。
メモリ拡張ニューラルネットワークは目標を達成するために提案されているが、メモリモジュールはオフチップメモリに保存されなければならない。
メモリ全体の拡張ニューラルネットワークアーキテクチャを,完全に統合されたメムリシティブなクロスバープラットフォームに実装する。
論文 参考訳(メタデータ) (2022-04-15T11:52:30Z) - Generalized Key-Value Memory to Flexibly Adjust Redundancy in
Memory-Augmented Networks [6.03025980398201]
メモリ拡張ニューラルネットワークは、外部キー値メモリを備えたニューラルネットワークを強化する。
本稿では,サポートベクトルの数からその次元を分離する一般化キー値メモリを提案する。
このパラメータを需要に適応させることは、デバイス数と精度で、44%の非理想性を効果的に軽減できることを示す。
論文 参考訳(メタデータ) (2022-03-11T19:59:43Z) - MCUNetV2: Memory-Efficient Patch-based Inference for Tiny Deep Learning [70.29404271727155]
メモリボトルネックは畳み込みニューラルネットワーク(CNN)の設計における不均衡なメモリ分布に起因する。
本稿では,ピークメモリを大幅に削減するパッチ・バイ・パッチ・推論スケジューリングを提案する。
ニューラルアーキテクチャサーチによるプロセスを自動化し、ニューラルアーキテクチャと推論スケジューリングを共同で最適化し、MCUNetV2に導いた。
論文 参考訳(メタデータ) (2021-10-28T17:58:45Z) - Reservoir Memory Machines as Neural Computers [70.5993855765376]
微分可能なニューラルネットワークは、干渉することなく明示的なメモリで人工ニューラルネットワークを拡張する。
我々は、非常に効率的に訓練できるモデルを用いて、微分可能なニューラルネットワークの計算能力を実現する。
論文 参考訳(メタデータ) (2020-09-14T12:01:30Z) - Improving Memory Utilization in Convolutional Neural Network
Accelerators [16.340620299847384]
本稿では,アクティベーション層を重複させ,メモリをより効率的に利用するためのマッピング手法を提案する。
様々な実世界のオブジェクト検出器ネットワークによる実験により、提案されたマッピング技術により、メモリのアクティベーションを最大32.9%削減できることが示された。
より高解像度のノイズ除去ネットワークでは、活性化メモリの48.8%の節約を実現している。
論文 参考訳(メタデータ) (2020-07-20T09:34:36Z) - One-step regression and classification with crosspoint resistive memory
arrays [62.997667081978825]
高速で低エネルギーのコンピュータは、エッジでリアルタイム人工知能を実現するために要求されている。
ワンステップ学習は、ボストンの住宅のコスト予測と、MNIST桁認識のための2層ニューラルネットワークのトレーニングによって支援される。
結果は、クロスポイントアレイ内の物理計算、並列計算、アナログ計算のおかげで、1つの計算ステップで得られる。
論文 参考訳(メタデータ) (2020-05-05T08:00:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。