論文の概要: Robust High-dimensional Memory-augmented Neural Networks

• arxiv url: http://arxiv.org/abs/2010.01939v2
• Date: Fri, 19 Mar 2021 09:46:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-10 20:10:38.139342
• Title: Robust High-dimensional Memory-augmented Neural Networks
• Title（参考訳）: 頑健な高次元メモリ拡張ニューラルネットワーク
• Authors: Geethan Karunaratne, Manuel Schmuck, Manuel Le Gallo, Giovanni Cherubini, Luca Benini, Abu Sebastian, Abbas Rahimi
• Abstract要約: メモリ拡張ニューラルネットワークは、これらの問題を克服するために、明示的なメモリでニューラルネットワークを強化する。 この明示的なメモリへのアクセスは、各個々のメモリエントリを含むソフト読み取りおよび書き込み操作を介して行われる。 本稿では,高次元(HD)ベクトル上でのアナログインメモリ計算を行う明示メモリとして,計算メモリユニットを用いた頑健なアーキテクチャを提案する。
• 参考スコア（独自算出の注目度）: 13.82206983716435
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Traditional neural networks require enormous amounts of data to build their complex mappings during a slow training procedure that hinders their abilities for relearning and adapting to new data. Memory-augmented neural networks enhance neural networks with an explicit memory to overcome these issues. Access to this explicit memory, however, occurs via soft read and write operations involving every individual memory entry, resulting in a bottleneck when implemented using the conventional von Neumann computer architecture. To overcome this bottleneck, we propose a robust architecture that employs a computational memory unit as the explicit memory performing analog in-memory computation on high-dimensional (HD) vectors, while closely matching 32-bit software-equivalent accuracy. This is achieved by a content-based attention mechanism that represents unrelated items in the computational memory with uncorrelated HD vectors, whose real-valued components can be readily approximated by binary, or bipolar components. Experimental results demonstrate the efficacy of our approach on few-shot image classification tasks on the Omniglot dataset using more than 256,000 phase-change memory devices. Our approach effectively merges the richness of deep neural network representations with HD computing that paves the way for robust vector-symbolic manipulations applicable in reasoning, fusion, and compression.
• Abstract（参考訳）: 従来のニューラルネットワークは、学習の遅さや新しいデータへの適応の妨げとなる、複雑なマッピングを構築するために膨大な量のデータを必要とする。 メモリ提供ニューラルネットワークは、これらの問題を克服するために、明示的なメモリでニューラルネットワークを強化する。 しかし、この明示的なメモリへのアクセスは、個々のメモリエントリ毎のソフト読み取りと書き込み操作を通じて行われ、従来のvon neumannコンピュータアーキテクチャを使用して実装するとボトルネックが発生する。 このボトルネックを克服するため,高次元(HD)ベクトル上でアナログインメモリ計算を行う明示的なメモリとして計算メモリユニットを用いる頑健なアーキテクチャを提案する。 これは、非相関hdベクトルで計算メモリ内の無関係な項目を表すコンテンツベースの注意機構によって実現され、その実数値成分はバイナリやバイポーラコンポーネントによって容易に近似することができる。 実験により,256,000以上の位相変化メモリデバイスを用いたOmniglotデータセットにおける画像分類タスクの有効性が示された。 提案手法は,深層ニューラルネットワーク表現の豊かさとHDコンピューティングを効果的に融合し,推論,融合,圧縮に適用可能な堅牢なベクトル-シンボル操作を実現する。

関連論文リスト

• Dynamic neural network with memristive CIM and CAM for 2D and 3D vision [57.6208980140268]
  本稿では,memristor を用いた意味記憶に基づく動的ニューラルネットワーク (DNN) を提案する。 ネットワークは、受信したデータとセマンティックベクターとして格納された過去の経験を関連付ける。 MNISTとModelNetのデータセットから画像と3Dポイントを分類するために、ResNetとPointNet++の40nmのmemristorマクロを用いて、我々の共同設計を検証する。
  論文  参考訳（メタデータ） (2024-07-12T04:55:57Z)
• Efficient and accurate neural field reconstruction using resistive memory [52.68088466453264]
  デジタルコンピュータにおける従来の信号再構成手法は、ソフトウェアとハードウェアの両方の課題に直面している。 本稿では,スパース入力からの信号再構成のためのソフトウェア・ハードウェア協調最適化を用いた体系的アプローチを提案する。 この研究は、AI駆動の信号復元技術を進歩させ、将来の効率的で堅牢な医療AIと3Dビジョンアプリケーションへの道を開く。
  論文  参考訳（メタデータ） (2024-04-15T09:33:09Z)
• Resistive Memory-based Neural Differential Equation Solver for Score-based Diffusion Model [55.116403765330084]
  スコアベースの拡散のような現在のAIGC法は、迅速性と効率性の点で依然として不足している。 スコアベース拡散のための時間連続型およびアナログ型インメモリ型ニューラル微分方程式解法を提案する。 我々は180nmの抵抗型メモリインメモリ・コンピューティング・マクロを用いて,我々の解を実験的に検証した。
  論文  参考訳（メタデータ） (2024-04-08T16:34:35Z)
• Heterogenous Memory Augmented Neural Networks [84.29338268789684]
  ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。 学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。 In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
  論文  参考訳（メタデータ） (2023-10-17T01:05:28Z)
• A Co-design view of Compute in-Memory with Non-Volatile Elements for Neural Networks [12.042322495445196]
  次世代のコンピューティングハードウェアにおいて,コンピュート・イン・メモリがいかに重要な役割を果たすかを論じる。 非揮発性メモリベースのクロスバーアーキテクチャは、アナログプロセスを使用して行列ベクトル乗算演算を並列化するエンジンの心臓を形成する。 クロスバーアーキテクチャは、時にはニューロモルフィックアプローチと呼ばれ、将来のコンピュータにおいて重要なハードウェア要素となる。
  論文  参考訳（メタデータ） (2022-06-03T15:59:46Z)
• Experimentally realized memristive memory augmented neural network [0.0]
  デバイス上での生涯学習は、マシンインテリジェンスにとって重要な課題だ。 メモリ拡張ニューラルネットワークは目標を達成するために提案されているが、メモリモジュールはオフチップメモリに保存されなければならない。 メモリ全体の拡張ニューラルネットワークアーキテクチャを,完全に統合されたメムリシティブなクロスバープラットフォームに実装する。
  論文  参考訳（メタデータ） (2022-04-15T11:52:30Z)
• MCUNetV2: Memory-Efficient Patch-based Inference for Tiny Deep Learning [72.80896338009579]
  メモリボトルネックは畳み込みニューラルネットワーク(CNN)の設計における不均衡なメモリ分布に起因する。 本稿では,ピークメモリを大幅に削減するパッチ・バイ・パッチ・推論スケジューリングを提案する。 ニューラルアーキテクチャサーチによるプロセスを自動化し、ニューラルアーキテクチャと推論スケジューリングを共同で最適化し、MCUNetV2に導いた。
  論文  参考訳（メタデータ） (2021-10-28T17:58:45Z)
• Reservoir Memory Machines as Neural Computers [70.5993855765376]
  微分可能なニューラルネットワークは、干渉することなく明示的なメモリで人工ニューラルネットワークを拡張する。 我々は、非常に効率的に訓練できるモデルを用いて、微分可能なニューラルネットワークの計算能力を実現する。
  論文  参考訳（メタデータ） (2020-09-14T12:01:30Z)
• Improving Memory Utilization in Convolutional Neural Network Accelerators [16.340620299847384]
  本稿では,アクティベーション層を重複させ,メモリをより効率的に利用するためのマッピング手法を提案する。 様々な実世界のオブジェクト検出器ネットワークによる実験により、提案されたマッピング技術により、メモリのアクティベーションを最大32.9%削減できることが示された。 より高解像度のノイズ除去ネットワークでは、活性化メモリの48.8%の節約を実現している。
  論文  参考訳（メタデータ） (2020-07-20T09:34:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。