論文の概要: Generalized Key-Value Memory to Flexibly Adjust Redundancy in Memory-Augmented Networks

• arxiv url: http://arxiv.org/abs/2203.06223v1
• Date: Fri, 11 Mar 2022 19:59:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-20 05:09:38.226735
• Title: Generalized Key-Value Memory to Flexibly Adjust Redundancy in Memory-Augmented Networks
• Title（参考訳）: メモリ拡張ネットワークの冗長性を柔軟に調整する一般化キーバリューメモリ
• Authors: Denis Kleyko, Geethan Karunaratne, Jan M. Rabaey, Abu Sebastian, and Abbas Rahimi
• Abstract要約: メモリ拡張ニューラルネットワークは、外部キー値メモリを備えたニューラルネットワークを強化する。 本稿では,サポートベクトルの数からその次元を分離する一般化キー値メモリを提案する。 このパラメータを需要に適応させることは、デバイス数と精度で、44%の非理想性を効果的に軽減できることを示す。
• 参考スコア（独自算出の注目度）: 6.03025980398201
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Memory-augmented neural networks enhance a neural network with an external key-value memory whose complexity is typically dominated by the number of support vectors in the key memory. We propose a generalized key-value memory that decouples its dimension from the number of support vectors by introducing a free parameter that can arbitrarily add or remove redundancy to the key memory representation. In effect, it provides an additional degree of freedom to flexibly control the trade-off between robustness and the resources required to store and compute the generalized key-value memory. This is particularly useful for realizing the key memory on in-memory computing hardware where it exploits nonideal, but extremely efficient non-volatile memory devices for dense storage and computation. Experimental results show that adapting this parameter on demand effectively mitigates up to 44% nonidealities, at equal accuracy and number of devices, without any need for neural network retraining.
• Abstract（参考訳）: メモリ提示型ニューラルネットワークは、キーメモリ内のサポートベクター数によって複雑さが支配される外部キー値メモリによるニューラルネットワークを強化する。 本稿では,キーメモリ表現の冗長性を任意に追加または削除できる自由パラメータを導入することで,その次元をサポートベクトル数から切り離す一般化キー値メモリを提案する。 事実上、ロバスト性と一般化されたキーバリューメモリの保存と計算に必要なリソースの間のトレードオフを柔軟に制御する自由度を提供する。 これは、高密度ストレージと計算のために非理想的だが極めて効率的な非揮発性メモリデバイスを利用するインメモリコンピューティングハードウェアにおけるキーメモリの実現に特に有用である。 実験の結果、このパラメータを需要に適応させることで、ニューラルネットワークの再トレーニングを必要とせずに、最大44%の非理想性を効果的に軽減できることがわかった。

関連論文リスト

• Heterogenous Memory Augmented Neural Networks [84.29338268789684]
  ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。 学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。 In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
  論文  参考訳（メタデータ） (2023-10-17T01:05:28Z)
• Universal Recurrent Event Memories for Streaming Data [0.0]
  本稿では、リカレントニューラルネットワークのための新しいイベントメモリアーキテクチャ(MemNet)を提案する。 MemNetはキーと値のペアを格納し、アドレスとコンテンツの情報を分離する。 MemNetアーキテクチャはスカラー時系列、文字列上の論理演算子、自然言語処理に修正を加えることなく適用することができる。
  論文  参考訳（メタデータ） (2023-07-28T17:40:58Z)
• MF-NeRF: Memory Efficient NeRF with Mixed-Feature Hash Table [62.164549651134465]
  MF-NeRFは,Mixed-Featureハッシュテーブルを用いてメモリ効率を向上し,再構成品質を維持しながらトレーニング時間を短縮するメモリ効率の高いNeRFフレームワークである。 最新技術であるInstant-NGP、TensoRF、DVGOによる実験は、MF-NeRFが同じGPUハードウェア上で、同様のあるいはそれ以上のリコンストラクション品質で最速のトレーニング時間を達成できることを示唆している。
  論文  参考訳（メタデータ） (2023-04-25T05:44:50Z)
• Mesa: A Memory-saving Training Framework for Transformers [58.78933015299703]
  本稿では,トランスフォーマーのためのメモリ節約トレーニングフレームワークであるMesaを紹介する。 Mesaは、フォワードパス中に正確なアクティベーションを使用し、低精度のアクティベーションを格納することで、トレーニング中のメモリ消費を減らす。 ImageNet、CIFAR-100、ADE20Kの実験は、Mesaがトレーニング中にメモリフットプリントの半分を削減できることを示した。
  論文  参考訳（メタデータ） (2021-11-22T11:23:01Z)
• MCUNetV2: Memory-Efficient Patch-based Inference for Tiny Deep Learning [72.80896338009579]
  メモリボトルネックは畳み込みニューラルネットワーク(CNN)の設計における不均衡なメモリ分布に起因する。 本稿では,ピークメモリを大幅に削減するパッチ・バイ・パッチ・推論スケジューリングを提案する。 ニューラルアーキテクチャサーチによるプロセスを自動化し、ニューラルアーキテクチャと推論スケジューリングを共同で最適化し、MCUNetV2に導いた。
  論文  参考訳（メタデータ） (2021-10-28T17:58:45Z)
• Neural Network Compression for Noisy Storage Devices [71.4102472611862]
  従来、モデル圧縮と物理ストレージは分離される。 このアプローチでは、ストレージは圧縮されたモデルの各ビットを等しく扱い、各ビットに同じ量のリソースを割り当てるように強制される。 i) 各メモリセルの容量を最大化するためにアナログメモリを使用し, (ii) モデル圧縮と物理ストレージを共同で最適化し, メモリの有用性を最大化する。
  論文  参考訳（メタデータ） (2021-02-15T18:19:07Z)
• CNN with large memory layers [2.368995563245609]
  この作業は、最近提案された製品キーメモリ構造であるcitelarge_Memoryを中心に、多くのコンピュータビジョンアプリケーションに実装されている。 メモリ構造は、ほぼすべてのニューラルネットワークアーキテクチャに拡張されるのに適した単純な計算プリミティブと見なすことができる。
  論文  参考訳（メタデータ） (2021-01-27T20:58:20Z)
• Memformer: A Memory-Augmented Transformer for Sequence Modeling [55.780849185884996]
  本稿では、シーケンスモデリングのための効率的なニューラルネットワークであるMemformerを紹介する。 我々のモデルは長いシーケンスを処理する際に線形時間複雑性と一定メモリ空間複雑性を実現する。
  論文  参考訳（メタデータ） (2020-10-14T09:03:36Z)
• Robust High-dimensional Memory-augmented Neural Networks [13.82206983716435]
  メモリ拡張ニューラルネットワークは、これらの問題を克服するために、明示的なメモリでニューラルネットワークを強化する。 この明示的なメモリへのアクセスは、各個々のメモリエントリを含むソフト読み取りおよび書き込み操作を介して行われる。 本稿では,高次元(HD)ベクトル上でのアナログインメモリ計算を行う明示メモリとして,計算メモリユニットを用いた頑健なアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-10-05T12:01:56Z)
• Improving Memory Utilization in Convolutional Neural Network Accelerators [16.340620299847384]
  本稿では,アクティベーション層を重複させ,メモリをより効率的に利用するためのマッピング手法を提案する。 様々な実世界のオブジェクト検出器ネットワークによる実験により、提案されたマッピング技術により、メモリのアクティベーションを最大32.9%削減できることが示された。 より高解像度のノイズ除去ネットワークでは、活性化メモリの48.8%の節約を実現している。
  論文  参考訳（メタデータ） (2020-07-20T09:34:36Z)
• Efficient Memory Management for Deep Neural Net Inference [0.0]
  ディープニューラルネット推論は、レイテンシからプライバシに至るまで、さまざまな理由で望まれるモバイルおよび組み込みデバイスに移行できるようになった。 これらのデバイスは、計算能力とバッテリだけでなく、劣る物理メモリとキャッシュによって制限されるため、効率的なメモリマネージャは、エッジでのディープニューラルネットワーク推論において重要なコンポーネントとなる。
  論文  参考訳（メタデータ） (2020-01-10T02:45:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。