論文の概要: Neural Storage: A New Paradigm of Elastic Memory
- arxiv url: http://arxiv.org/abs/2101.02729v1
- Date: Thu, 7 Jan 2021 19:19:25 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-10 13:40:43.130769
- Title: Neural Storage: A New Paradigm of Elastic Memory
- Title（参考訳）: ニューラルストレージ: 弾力性メモリの新しいパラダイム
- Authors: Prabuddha Chakraborty and Swarup Bhunia
- Abstract要約: コンピュータメモリ内のデータの保存と検索は、システム性能において大きな役割を果たす。
我々は、脳にインスパイアされた学習記憶パラダイムであるNeural Storage(NS)を導入し、メモリをフレキシブルなニューラルメモリネットワークとして構成する。
NSは2つの代表アプリケーションに対してメモリアクセス性能を大幅に改善する。
- 参考スコア（独自算出の注目度）: 4.307341575886927
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Storage and retrieval of data in a computer memory plays a major role in
system performance. Traditionally, computer memory organization is static -
i.e., they do not change based on the application-specific characteristics in
memory access behaviour during system operation. Specifically, the association
of a data block with a search pattern (or cues) as well as the granularity of a
stored data do not evolve. Such a static nature of computer memory, we observe,
not only limits the amount of data we can store in a given physical storage,
but it also misses the opportunity for dramatic performance improvement in
various applications. On the contrary, human memory is characterized by
seemingly infinite plasticity in storing and retrieving data - as well as
dynamically creating/updating the associations between data and corresponding
cues. In this paper, we introduce Neural Storage (NS), a brain-inspired
learning memory paradigm that organizes the memory as a flexible neural memory
network. In NS, the network structure, strength of associations, and
granularity of the data adjust continuously during system operation, providing
unprecedented plasticity and performance benefits. We present the associated
storage/retrieval/retention algorithms in NS, which integrate a formalized
learning process. Using a full-blown operational model, we demonstrate that NS
achieves an order of magnitude improvement in memory access performance for two
representative applications when compared to traditional content-based memory.
- Abstract（参考訳）: コンピュータメモリ内のデータの保存と検索は、システム性能において大きな役割を果たす。
伝統的に、コンピュータメモリの組織は静的であり、システム操作中のメモリアクセス動作のアプリケーション固有の特性に基づいて変化しない。
具体的には、データブロックと検索パターン(またはキュー)の関連性、および記憶されたデータの粒度が進化しない。
このようなコンピュータメモリの静的な性質は、物理ストレージに格納できるデータの量を制限するだけでなく、様々なアプリケーションで劇的なパフォーマンス向上の機会を逃している。
それとは対照的に、人間の記憶はデータの保存と検索において無限に可塑性に見え、データと対応する手がかりの間の関連を動的に生成・更新する。
本稿では,脳にインスパイアされた学習記憶パラダイムであるNeural Storage(NS)を紹介し,メモリをフレキシブルなニューラルメモリネットワークとして構成する。
NSでは、ネットワーク構造、関連性の強さ、データの粒度がシステム操作中に連続的に調整され、前例のない塑性と性能上の利点を提供する。
本稿では,学習過程を形式化したNSの記憶/記憶/保持アルゴリズムについて述べる。
実運用モデルを用いて,従来のコンテントベースメモリと比較して,NSは2つの代表的なアプリケーションに対して,メモリアクセス性能を大幅に向上することを示す。
関連論文リスト
- Stable Hadamard Memory: Revitalizing Memory-Augmented Agents for Reinforcement Learning [64.93848182403116]
現在のディープラーニングメモリモデルは、部分的に観察可能で長期にわたる強化学習環境で苦労している。
本稿では,強化学習エージェントのための新しい記憶モデルであるStable Hadamard Memoryを紹介する。
我々の手法は、部分的に観測可能なベンチマークに挑戦する上で、最先端のメモリベースの手法よりも大幅に優れています。
論文 参考訳（メタデータ） (2024-10-14T03:50:17Z) - B'MOJO: Hybrid State Space Realizations of Foundation Models with Eidetic and Fading Memory [91.81390121042192]
我々はB'MOJOと呼ばれるモデル群を開発し、構成可能なモジュール内で理想的メモリと暗黙的メモリをシームレスに結合する。
B'MOJOのイデオティックメモリとフェードメモリを変調する能力は、32Kトークンまでテストされた長いシーケンスの推論をより良くする。
論文 参考訳（メタデータ） (2024-07-08T18:41:01Z) - Differentiable Neural Computers with Memory Demon [0.0]
本稿では,これらのアーキテクチャの性能において,記憶内容の情報理論的性質が重要な役割を担っていることを示す。
本稿では,DNCアーキテクチャに新たなメモリデモンの概念を導入し,付加的な入力エンコーディングによって暗黙的にメモリ内容を変更する。
論文 参考訳（メタデータ） (2022-11-05T22:24:47Z) - A Model or 603 Exemplars: Towards Memory-Efficient Class-Incremental
Learning [56.450090618578]
CIL(Class-Incremental Learning)は、この要件を満たすために、限られたメモリサイズでモデルをトレーニングすることを目的としている。
モデルサイズを総予算にカウントし,メモリサイズに整合する手法を比較すると,保存モデルは常に機能しないことを示す。
本稿では,メモリ効率のよい拡張可能なMOdelのための MEMO という,シンプルで効果的なベースラインを提案する。
論文 参考訳（メタデータ） (2022-05-26T08:24:01Z) - Recurrent Dynamic Embedding for Video Object Segmentation [54.52527157232795]
一定サイズのメモリバンクを構築するためにRDE(Recurrent Dynamic Embedding)を提案する。
本稿では, SAM を長時間の動画でより堅牢にするため, トレーニング段階での無バイアス誘導損失を提案する。
また、メモリバンクの異なる品質のマスクの埋め込みをネットワークが修復できるように、新たな自己補正戦略を設計する。
論文 参考訳（メタデータ） (2022-05-08T02:24:43Z) - Memory-Guided Semantic Learning Network for Temporal Sentence Grounding [55.31041933103645]
本稿では,TSGタスクにおいて稀に出現しないコンテンツを学習し,記憶するメモリ拡張ネットワークを提案する。
MGSL-Netは、クロスモーダル・インターアクション・モジュール、メモリ拡張モジュール、異種アテンション・モジュールの3つの主要な部分で構成されている。
論文 参考訳（メタデータ） (2022-01-03T02:32:06Z) - Pinpointing the Memory Behaviors of DNN Training [37.78973307051419]
ディープニューラルネットワーク(DNN)のトレーニングは通常、アクセラレータのデバイスメモリ容量が制限されているため、メモリ不足である。
本研究では,ランタイムシステムのメモリアロケータを計測することにより,トレーニング中のGPUの各デバイスメモリブロックのメモリ挙動をピンポイント化する。
論文 参考訳（メタデータ） (2021-04-01T05:30:03Z) - CNN with large memory layers [2.368995563245609]
この作業は、最近提案された製品キーメモリ構造であるcitelarge_Memoryを中心に、多くのコンピュータビジョンアプリケーションに実装されている。
メモリ構造は、ほぼすべてのニューラルネットワークアーキテクチャに拡張されるのに適した単純な計算プリミティブと見なすことができる。
論文 参考訳（メタデータ） (2021-01-27T20:58:20Z) - Memformer: A Memory-Augmented Transformer for Sequence Modeling [55.780849185884996]
本稿では、シーケンスモデリングのための効率的なニューラルネットワークであるMemformerを紹介する。
我々のモデルは長いシーケンスを処理する際に線形時間複雑性と一定メモリ空間複雑性を実現する。
論文 参考訳（メタデータ） (2020-10-14T09:03:36Z) - Robust High-dimensional Memory-augmented Neural Networks [13.82206983716435]
メモリ拡張ニューラルネットワークは、これらの問題を克服するために、明示的なメモリでニューラルネットワークを強化する。
この明示的なメモリへのアクセスは、各個々のメモリエントリを含むソフト読み取りおよび書き込み操作を介して行われる。
本稿では,高次元(HD)ベクトル上でのアナログインメモリ計算を行う明示メモリとして,計算メモリユニットを用いた頑健なアーキテクチャを提案する。
論文 参考訳（メタデータ） (2020-10-05T12:01:56Z) - Distributed Associative Memory Network with Memory Refreshing Loss [5.5792083698526405]
メモリリフレッシングロス(MRL)を用いた分散連想メモリアーキテクチャ(DAM)について紹介する。
人間の脳の動作にインスパイアされた私たちのフレームワークは、複数のメモリブロックにまたがる分散表現でデータをエンコードします。
MRLにより、記憶されたメモリコンテンツから入力データを再生することにより、MANNは、入力データとタスク目的との関連性を強化することができる。
論文 参考訳（メタデータ） (2020-07-21T07:34:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。