論文の概要: Uniform Memory Retrieval with Larger Capacity for Modern Hopfield Models
- arxiv url: http://arxiv.org/abs/2404.03827v3
- Date: Sun, 10 Nov 2024 19:25:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-12 14:06:28.252914
- Title: Uniform Memory Retrieval with Larger Capacity for Modern Hopfield Models
- Title（参考訳）: 近代ホップフィールドモデルのための容量を大きくした均一メモリ検索
- Authors: Dennis Wu, Jerry Yao-Chieh Hu, Teng-Yun Hsiao, Han Liu,
- Abstract要約: 本稿では,現代のホップフィールドモデルに対する2段階のメモリ検索ダイナミクスを提案する。
主な貢献は学習可能な特徴写像 $Phi$ であり、ホップフィールドエネルギー関数をカーネル空間に変換する。
記憶されたメモリパターンを学習データとして利用し、現代のホップフィールドモデル全体のメモリ容量を向上させる。
- 参考スコア（独自算出の注目度）: 5.929540708452128
- License:
- Abstract: We propose a two-stage memory retrieval dynamics for modern Hopfield models, termed $\mathtt{U\text{-}Hop}$, with enhanced memory capacity. Our key contribution is a learnable feature map $\Phi$ which transforms the Hopfield energy function into kernel space. This transformation ensures convergence between the local minima of energy and the fixed points of retrieval dynamics within the kernel space. Consequently, the kernel norm induced by $\Phi$ serves as a novel similarity measure. It utilizes the stored memory patterns as learning data to enhance memory capacity across all modern Hopfield models. Specifically, we accomplish this by constructing a separation loss $\mathcal{L}_\Phi$ that separates the local minima of kernelized energy by separating stored memory patterns in kernel space. Methodologically, $\mathtt{U\text{-}Hop}$ memory retrieval process consists of: (Stage I) minimizing separation loss for a more uniform memory (local minimum) distribution, followed by (Stage II) standard Hopfield energy minimization for memory retrieval. This results in a significant reduction of possible metastable states in the Hopfield energy function, thus enhancing memory capacity by preventing memory confusion. Empirically, with real-world datasets, we demonstrate that $\mathtt{U\text{-}Hop}$ outperforms all existing modern Hopfield models and state-of-the-art similarity measures, achieving substantial improvements in both associative memory retrieval and deep learning tasks. Code is available at https://github.com/MAGICS-LAB/UHop ; future updates are on arXiv:2404.03827
- Abstract（参考訳）: 本稿では,最近のホップフィールドモデルに対して,メモリ容量を拡張した2段階のメモリ検索ダイナミックス($\mathtt{U\text{-}Hop}$)を提案する。
私たちの重要な貢献は、ホップフィールドエネルギー関数をカーネル空間に変換する学習可能な特徴写像$\Phi$である。
この変換により、エネルギーの局所最小値とカーネル空間内の検索力学の固定点との収束が保証される。
したがって、$\Phi$によって誘導されるカーネルノルムは、新しい類似度尺度として機能する。
記憶されたメモリパターンを学習データとして利用し、現代のホップフィールドモデル全体のメモリ容量を向上させる。
具体的には、カーネル空間に記憶されたメモリパターンを分離することにより、カーネル化されたエネルギーの局所的なミニマを分離する分離損失$\mathcal{L}_\Phi$を構築する。
方法論的には、$\mathtt{U\text{-}Hop}$ メモリ検索プロセスは: (Stage I) より均一なメモリ(ローカル最小限)分布の分離損失を最小限にし、次いで(Stage II) メモリ検索のための標準ホップフィールドエネルギー最小化を行う。
これによりホップフィールドエネルギー関数の準安定状態が大幅に減少し、メモリ混乱を防止してメモリ容量が増大する。
実世界のデータセットを用いて、$\mathtt{U\text{-}Hop}$は、既存のホップフィールドモデルと最先端の類似性尺度を全て上回り、連想記憶検索とディープラーニングタスクの両方で大幅に改善されていることを実証した。
コードはhttps://github.com/MAGICS-LAB/UHop で公開されている。
関連論文リスト
- Provably Optimal Memory Capacity for Modern Hopfield Models: Transformer-Compatible Dense Associative Memories as Spherical Codes [6.477597248683852]
現代ホップフィールドモデルとカーネル化ホップフィールドモデル(KHMs)の最適キャパシティ記憶について検討する。
KHMsの最適容量は、特徴空間がメモリに最適な球形コードを形成することを許すときに生じることを示す。
論文 参考訳（メタデータ） (2024-10-30T15:35:51Z) - B'MOJO: Hybrid State Space Realizations of Foundation Models with Eidetic and Fading Memory [91.81390121042192]
我々はB'MOJOと呼ばれるモデル群を開発し、構成可能なモジュール内で理想的メモリと暗黙的メモリをシームレスに結合する。
B'MOJOのイデオティックメモリとフェードメモリを変調する能力は、32Kトークンまでテストされた長いシーケンスの推論をより良くする。
論文 参考訳（メタデータ） (2024-07-08T18:41:01Z) - Outlier-Efficient Hopfield Layers for Large Transformer-Based Models [10.972020273638066]
Outlier-Effient Modern Hopfield Model (termed $mathrmOutEffHop$)を導入する。
我々の主な貢献は、テクティトゥーラ効率の良い連想記憶検索を容易にする新しい連想記憶モデルである。
$mathrmOutEffHop$は平均カルトシスで平均22%、モデル出力の最大無限ノルムで26%の減少を達成する。
論文 参考訳（メタデータ） (2024-04-04T23:08:43Z) - Topology-aware Embedding Memory for Continual Learning on Expanding Networks [63.35819388164267]
本稿では,メモリリプレイ技術を用いて,メモリ爆発問題に対処する枠組みを提案する。
Topology-aware Embedding Memory (TEM) を用いたPDGNNは最先端技術よりも優れている。
論文 参考訳（メタデータ） (2024-01-24T03:03:17Z) - STanHop: Sparse Tandem Hopfield Model for Memory-Enhanced Time Series
Prediction [13.815793371488613]
本稿では,ホップフィールドをベースとした新しいニューラルネットワークブロックを提案する。
本質的に、StanHopは2つのタンデムスパースホップフィールド層を用いて時間的表現とシリーズ間表現を逐次学習する。
本フレームワークは,メモリ容量を犠牲にすることなく,より高密度なメモリに対して,より厳密なメモリ検索誤差を付与することを示す。
論文 参考訳（メタデータ） (2023-12-28T20:26:23Z) - Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。
我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
論文 参考訳（メタデータ） (2023-05-24T15:52:08Z) - Universal Hopfield Networks: A General Framework for Single-Shot
Associative Memory Models [41.58529335439799]
本稿では,メモリネットワークの動作を3つの操作のシーケンスとして理解するための一般的なフレームワークを提案する。
これらのメモリモデルはすべて、類似性と分離関数が異なる一般的なフレームワークのインスタンスとして導出します。
論文 参考訳（メタデータ） (2022-02-09T16:48:06Z) - MCUNetV2: Memory-Efficient Patch-based Inference for Tiny Deep Learning [72.80896338009579]
メモリボトルネックは畳み込みニューラルネットワーク(CNN)の設計における不均衡なメモリ分布に起因する。
本稿では,ピークメモリを大幅に削減するパッチ・バイ・パッチ・推論スケジューリングを提案する。
ニューラルアーキテクチャサーチによるプロセスを自動化し、ニューラルアーキテクチャと推論スケジューリングを共同で最適化し、MCUNetV2に導いた。
論文 参考訳（メタデータ） (2021-10-28T17:58:45Z) - Kanerva++: extending The Kanerva Machine with differentiable, locally
block allocated latent memory [75.65949969000596]
エピソディックメモリとセマンティックメモリは、人間のメモリモデルの重要なコンポーネントです。
我々は、エピソードメモリとセマンティックメモリのギャップを埋める新しい原理ベイズメモリ割り当てスキームを開発しました。
この割り当て方式がメモリ条件画像生成の性能を向上させることを実証する。
論文 参考訳（メタデータ） (2021-02-20T18:40:40Z) - Memformer: A Memory-Augmented Transformer for Sequence Modeling [55.780849185884996]
本稿では、シーケンスモデリングのための効率的なニューラルネットワークであるMemformerを紹介する。
我々のモデルは長いシーケンスを処理する際に線形時間複雑性と一定メモリ空間複雑性を実現する。
論文 参考訳（メタデータ） (2020-10-14T09:03:36Z) - Hopfield Networks is All You Need [8.508381229662907]
連続状態とそれに対応する更新ルールを備えた,現代的なホップフィールドネットワークを導入する。
新しいホップフィールドネットワークは、多くのパターンを指数関数的に(連想空間の次元で)保存し、1回の更新でパターンを検索し、指数関数的に小さな検索誤差を持つ。
さまざまな領域にまたがるホップフィールド層の適用性を示す。
論文 参考訳（メタデータ） (2020-07-16T17:52:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。