Fugu-MT 論文翻訳(概要): Uniform Memory Retrieval with Larger Capacity for Modern Hopfield Models

論文の概要: Uniform Memory Retrieval with Larger Capacity for Modern Hopfield Models

arxiv url: http://arxiv.org/abs/2404.03827v1
Date: Thu, 4 Apr 2024 23:05:30 GMT
ステータス: 処理完了
システム内更新日: 2024-04-08 17:25:49.794925
Title: Uniform Memory Retrieval with Larger Capacity for Modern Hopfield Models
Title（参考訳）: 近代ホップフィールドモデルのための容量を大きくした均一メモリ検索
Authors: Dennis Wu, Jerry Yao-Chieh Hu, Teng-Yun Hsiao, Han Liu,
Abstract要約: 本稿では,現代のホップフィールドモデルに対する2段階のメモリ検索ダイナミクスを提案する。私たちの重要な貢献は、ホップフィールドエネルギー関数をカーネル空間に変換する学習可能な特徴写像$Phi$である。実世界のデータセットでは、$mathttUtext-Hop$が既存のHopfieldモデルよりも優れています。
参考スコア（独自算出の注目度）: 5.929540708452128
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: We propose a two-stage memory retrieval dynamics for modern Hopfield models, termed $\mathtt{U\text{-}Hop}$, with enhanced memory capacity. Our key contribution is a learnable feature map $\Phi$ which transforms the Hopfield energy function into a kernel space. This transformation ensures convergence between the local minima of energy and the fixed points of retrieval dynamics within the kernel space. Consequently, the kernel norm induced by $\Phi$ serves as a novel similarity measure. It utilizes the stored memory patterns as learning data to enhance memory capacity across all modern Hopfield models. Specifically, we accomplish this by constructing a separation loss $\mathcal{L}_\Phi$ that separates the local minima of kernelized energy by separating stored memory patterns in kernel space. Methodologically, $\mathtt{U\text{-}Hop}$ memory retrieval process consists of: \textbf{(Stage~I.)} minimizing separation loss for a more uniformed memory (local minimum) distribution, followed by \textbf{(Stage~II.)} standard Hopfield energy minimization for memory retrieval. This results in a significant reduction of possible meta-stable states in the Hopfield energy function, thus enhancing memory capacity by preventing memory confusion. Empirically, with real-world datasets, we demonstrate that $\mathtt{U\text{-}Hop}$ outperforms all existing modern Hopfield models and SOTA similarity measures, achieving substantial improvements in both associative memory retrieval and deep learning tasks.
Abstract（参考訳）: 本稿では,最近のホップフィールドモデルに対して,メモリ容量を拡張した2段階のメモリ検索ダイナミックス($\mathtt{U\text{-}Hop}$)を提案する。私たちの重要な貢献は、ホップフィールドエネルギー関数をカーネル空間に変換する学習可能な特徴写像$\Phi$である。この変換により、エネルギーの局所最小値とカーネル空間内の検索力学の固定点との収束が保証される。したがって、$\Phi$によって誘導されるカーネルノルムは、新しい類似度尺度として機能する。記憶されたメモリパターンを学習データとして利用し、現代のホップフィールドモデル全体のメモリ容量を向上させる。具体的には、カーネル空間に記憶されたメモリパターンを分離することにより、カーネル化されたエネルギーの局所的なミニマを分離する分離損失$\mathcal{L}_\Phi$を構築する。方法論的には、$\mathtt{U\text{-}Hop}$ メモリ検索プロセスは以下の通りである: \textbf{(Stage~I.)} より均一なメモリ(ローカル最小限)分布の分離損失を最小化する。これによりホップフィールドエネルギー関数の準安定状態が大幅に減少し、メモリ混乱を防止してメモリ容量が増大する。実世界のデータセットを用いて、$\mathtt{U\text{-}Hop}$が既存のホップフィールドモデルとSOTAの類似度を全て上回り、連想記憶検索とディープラーニングタスクの両方で大幅に改善されていることを実証した。

関連論文リスト

Hopfield-Fenchel-Young Networks: A Unified Framework for Associative Memory Retrieval [25.841394444834933]
ホップフィールドネットワークのような連想記憶モデルは、メモリ容量の進歩とトランスフォーマーにおける自己注意とのつながりにより、新たな関心を集めている。本研究では,これらのモデルをより広範なエネルギー関数群に一般化する統合フレームワークであるHopfield-Fenchel-Youngネットワークを導入する。
論文参考訳（メタデータ） (2024-11-13T13:13:07Z)
Provably Optimal Memory Capacity for Modern Hopfield Models: Transformer-Compatible Dense Associative Memories as Spherical Codes [6.477597248683852]
現代ホップフィールドモデルとカーネル化ホップフィールドモデル(KHMs)の最適キャパシティ記憶について検討する。 KHMsの最適容量は、特徴空間がメモリに最適な球形コードを形成することを許すときに生じることを示す。
論文参考訳（メタデータ） (2024-10-30T15:35:51Z)
B'MOJO: Hybrid State Space Realizations of Foundation Models with Eidetic and Fading Memory [91.81390121042192]
我々はB'MOJOと呼ばれるモデル群を開発し、構成可能なモジュール内で理想的メモリと暗黙的メモリをシームレスに結合する。 B'MOJOのイデオティックメモリとフェードメモリを変調する能力は、32Kトークンまでテストされた長いシーケンスの推論をより良くする。
論文参考訳（メタデータ） (2024-07-08T18:41:01Z)
Outlier-Efficient Hopfield Layers for Large Transformer-Based Models [10.972020273638066]
Outlier-Effient Modern Hopfield Model (termed $mathrmOutEffHop$)を導入する。我々の主な貢献は、テクティトゥーラ効率の良い連想記憶検索を容易にする新しい連想記憶モデルである。 $mathrmOutEffHop$は平均カルトシスで平均22%、モデル出力の最大無限ノルムで26%の減少を達成する。
論文参考訳（メタデータ） (2024-04-04T23:08:43Z)
Topology-aware Embedding Memory for Continual Learning on Expanding Networks [63.35819388164267]
本稿では,メモリリプレイ技術を用いて,メモリ爆発問題に対処する枠組みを提案する。 Topology-aware Embedding Memory (TEM) を用いたPDGNNは最先端技術よりも優れている。
論文参考訳（メタデータ） (2024-01-24T03:03:17Z)
STanHop: Sparse Tandem Hopfield Model for Memory-Enhanced Time Series Prediction [13.815793371488613]
本稿では,ホップフィールドをベースとした新しいニューラルネットワークブロックを提案する。本質的に、StanHopは2つのタンデムスパースホップフィールド層を用いて時間的表現とシリーズ間表現を逐次学習する。本フレームワークは,メモリ容量を犠牲にすることなく,より高密度なメモリに対して,より厳密なメモリ検索誤差を付与することを示す。
論文参考訳（メタデータ） (2023-12-28T20:26:23Z)
Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
論文参考訳（メタデータ） (2023-05-24T15:52:08Z)
Universal Hopfield Networks: A General Framework for Single-Shot Associative Memory Models [41.58529335439799]
本稿では,メモリネットワークの動作を3つの操作のシーケンスとして理解するための一般的なフレームワークを提案する。これらのメモリモデルはすべて、類似性と分離関数が異なる一般的なフレームワークのインスタンスとして導出します。
論文参考訳（メタデータ） (2022-02-09T16:48:06Z)
MCUNetV2: Memory-Efficient Patch-based Inference for Tiny Deep Learning [72.80896338009579]
メモリボトルネックは畳み込みニューラルネットワーク(CNN)の設計における不均衡なメモリ分布に起因する。本稿では,ピークメモリを大幅に削減するパッチ・バイ・パッチ・推論スケジューリングを提案する。ニューラルアーキテクチャサーチによるプロセスを自動化し、ニューラルアーキテクチャと推論スケジューリングを共同で最適化し、MCUNetV2に導いた。
論文参考訳（メタデータ） (2021-10-28T17:58:45Z)
Kanerva++: extending The Kanerva Machine with differentiable, locally block allocated latent memory [75.65949969000596]
エピソディックメモリとセマンティックメモリは、人間のメモリモデルの重要なコンポーネントです。我々は、エピソードメモリとセマンティックメモリのギャップを埋める新しい原理ベイズメモリ割り当てスキームを開発しました。この割り当て方式がメモリ条件画像生成の性能を向上させることを実証する。
論文参考訳（メタデータ） (2021-02-20T18:40:40Z)
Memformer: A Memory-Augmented Transformer for Sequence Modeling [55.780849185884996]
本稿では、シーケンスモデリングのための効率的なニューラルネットワークであるMemformerを紹介する。我々のモデルは長いシーケンスを処理する際に線形時間複雑性と一定メモリ空間複雑性を実現する。
論文参考訳（メタデータ） (2020-10-14T09:03:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。