論文の概要: Nonparametric Modern Hopfield Models
- arxiv url: http://arxiv.org/abs/2404.03900v1
- Date: Fri, 5 Apr 2024 05:46:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-08 16:44:14.989538
- Title: Nonparametric Modern Hopfield Models
- Title(参考訳): 非パラメトリック近代ホップフィールドモデル
- Authors: Jerry Yao-Chieh Hu, Bo-Yu Chen, Dennis Wu, Feng Ruan, Han Liu,
- Abstract要約: 深層学習互換ホップフィールドモデルに対する非パラメトリック構成を提案する。
キーコントリビューションは、現代のホップフィールドモデルにおけるメモリストレージと検索プロセスの解釈に起因している。
サブクワッドラティックな複雑性を持つテクスチャパース構造を持つ現代ホップフィールドモデルを提案する。
- 参考スコア(独自算出の注目度): 12.160725212848137
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We present a nonparametric construction for deep learning compatible modern Hopfield models and utilize this framework to debut an efficient variant. Our key contribution stems from interpreting the memory storage and retrieval processes in modern Hopfield models as a nonparametric regression problem subject to a set of query-memory pairs. Crucially, our framework not only recovers the known results from the original dense modern Hopfield model but also fills the void in the literature regarding efficient modern Hopfield models, by introducing \textit{sparse-structured} modern Hopfield models with sub-quadratic complexity. We establish that this sparse model inherits the appealing theoretical properties of its dense analogue -- connection with transformer attention, fixed point convergence and exponential memory capacity -- even without knowing details of the Hopfield energy function. Additionally, we showcase the versatility of our framework by constructing a family of modern Hopfield models as extensions, including linear, random masked, top-$K$ and positive random feature modern Hopfield models. Empirically, we validate the efficacy of our framework in both synthetic and realistic settings.
- Abstract(参考訳): 我々は、ディープラーニング互換の近代ホップフィールドモデルのための非パラメトリック構成を提案し、このフレームワークを利用して効率的な変種を創出する。
我々の重要な貢献は、最近のホップフィールドモデルにおける記憶の記憶と検索の過程を、クエリ-メモリペアの集合の非パラメトリック回帰問題として解釈することにある。
重要なことは、我々のフレームワークは、元の高密度なホップフィールドモデルから既知の結果を復元するだけでなく、より効率的なホップフィールドモデルに関する文献の空白を埋める。
このスパースモデルは、ホップフィールドエネルギー関数の詳細を知らなくても、変換器の注意、固定点収束、指数記憶容量との接続という、密度の高いアナログの魅力的な理論的特性を継承する。
さらに、線形、ランダムマスク付き、トップ$K、正のランダム特徴を持つホップフィールドモデルを含む、現代的なホップフィールドモデルのファミリーを拡張として構築することで、我々のフレームワークの汎用性を示す。
実験により,本フレームワークの有効性を,合成と現実の両方で検証した。
関連論文リスト
- Outlier-Efficient Hopfield Layers for Large Transformer-Based Models [10.972020273638066]
Outlier-Effient Modern Hopfield Model (termed $mathttOutEffHop$)を導入する。
我々の主な貢献は、テクティトゥーラ効率の良い連想記憶検索を容易にする新しい連想記憶モデルである。
本稿では,大規模トランスモデルとホップフィールドモデルにまたがって提案モデルの有効性を示す。
論文 参考訳(メタデータ) (2024-04-04T23:08:43Z) - Uniform Memory Retrieval with Larger Capacity for Modern Hopfield Models [5.929540708452128]
本稿では,現代のホップフィールドモデルに対する2段階のメモリ検索ダイナミクスを提案する。
私たちの重要な貢献は、ホップフィールドエネルギー関数をカーネル空間に変換する学習可能な特徴写像$Phi$である。
実世界のデータセットでは、$mathttUtext-Hop$が既存のHopfieldモデルよりも優れています。
論文 参考訳(メタデータ) (2024-04-04T23:05:30Z) - Data-efficient Large Vision Models through Sequential Autoregression [58.26179273091461]
限られたデータセットに基づいて,効率的な自己回帰に基づく視覚モデルを構築する。
このモデルは,高レベル・低レベルのセマンティック理解の両方にまたがる視覚的タスクにおいて,その習熟度をいかに達成するかを実証する。
我々の経験的評価は、モデルが様々なタスクに適応する際の機敏さを強調し、パラメータフットプリントの大幅な削減を図った。
論文 参考訳(メタデータ) (2024-02-07T13:41:53Z) - On Computational Limits of Modern Hopfield Models: A Fine-Grained Complexity Analysis [12.72277128564391]
現代のホップフィールドモデルにおけるメモリ検索力学の計算限界について検討する。
我々の重要な貢献は、全ての近代ホプフィールドモデルの効率における相転移の挙動を特徴づけることである。
論文 参考訳(メタデータ) (2024-02-07T01:58:21Z) - STanHop: Sparse Tandem Hopfield Model for Memory-Enhanced Time Series
Prediction [13.815793371488613]
本稿では,ホップフィールドをベースとした新しいニューラルネットワークブロックを提案する。
本質的に、StanHopは2つのタンデムスパースホップフィールド層を用いて時間的表現とシリーズ間表現を逐次学習する。
本フレームワークは,メモリ容量を犠牲にすることなく,より高密度なメモリに対して,より厳密なメモリ検索誤差を付与することを示す。
論文 参考訳(メタデータ) (2023-12-28T20:26:23Z) - On Sparse Modern Hopfield Model [12.288884253562845]
現代のホップフィールドモデルのスパース拡張として、スパース近代ホップフィールドモデルを導入する。
スパースなホップフィールドモデルが、その密度の強い理論的性質を保っていることを示す。
論文 参考訳(メタデータ) (2023-09-22T07:32:45Z) - Understanding Parameter Sharing in Transformers [53.75988363281843]
トランスフォーマーに関するこれまでの研究は、異なるレイヤでパラメータを共有することに集中しており、モデルの深さを増大させることで、限られたパラメータを持つモデルの性能を向上させることができる。
このアプローチの成功は, モデル複雑性の増加により, ごく一部に過ぎず, 収束性の向上に大きく寄与することを示す。
8つの機械翻訳タスクの実験結果から,パラメータ共有モデルのモデル複雑性を半分に抑えて,我々のモデルが競合性能を達成することが示された。
論文 参考訳(メタデータ) (2023-06-15T10:48:59Z) - Counting Phases and Faces Using Bayesian Thermodynamic Integration [77.34726150561087]
本稿では,2パラメータ統計力学系における熱力学関数と位相境界の再構成手法を提案する。
提案手法を用いて,IsingモデルとTASEPの分割関数と位相図を正確に再構成する。
論文 参考訳(メタデータ) (2022-05-18T17:11:23Z) - Low-Rank Constraints for Fast Inference in Structured Models [110.38427965904266]
この研究は、大規模構造化モデルの計算とメモリの複雑さを低減するための単純なアプローチを示す。
言語モデリング,ポリフォニック・ミュージック・モデリング,教師なし文法帰納法,ビデオ・モデリングのためのニューラルパラメータ構造モデルを用いた実験により,我々の手法は大規模状態空間における標準モデルの精度と一致することを示した。
論文 参考訳(メタデータ) (2022-01-08T00:47:50Z) - Mean Field Game GAN [55.445402222849474]
新規な平均フィールドゲーム (MFGs) ベースのGAN (generation adversarial network) フレームワークを提案する。
密度空間における Hopf 式を利用して MFG を主双対問題として書き換え、ニューラルネットワークやサンプルを通じてモデルを訓練できるようにします。
論文 参考訳(メタデータ) (2021-03-14T06:34:38Z) - Physics-Integrated Variational Autoencoders for Robust and Interpretable
Generative Modeling [86.9726984929758]
我々は、不完全物理モデルの深部生成モデルへの統合に焦点を当てる。
本稿では,潜在空間の一部が物理によって基底づけられたVAEアーキテクチャを提案する。
合成および実世界のデータセットの集合に対して生成的性能改善を示す。
論文 参考訳(メタデータ) (2021-02-25T20:28:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。