論文の概要: Nonparametric Modern Hopfield Models

• arxiv url: http://arxiv.org/abs/2404.03900v1
• Date: Fri, 5 Apr 2024 05:46:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-08 16:44:14.989538
• Title: Nonparametric Modern Hopfield Models
• Title（参考訳）: 非パラメトリック近代ホップフィールドモデル
• Authors: Jerry Yao-Chieh Hu, Bo-Yu Chen, Dennis Wu, Feng Ruan, Han Liu,
• Abstract要約: 深層学習互換ホップフィールドモデルに対する非パラメトリック構成を提案する。 キーコントリビューションは、現代のホップフィールドモデルにおけるメモリストレージと検索プロセスの解釈に起因している。 サブクワッドラティックな複雑性を持つテクスチャパース構造を持つ現代ホップフィールドモデルを提案する。
• 参考スコア（独自算出の注目度）: 12.160725212848137
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We present a nonparametric construction for deep learning compatible modern Hopfield models and utilize this framework to debut an efficient variant. Our key contribution stems from interpreting the memory storage and retrieval processes in modern Hopfield models as a nonparametric regression problem subject to a set of query-memory pairs. Crucially, our framework not only recovers the known results from the original dense modern Hopfield model but also fills the void in the literature regarding efficient modern Hopfield models, by introducing \textit{sparse-structured} modern Hopfield models with sub-quadratic complexity. We establish that this sparse model inherits the appealing theoretical properties of its dense analogue -- connection with transformer attention, fixed point convergence and exponential memory capacity -- even without knowing details of the Hopfield energy function. Additionally, we showcase the versatility of our framework by constructing a family of modern Hopfield models as extensions, including linear, random masked, top-$K$ and positive random feature modern Hopfield models. Empirically, we validate the efficacy of our framework in both synthetic and realistic settings.
• Abstract（参考訳）: 我々は、ディープラーニング互換の近代ホップフィールドモデルのための非パラメトリック構成を提案し、このフレームワークを利用して効率的な変種を創出する。 我々の重要な貢献は、最近のホップフィールドモデルにおける記憶の記憶と検索の過程を、クエリ-メモリペアの集合の非パラメトリック回帰問題として解釈することにある。 重要なことは、我々のフレームワークは、元の高密度なホップフィールドモデルから既知の結果を復元するだけでなく、より効率的なホップフィールドモデルに関する文献の空白を埋める。 このスパースモデルは、ホップフィールドエネルギー関数の詳細を知らなくても、変換器の注意、固定点収束、指数記憶容量との接続という、密度の高いアナログの魅力的な理論的特性を継承する。 さらに、線形、ランダムマスク付き、トップ$K、正のランダム特徴を持つホップフィールドモデルを含む、現代的なホップフィールドモデルのファミリーを拡張として構築することで、我々のフレームワークの汎用性を示す。 実験により,本フレームワークの有効性を,合成と現実の両方で検証した。

関連論文リスト

• Hopfield-Fenchel-Young Networks: A Unified Framework for Associative Memory Retrieval [25.841394444834933]
  ホップフィールドネットワークのような連想記憶モデルは、メモリ容量の進歩とトランスフォーマーにおける自己注意とのつながりにより、新たな関心を集めている。 本研究では,これらのモデルをより広範なエネルギー関数群に一般化する統合フレームワークであるHopfield-Fenchel-Youngネットワークを導入する。
  論文  参考訳（メタデータ） (2024-11-13T13:13:07Z)
• SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
  我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。 画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-19T17:32:15Z)
• Outlier-Efficient Hopfield Layers for Large Transformer-Based Models [10.972020273638066]
  Outlier-Effient Modern Hopfield Model (termed $mathrmOutEffHop$)を導入する。 我々の主な貢献は、テクティトゥーラ効率の良い連想記憶検索を容易にする新しい連想記憶モデルである。 $mathrmOutEffHop$は平均カルトシスで平均22%、モデル出力の最大無限ノルムで26%の減少を達成する。
  論文  参考訳（メタデータ） (2024-04-04T23:08:43Z)
• On Computational Limits of Modern Hopfield Models: A Fine-Grained Complexity Analysis [12.72277128564391]
  現代のホップフィールドモデルにおけるメモリ検索力学の計算限界について検討する。 入力クエリパターンとメモリパターンのノルムに対する上限基準を確立する。 メモリ検索誤差と指数的メモリ容量を有界に証明する。
  論文  参考訳（メタデータ） (2024-02-07T01:58:21Z)
• STanHop: Sparse Tandem Hopfield Model for Memory-Enhanced Time Series Prediction [13.815793371488613]
  本稿では,ホップフィールドをベースとした新しいニューラルネットワークブロックを提案する。 本質的に、StanHopは2つのタンデムスパースホップフィールド層を用いて時間的表現とシリーズ間表現を逐次学習する。 本フレームワークは,メモリ容量を犠牲にすることなく,より高密度なメモリに対して,より厳密なメモリ検索誤差を付与することを示す。
  論文  参考訳（メタデータ） (2023-12-28T20:26:23Z)
• On Sparse Modern Hopfield Model [12.288884253562845]
  現代のホップフィールドモデルのスパース拡張として、スパース近代ホップフィールドモデルを導入する。 スパースなホップフィールドモデルが、その密度の強い理論的性質を保っていることを示す。
  論文  参考訳（メタデータ） (2023-09-22T07:32:45Z)
• Understanding Parameter Sharing in Transformers [53.75988363281843]
  トランスフォーマーに関するこれまでの研究は、異なるレイヤでパラメータを共有することに集中しており、モデルの深さを増大させることで、限られたパラメータを持つモデルの性能を向上させることができる。 このアプローチの成功は, モデル複雑性の増加により, ごく一部に過ぎず, 収束性の向上に大きく寄与することを示す。 8つの機械翻訳タスクの実験結果から,パラメータ共有モデルのモデル複雑性を半分に抑えて,我々のモデルが競合性能を達成することが示された。
  論文  参考訳（メタデータ） (2023-06-15T10:48:59Z)
• Counting Phases and Faces Using Bayesian Thermodynamic Integration [77.34726150561087]
  本稿では,2パラメータ統計力学系における熱力学関数と位相境界の再構成手法を提案する。 提案手法を用いて,IsingモデルとTASEPの分割関数と位相図を正確に再構成する。
  論文  参考訳（メタデータ） (2022-05-18T17:11:23Z)
• Low-Rank Constraints for Fast Inference in Structured Models [110.38427965904266]
  この研究は、大規模構造化モデルの計算とメモリの複雑さを低減するための単純なアプローチを示す。 言語モデリング,ポリフォニック・ミュージック・モデリング,教師なし文法帰納法,ビデオ・モデリングのためのニューラルパラメータ構造モデルを用いた実験により,我々の手法は大規模状態空間における標準モデルの精度と一致することを示した。
  論文  参考訳（メタデータ） (2022-01-08T00:47:50Z)
• Mean Field Game GAN [55.445402222849474]
  新規な平均フィールドゲーム (MFGs) ベースのGAN (generation adversarial network) フレームワークを提案する。 密度空間における Hopf 式を利用して MFG を主双対問題として書き換え、ニューラルネットワークやサンプルを通じてモデルを訓練できるようにします。
  論文  参考訳（メタデータ） (2021-03-14T06:34:38Z)
• Physics-Integrated Variational Autoencoders for Robust and Interpretable Generative Modeling [86.9726984929758]
  我々は、不完全物理モデルの深部生成モデルへの統合に焦点を当てる。 本稿では,潜在空間の一部が物理によって基底づけられたVAEアーキテクチャを提案する。 合成および実世界のデータセットの集合に対して生成的性能改善を示す。
  論文  参考訳（メタデータ） (2021-02-25T20:28:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。