論文の概要: On Sparse Modern Hopfield Model

• arxiv url: http://arxiv.org/abs/2309.12673v2
• Date: Wed, 29 Nov 2023 22:45:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-01 20:13:30.802070
• Title: On Sparse Modern Hopfield Model
• Title（参考訳）: スパース近代ホップフィールドモデルについて
• Authors: Jerry Yao-Chieh Hu, Donglin Yang, Dennis Wu, Chenwei Xu, Bo-Yu Chen, Han Liu
• Abstract要約: 現代のホップフィールドモデルのスパース拡張として、スパース近代ホップフィールドモデルを導入する。 スパースなホップフィールドモデルが、その密度の強い理論的性質を保っていることを示す。
• 参考スコア（独自算出の注目度）: 12.288884253562845
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce the sparse modern Hopfield model as a sparse extension of the modern Hopfield model. Like its dense counterpart, the sparse modern Hopfield model equips a memory-retrieval dynamics whose one-step approximation corresponds to the sparse attention mechanism. Theoretically, our key contribution is a principled derivation of a closed-form sparse Hopfield energy using the convex conjugate of the sparse entropic regularizer. Building upon this, we derive the sparse memory retrieval dynamics from the sparse energy function and show its one-step approximation is equivalent to the sparse-structured attention. Importantly, we provide a sparsity-dependent memory retrieval error bound which is provably tighter than its dense analog. The conditions for the benefits of sparsity to arise are therefore identified and discussed. In addition, we show that the sparse modern Hopfield model maintains the robust theoretical properties of its dense counterpart, including rapid fixed point convergence and exponential memory capacity. Empirically, we use both synthetic and real-world datasets to demonstrate that the sparse Hopfield model outperforms its dense counterpart in many situations.
• Abstract（参考訳）: 現代のホップフィールドモデルのスパース拡張として、スパース近代ホップフィールドモデルを導入する。 密度の高いホップフィールドモデルと同様に、スパース・ホップフィールドモデルも1ステップ近似がスパース・アテンション・メカニズムに対応するメモリ・リトリーバル・ダイナミクスを備える。 理論的には、我々の重要な貢献は、スパースエントロピー正則化器の凸共役を用いた閉形スパースホップフィールドエネルギーの原理的導出である。 これに基づいて、スパースエネルギー関数からスパースメモリ検索ダイナミクスを導出し、その1ステップ近似がスパース構造の注意と等価であることを示す。 重要なこととして、我々は、その密度の高いアナログよりも確実に厳密な、スパーシティ依存型メモリ検索誤差境界を提供する。 そこで, スパーシティのメリットが生じる条件を特定し, 議論する。 さらに, 比較的現代的なホップフィールドモデルでは, 高速不動点収束や指数的メモリ容量など, 密接な理論特性を維持していることを示す。 実証的に、我々は合成と実世界の両方のデータセットを使用して、スパースホップフィールドモデルが多くの状況においてその密接なデータセットよりも優れていることを示す。

関連論文リスト

• Provably Optimal Memory Capacity for Modern Hopfield Models: Transformer-Compatible Dense Associative Memories as Spherical Codes [6.477597248683852]
  現代ホップフィールドモデルとカーネル化ホップフィールドモデル(KHMs)の最適キャパシティ記憶について検討する。 KHMsの最適容量は、特徴空間がメモリに最適な球形コードを形成することを許すときに生じることを示す。
  論文  参考訳（メタデータ） (2024-10-30T15:35:51Z)
• Convergence of Score-Based Discrete Diffusion Models: A Discrete-Time Analysis [56.442307356162864]
  連続時間マルコフ連鎖(CTMC)に基づくスコアベース離散拡散モデルの理論的側面について検討する。 本稿では,事前定義された時間点におけるスコア推定値を利用する離散時間サンプリングアルゴリズムを一般状態空間$[S]d$に導入する。 我々の収束解析はジルサノフ法を用いて離散スコア関数の重要な性質を確立する。
  論文  参考訳（メタデータ） (2024-10-03T09:07:13Z)
• Nonparametric Modern Hopfield Models [12.160725212848137]
  深層学習互換ホップフィールドモデルに対する非パラメトリック構成を提案する。 キーコントリビューションは、現代のホップフィールドモデルにおけるメモリストレージと検索プロセスの解釈に起因している。 サブクワッドラティックな複雑性を持つテクスチャパース構造を持つ現代ホップフィールドモデルを提案する。
  論文  参考訳（メタデータ） (2024-04-05T05:46:20Z)
• On Computational Limits of Modern Hopfield Models: A Fine-Grained Complexity Analysis [12.72277128564391]
  現代のホップフィールドモデルにおけるメモリ検索力学の計算限界について検討する。 入力クエリパターンとメモリパターンのノルムに対する上限基準を確立する。 メモリ検索誤差と指数的メモリ容量を有界に証明する。
  論文  参考訳（メタデータ） (2024-02-07T01:58:21Z)
• Geometric Neural Diffusion Processes [55.891428654434634]
  拡散モデルの枠組みを拡張して、無限次元モデリングに一連の幾何学的先行を組み込む。 これらの条件で、生成関数モデルが同じ対称性を持つことを示す。
  論文  参考訳（メタデータ） (2023-07-11T16:51:38Z)
• ChiroDiff: Modelling chirographic data with Diffusion Models [132.5223191478268]
  チャーログラフィーデータのための強力なモデルクラスである「拡散確率モデル(Denoising Diffusion Probabilistic Models)」やDDPMを導入している。 我々のモデルは「ChiroDiff」と呼ばれ、非自己回帰的であり、全体論的概念を捉えることを学び、したがって高い時間的サンプリングレートに回復する。
  論文  参考訳（メタデータ） (2023-04-07T15:17:48Z)
• Convex Analysis of the Mean Field Langevin Dynamics [49.66486092259375]
  平均場ランゲヴィン力学の収束速度解析について述べる。 ダイナミックスに付随する$p_q$により、凸最適化において古典的な結果と平行な収束理論を開発できる。
  論文  参考訳（メタデータ） (2022-01-25T17:13:56Z)
• Low-Rank Constraints for Fast Inference in Structured Models [110.38427965904266]
  この研究は、大規模構造化モデルの計算とメモリの複雑さを低減するための単純なアプローチを示す。 言語モデリング,ポリフォニック・ミュージック・モデリング,教師なし文法帰納法,ビデオ・モデリングのためのニューラルパラメータ構造モデルを用いた実験により,我々の手法は大規模状態空間における標準モデルの精度と一致することを示した。
  論文  参考訳（メタデータ） (2022-01-08T00:47:50Z)
• Real-Time Evolution in the Hubbard Model with Infinite Repulsion [0.0]
  無限結合の極限におけるハバードモデルのリアルタイム進化を考察する。 本研究では, 生産状態からのクエンチダイナミクスを, 密結合モデルにおける相関関係から正確に決定できることを示した。
  論文  参考訳（メタデータ） (2021-09-30T17:51:01Z)
• Fast approximations in the homogeneous Ising model for use in scene analysis [61.0951285821105]
  我々は、推論に必要な量を数値計算できる正確な近似を提供する。 近似式はスケーラブルでマルコフランダム場の大きさに満足できないことを示す。 機能的磁気共鳴イメージングアクティベーション検出実験においてベイズ推論を行い, ピスタチオ樹収量の年次増加の空間パターンにおける異方性に対する確率比試験を行った。
  論文  参考訳（メタデータ） (2017-12-06T14:24:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。