論文の概要: Provably Optimal Memory Capacity for Modern Hopfield Models: Transformer-Compatible Dense Associative Memories as Spherical Codes

• arxiv url: http://arxiv.org/abs/2410.23126v2
• Date: Thu, 31 Oct 2024 16:02:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-04 14:34:15.551066
• Title: Provably Optimal Memory Capacity for Modern Hopfield Models: Transformer-Compatible Dense Associative Memories as Spherical Codes
• Title（参考訳）: 現代ホップフィールドモデルにおけるおそらく最適記憶容量:球面符号としての変圧器対応高密度連想記憶
• Authors: Jerry Yao-Chieh Hu, Dennis Wu, Han Liu,
• Abstract要約: 現代ホップフィールドモデルとカーネル化ホップフィールドモデル(KHMs)の最適キャパシティ記憶について検討する。 KHMsの最適容量は、特徴空間がメモリに最適な球形コードを形成することを許すときに生じることを示す。
• 参考スコア（独自算出の注目度）: 6.477597248683852
• License:
• Abstract: We study the optimal memorization capacity of modern Hopfield models and Kernelized Hopfield Models (KHMs), a transformer-compatible class of Dense Associative Memories. We present a tight analysis by establishing a connection between the memory configuration of KHMs and spherical codes from information theory. Specifically, we treat the stored memory set as a specialized spherical code. This enables us to cast the memorization problem in KHMs into a point arrangement problem on a hypersphere. We show that the optimal capacity of KHMs occurs when the feature space allows memories to form an optimal spherical code. This unique perspective leads to: (i) An analysis of how KHMs achieve optimal memory capacity, and identify corresponding necessary conditions. Importantly, we establish an upper capacity bound that matches the well-known exponential lower bound in the literature. This provides the first tight and optimal asymptotic memory capacity for modern Hopfield models. (ii) A sub-linear time algorithm $\mathtt{U}\text{-}\mathtt{Hop}$+ to reach KHMs' optimal capacity. (iii) An analysis of the scaling behavior of the required feature dimension relative to the number of stored memories. These efforts improve both the retrieval capability of KHMs and the representation learning of corresponding transformers. Experimentally, we provide thorough numerical results to back up theoretical findings.
• Abstract（参考訳）: 本稿では,現代ホプフィールドモデルとKernelized Hopfield Models(KHMs)の最適記憶能力について検討する。 情報理論から,KHMのメモリ構成と球面符号との接続を確立することで,厳密な解析を行う。 具体的には,記憶メモリセットを特別な球形コードとして扱う。 これにより、KHMの記憶問題を超球面上の点配置問題にキャストすることができる。 KHMsの最適容量は、特徴空間がメモリに最適な球形コードを形成することを許すときに生じることを示す。 このユニークな視点は次のようになる。 i) KHMが最適なメモリ容量を実現し、必要な条件を特定する方法の分析。 重要なことは、文献のよく知られた指数的下界と一致する上限を確立することである。 これにより、現代のホップフィールドモデルにおいて、最初のタイトで最適な漸近記憶容量が提供される。 (ii) KHMsの最適容量に到達するためのサブ線形時間アルゴリズム$\mathtt{U}\text{-}\mathtt{Hop}$+。 三 記憶されている記憶数に対して必要な特徴次元のスケーリング挙動の分析。 これらの取り組みは、KHMの検索能力と、対応する変換器の表現学習の両方を改善する。 実験により,理論的な知見を裏付けるために,徹底的な数値的な結果が得られた。

関連論文リスト

• Tensor-GaLore: Memory-Efficient Training via Gradient Tensor Decomposition [93.98343072306619]
  本研究では,高次テンソル重み付きニューラルネットワークの効率的なトレーニング手法であるNavier-GaLoreを提案する。 様々なPDEタスクの中で、Navier-GaLoreはメモリ節約を実現し、最大75%のメモリ使用量を削減している。
  論文  参考訳（メタデータ） (2025-01-04T20:51:51Z)
• Memory-Efficient 4-bit Preconditioned Stochastic Optimization [53.422307389223626]
  シャンプーのプリコンディショナーに4ビット量子化を導入する。 我々の知る限り、これはプレコンディショナーのチョレスキー因子に適用された最初の量子化手法である。
  論文  参考訳（メタデータ） (2024-12-14T03:32:54Z)
• Memory Layers at Scale [67.00854080570979]
  この研究はメモリ層を概念実証以上のものにし、現代の規模でその有用性を証明している。 ダウンストリームタスクでは、改善されたメモリ層で強化された言語モデルは、予算の2倍以上の高密度モデルよりも優れており、計算とパラメータの両方にマッチする場合の熟練モデルの混合も優れている。 最大128Bのメモリパラメータを持つスケーリング法則を1兆トークンまで事前訓練し,最大8Bパラメータを持つベースモデルと比較した,完全な並列化可能なメモリレイヤの実装を提供する。
  論文  参考訳（メタデータ） (2024-12-12T23:56:57Z)
• Efficient Learning for Linear Properties of Bounded-Gate Quantum Circuits [63.733312560668274]
  d可変RZゲートとG-dクリフォードゲートを含む量子回路を与えられた場合、学習者は純粋に古典的な推論を行い、その線形特性を効率的に予測できるだろうか? 我々は、d で線形にスケーリングするサンプルの複雑さが、小さな予測誤差を達成するのに十分であり、対応する計算の複雑さは d で指数関数的にスケールすることを証明する。 我々は,予測誤差と計算複雑性をトレードオフできるカーネルベースの学習モデルを考案し,多くの実践的な環境で指数関数からスケーリングへ移行した。
  論文  参考訳（メタデータ） (2024-08-22T08:21:28Z)
• Beyond Scaling Laws: Understanding Transformer Performance with Associative Memory [11.3128832831327]
  Transformerのサイズが大きくなると、パフォーマンスが向上するとは限らない。 本稿では,変圧器を用いた言語モデルの事前学習において,記憶に光を当てる理論的枠組みを提案する。
  論文  参考訳（メタデータ） (2024-05-14T15:48:36Z)
• Nonparametric Modern Hopfield Models [12.160725212848137]
  深層学習互換ホップフィールドモデルに対する非パラメトリック構成を提案する。 キーコントリビューションは、現代のホップフィールドモデルにおけるメモリストレージと検索プロセスの解釈に起因している。 サブクワッドラティックな複雑性を持つテクスチャパース構造を持つ現代ホップフィールドモデルを提案する。
  論文  参考訳（メタデータ） (2024-04-05T05:46:20Z)
• Uniform Memory Retrieval with Larger Capacity for Modern Hopfield Models [5.929540708452128]
  本稿では,現代のホップフィールドモデルに対する2段階のメモリ検索ダイナミクスを提案する。 主な貢献は学習可能な特徴写像 $Phi$ であり、ホップフィールドエネルギー関数をカーネル空間に変換する。 記憶されたメモリパターンを学習データとして利用し、現代のホップフィールドモデル全体のメモリ容量を向上させる。
  論文  参考訳（メタデータ） (2024-04-04T23:05:30Z)
• On Computational Limits of Modern Hopfield Models: A Fine-Grained Complexity Analysis [12.72277128564391]
  現代のホップフィールドモデルにおけるメモリ検索力学の計算限界について検討する。 入力クエリパターンとメモリパターンのノルムに対する上限基準を確立する。 メモリ検索誤差と指数的メモリ容量を有界に証明する。
  論文  参考訳（メタデータ） (2024-02-07T01:58:21Z)
• On Sparse Modern Hopfield Model [12.288884253562845]
  現代のホップフィールドモデルのスパース拡張として、スパース近代ホップフィールドモデルを導入する。 スパースなホップフィールドモデルが、その密度の強い理論的性質を保っていることを示す。
  論文  参考訳（メタデータ） (2023-09-22T07:32:45Z)
• Bosonic field digitization for quantum computers [62.997667081978825]
  我々は、離散化された場振幅ベースで格子ボゾン場の表現に対処する。 本稿では,エラースケーリングを予測し,効率的な量子ビット実装戦略を提案する。
  論文  参考訳（メタデータ） (2021-08-24T15:30:04Z)
• Learning Optical Flow from a Few Matches [67.83633948984954]
  密な相関体積表現は冗長であり、その中の要素のほんの一部で正確なフロー推定が達成できることを示した。 実験により,高い精度を維持しつつ計算コストとメモリ使用量を大幅に削減できることを示した。
  論文  参考訳（メタデータ） (2021-04-05T21:44:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。