論文の概要: Dense Associative Memory Through the Lens of Random Features

• arxiv url: http://arxiv.org/abs/2410.24153v1
• Date: Thu, 31 Oct 2024 17:10:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-01 17:00:56.177824
• Title: Dense Associative Memory Through the Lens of Random Features
• Title（参考訳）: ランダムな特徴のレンズによるDense Associative Memory
• Authors: Benjamin Hoover, Duen Horng Chau, Hendrik Strobelt, Parikshit Ram, Dmitry Krotov,
• Abstract要約: Dense Associative Memoriesはホップフィールドネットワークの高容量版である。 このネットワークは,従来のDense Associative Memoriesのエネルギー関数と力学を密接に近似していることを示す。
• 参考スコア（独自算出の注目度）: 48.17520168244209
• License:
• Abstract: Dense Associative Memories are high storage capacity variants of the Hopfield networks that are capable of storing a large number of memory patterns in the weights of the network of a given size. Their common formulations typically require storing each pattern in a separate set of synaptic weights, which leads to the increase of the number of synaptic weights when new patterns are introduced. In this work we propose an alternative formulation of this class of models using random features, commonly used in kernel methods. In this formulation the number of network's parameters remains fixed. At the same time, new memories can be added to the network by modifying existing weights. We show that this novel network closely approximates the energy function and dynamics of conventional Dense Associative Memories and shares their desirable computational properties.
• Abstract（参考訳）: デンス連想記憶(Dense Associative Memories)は、ホップフィールドネットワークの高容量な変種であり、与えられた大きさのネットワークの重みに多数のメモリパターンを格納することができる。 それらの一般的な定式化は、通常、それぞれのパターンを別々のシナプス重みの集合に保存する必要があるため、新しいパターンが導入されるとシナプス重みの数が増加する。 本稿では,カーネル手法でよく用いられるランダムな特徴を用いたモデルの代替的定式化を提案する。 この定式化では、ネットワークのパラメータの数が固定されている。 同時に、既存の重みを変更することで、ネットワークに新たなメモリを追加することもできる。 このネットワークは,従来のDense Associative Memoriesのエネルギー関数と力学を近似し,その計算特性を共有する。

関連論文リスト

• Dr$^2$Net: Dynamic Reversible Dual-Residual Networks for Memory-Efficient Finetuning [81.0108753452546]
  本稿では,メモリ消費を大幅に削減した事前学習モデルを微調整するために,動的可逆2次元ネットワーク(Dr$2$Net)を提案する。 Dr$2$Netは2種類の残差接続を含み、1つは事前訓練されたモデルの残差構造を維持し、もう1つはネットワークを可逆的にしている。 Dr$2$Netは従来の微調整に匹敵する性能を持つが、メモリ使用量は大幅に少ない。
  論文  参考訳（メタデータ） (2024-01-08T18:59:31Z)
• Long Sequence Hopfield Memory [32.28395813801847]
  シーケンスメモリは、エージェントが複雑な刺激や行動のシーケンスをエンコードし、保存し、取り出すことを可能にする。 非線形相互作用項を導入し、パターン間の分離を強化する。 このモデルを拡張して、状態遷移間の変動タイミングでシーケンスを格納する。
  論文  参考訳（メタデータ） (2023-06-07T15:41:03Z)
• Simplicial Hopfield networks [0.0]
  我々は、設定された接続を追加し、これらの接続を単純な複合体に埋め込むことでホップフィールドネットワークを拡張する。 単純なホップフィールドネットワークはメモリ容量を増大させることを示す。 また、同種の連続ホップフィールドネットワークを試験し、トランスフォーマーモデルにおけるアテンションメカニズムを改善するために、潜在的に有望な経路を提供する。
  論文  参考訳（メタデータ） (2023-05-09T05:23:04Z)
• On the Relationship Between Variational Inference and Auto-Associative Memory [68.8204255655161]
  本フレームワークでは, 変動推論に対する異なるニューラルネットワークアプローチが適用可能であるかを検討する。 得られたアルゴリズムをCIFAR10とCLEVRの画像データセットで評価し,他の連想記憶モデルと比較した。
  論文  参考訳（メタデータ） (2022-10-14T14:18:47Z)
• Parameter-Efficient Masking Networks [61.43995077575439]
  先進的なネットワーク設計は、しばしば多数の繰り返し構造を含む(例: Transformer)。 本研究では,マスクの学習により,一意値に制限された固定ランダムウェイトの代表的ポテンシャルについて検討する。 これはモデル圧縮のための新しいパラダイムをもたらし、モデルサイズを減少させます。
  論文  参考訳（メタデータ） (2022-10-13T03:39:03Z)
• Kernel Memory Networks: A Unifying Framework for Memory Modeling [9.142894972380216]
  我々は、ニューラルネットワークをトレーニングして、最大ノイズロバスト性を持つパターンの集合を格納する問題を考察する。 解は、各ニューロンにカーネル分類または最小重量ノルムの実行を訓練することで導出される。 我々は、カーネルメモリネットワークと呼ばれる最適なモデル、特に、異種および自己連想型メモリモデルの多くを含むものを導出する。
  論文  参考訳（メタデータ） (2022-08-19T16:01:09Z)
• Neural Computing with Coherent Laser Networks [0.0]
  レーザーのコヒーレントなネットワークは、創発的なニューラルコンピューティング能力を示すことを示す。 新たなエネルギーベースのリカレントニューラルネットワークは、ホップフィールドネットワークやボルツマンマシンとは対照的に、連続したデータを処理している。
  論文  参考訳（メタデータ） (2022-04-05T13:56:34Z)
• Universal Hopfield Networks: A General Framework for Single-Shot Associative Memory Models [41.58529335439799]
  本稿では,メモリネットワークの動作を3つの操作のシーケンスとして理解するための一般的なフレームワークを提案する。 これらのメモリモデルはすべて、類似性と分離関数が異なる一般的なフレームワークのインスタンスとして導出します。
  論文  参考訳（メタデータ） (2022-02-09T16:48:06Z)
• Neural Network Compression for Noisy Storage Devices [71.4102472611862]
  従来、モデル圧縮と物理ストレージは分離される。 このアプローチでは、ストレージは圧縮されたモデルの各ビットを等しく扱い、各ビットに同じ量のリソースを割り当てるように強制される。 i) 各メモリセルの容量を最大化するためにアナログメモリを使用し, (ii) モデル圧縮と物理ストレージを共同で最適化し, メモリの有用性を最大化する。
  論文  参考訳（メタデータ） (2021-02-15T18:19:07Z)
• Reservoir Memory Machines as Neural Computers [70.5993855765376]
  微分可能なニューラルネットワークは、干渉することなく明示的なメモリで人工ニューラルネットワークを拡張する。 我々は、非常に効率的に訓練できるモデルを用いて、微分可能なニューラルネットワークの計算能力を実現する。
  論文  参考訳（メタデータ） (2020-09-14T12:01:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。