論文の概要: Universal Hopfield Networks: A General Framework for Single-Shot Associative Memory Models

• arxiv url: http://arxiv.org/abs/2202.04557v1
• Date: Wed, 9 Feb 2022 16:48:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-10 15:02:06.287681
• Title: Universal Hopfield Networks: A General Framework for Single-Shot Associative Memory Models
• Title（参考訳）: Universal Hopfield Networks: シングルショット連想記憶モデルのための汎用フレームワーク
• Authors: Beren Millidge, Tommaso Salvatori, Yuhang Song, Thomas Lukasiewicz, Rafal Bogacz
• Abstract要約: 本稿では,メモリネットワークの動作を3つの操作のシーケンスとして理解するための一般的なフレームワークを提案する。 これらのメモリモデルはすべて、類似性と分離関数が異なる一般的なフレームワークのインスタンスとして導出します。
• 参考スコア（独自算出の注目度）: 41.58529335439799
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A large number of neural network models of associative memory have been proposed in the literature. These include the classical Hopfield networks (HNs), sparse distributed memories (SDMs), and more recently the modern continuous Hopfield networks (MCHNs), which possesses close links with self-attention in machine learning. In this paper, we propose a general framework for understanding the operation of such memory networks as a sequence of three operations: similarity, separation, and projection. We derive all these memory models as instances of our general framework with differing similarity and separation functions. We extend the mathematical framework of Krotov et al (2020) to express general associative memory models using neural network dynamics with only second-order interactions between neurons, and derive a general energy function that is a Lyapunov function of the dynamics. Finally, using our framework, we empirically investigate the capacity of using different similarity functions for these associative memory models, beyond the dot product similarity measure, and demonstrate empirically that Euclidean or Manhattan distance similarity metrics perform substantially better in practice on many tasks, enabling a more robust retrieval and higher memory capacity than existing models.
• Abstract（参考訳）: 論文では,連想記憶のニューラルネットワークモデルが多数提案されている。 その中には古典的なホップフィールドネットワーク(HN)、スパース分散メモリ(SDM)、最近では機械学習における自己注意と密接なリンクを持つ現代の連続ホップフィールドネットワーク(MCHN)などがある。 本稿では,このようなメモリネットワークの動作を,類似性,分離,投影という3つの操作の系列として理解するための汎用フレームワークを提案する。 これらのメモリモデルは、類似性と分離関数が異なる一般的なフレームワークのインスタンスとして導出します。 我々は、Krotov et al (2020) の数学的枠組みを拡張し、ニューロン間の二階相互作用しか持たないニューラルネットワーク力学を用いた一般連想記憶モデルを示し、その力学のリアプノフ関数である一般エネルギー関数を導出する。 最後に,本フレームワークを用いて,これらの連想メモリモデルに対して,ドット積類似度測定以外の様々な類似度関数を使用する能力について実証的に検討し,ユークリッドやマンハッタンの距離類似度測定値が多くのタスクにおいて実践的に著しく優れていることを示す。

関連論文リスト

• B'MOJO: Hybrid State Space Realizations of Foundation Models with Eidetic and Fading Memory [91.81390121042192]
  我々はB'MOJOと呼ばれるモデル群を開発し、構成可能なモジュール内で理想的メモリと暗黙的メモリをシームレスに結合する。 B'MOJOのイデオティックメモリとフェードメモリを変調する能力は、32Kトークンまでテストされた長いシーケンスの推論をより良くする。
  論文  参考訳（メタデータ） (2024-07-08T18:41:01Z)
• Bridging Associative Memory and Probabilistic Modeling [29.605203018237457]
  連想記憶と確率的モデリングは人工知能の2つの基本的なトピックである。 両方向のアイデアの有用なフローを実現するために,この2つの橋を架けています。
  論文  参考訳（メタデータ） (2024-02-15T18:56:46Z)
• Heterogenous Memory Augmented Neural Networks [84.29338268789684]
  ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。 学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。 In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
  論文  参考訳（メタデータ） (2023-10-17T01:05:28Z)
• In search of dispersed memories: Generative diffusion models are associative memory networks [6.4322891559626125]
  生成拡散モデル(Generative diffusion model)は、多くのタスクにおいて優れたパフォーマンスを示す生成機械学習技術の一種である。 生成拡散モデルはエネルギーベースモデルと解釈でき、離散パターンで訓練すると、それらのエネルギー関数は現在のホップフィールドネットワークと同一であることを示す。 この等価性により、深層ニューラルネットワークの重み構造における現代のホップフィールドネットワークの連想力学を符号化するシナプス学習プロセスとして拡散モデルの教師付きトレーニングを解釈することができる。
  論文  参考訳（メタデータ） (2023-09-29T14:48:24Z)
• On the Relationship Between Variational Inference and Auto-Associative Memory [68.8204255655161]
  本フレームワークでは, 変動推論に対する異なるニューラルネットワークアプローチが適用可能であるかを検討する。 得られたアルゴリズムをCIFAR10とCLEVRの画像データセットで評価し,他の連想記憶モデルと比較した。
  論文  参考訳（メタデータ） (2022-10-14T14:18:47Z)
• Kernel Memory Networks: A Unifying Framework for Memory Modeling [9.142894972380216]
  我々は、ニューラルネットワークをトレーニングして、最大ノイズロバスト性を持つパターンの集合を格納する問題を考察する。 解は、各ニューロンにカーネル分類または最小重量ノルムの実行を訓練することで導出される。 我々は、カーネルメモリネットワークと呼ばれる最適なモデル、特に、異種および自己連想型メモリモデルの多くを含むものを導出する。
  論文  参考訳（メタデータ） (2022-08-19T16:01:09Z)
• Pin the Memory: Learning to Generalize Semantic Segmentation [68.367763672095]
  本稿ではメタラーニングフレームワークに基づくセマンティックセグメンテーションのための新しいメモリ誘導ドメイン一般化手法を提案する。 本手法は,セマンティッククラスの概念的知識を,ドメインを超えて一定であるカテゴリ記憶に抽象化する。
  論文  参考訳（メタデータ） (2022-04-07T17:34:01Z)
• Memory-Guided Semantic Learning Network for Temporal Sentence Grounding [55.31041933103645]
  本稿では,TSGタスクにおいて稀に出現しないコンテンツを学習し,記憶するメモリ拡張ネットワークを提案する。 MGSL-Netは、クロスモーダル・インターアクション・モジュール、メモリ拡張モジュール、異種アテンション・モジュールの3つの主要な部分で構成されている。
  論文  参考訳（メタデータ） (2022-01-03T02:32:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。