論文の概要: Simplicial Hopfield networks

• arxiv url: http://arxiv.org/abs/2305.05179v1
• Date: Tue, 9 May 2023 05:23:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-10 13:45:07.000837
• Title: Simplicial Hopfield networks
• Title（参考訳）: 単純ホップフィールドネットワーク
• Authors: Thomas F Burns, Tomoki Fukai
• Abstract要約: 我々は、設定された接続を追加し、これらの接続を単純な複合体に埋め込むことでホップフィールドネットワークを拡張する。 単純なホップフィールドネットワークはメモリ容量を増大させることを示す。 また、同種の連続ホップフィールドネットワークを試験し、トランスフォーマーモデルにおけるアテンションメカニズムを改善するために、潜在的に有望な経路を提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hopfield networks are artificial neural networks which store memory patterns on the states of their neurons by choosing recurrent connection weights and update rules such that the energy landscape of the network forms attractors around the memories. How many stable, sufficiently-attracting memory patterns can we store in such a network using $N$ neurons? The answer depends on the choice of weights and update rule. Inspired by setwise connectivity in biology, we extend Hopfield networks by adding setwise connections and embedding these connections in a simplicial complex. Simplicial complexes are higher dimensional analogues of graphs which naturally represent collections of pairwise and setwise relationships. We show that our simplicial Hopfield networks increase memory storage capacity. Surprisingly, even when connections are limited to a small random subset of equivalent size to an all-pairwise network, our networks still outperform their pairwise counterparts. Such scenarios include non-trivial simplicial topology. We also test analogous modern continuous Hopfield networks, offering a potentially promising avenue for improving the attention mechanism in Transformer models.
• Abstract（参考訳）: ホップフィールドネットワーク(hopfield network)は、ネットワークのエネルギー環境が記憶の周囲に惹きつけるような規則を更新し、再帰的な接続重みを選択することによって、ニューロンの状態の記憶パターンを記憶する人工ニューラルネットワークである。 そのようなネットワークに$N$のニューロンを使って、安定かつ十分なメモリパターンをいくつ保存できるだろうか? 答えはウェイトの選択と更新ルールに依存します。 生物学におけるセットワイズ接続にインスパイアされたホップフィールドネットワークは、セットワイズ接続を追加し、これらの接続を単純な複合体に埋め込むことによって拡張する。 単純複体 (simplicial complex) はグラフの高次元類似体であり、自然に対関係と集合関係の集合を表す。 単純なホップフィールドネットワークはメモリストレージ容量を増加させます。 驚くべきことに、接続が全ペアワイズネットワークと同サイズの小さなランダムなサブセットに制限されている場合でも、ネットワークはペアワイズネットワークよりも優れています。 そのようなシナリオには非自明な単純位相が含まれる。 また、類似の現代的な連続ホップフィールドネットワークをテストし、トランスフォーマーモデルのアテンションメカニズムを改善する可能性を秘めている。

関連論文リスト

• Hopfield-Fenchel-Young Networks: A Unified Framework for Associative Memory Retrieval [25.841394444834933]
  ホップフィールドネットワークのような連想記憶モデルは、メモリ容量の進歩とトランスフォーマーにおける自己注意とのつながりにより、新たな関心を集めている。 本研究では,これらのモデルをより広範なエネルギー関数群に一般化する統合フレームワークであるHopfield-Fenchel-Youngネットワークを導入する。
  論文  参考訳（メタデータ） (2024-11-13T13:13:07Z)
• Dense Associative Memory Through the Lens of Random Features [48.17520168244209]
  Dense Associative Memoriesはホップフィールドネットワークの高容量版である。 このネットワークは,従来のDense Associative Memoriesのエネルギー関数と力学を密接に近似していることを示す。
  論文  参考訳（メタデータ） (2024-10-31T17:10:57Z)
• Towards Explaining Hypercomplex Neural Networks [6.543091030789653]
  ハイパーコンプレックスニューラルネットワークは、ディープラーニングコミュニティへの関心が高まっている。 本稿では,本質的に解釈可能なPHNNと4元ネットワークを提案する。 我々は、このユニークなニューラルネットワークのブランチがどのように機能するかを洞察する。
  論文  参考訳（メタデータ） (2024-03-26T17:58:07Z)
• Parameter-Efficient Masking Networks [61.43995077575439]
  先進的なネットワーク設計は、しばしば多数の繰り返し構造を含む(例: Transformer)。 本研究では,マスクの学習により,一意値に制限された固定ランダムウェイトの代表的ポテンシャルについて検討する。 これはモデル圧縮のための新しいパラダイムをもたらし、モデルサイズを減少させます。
  論文  参考訳（メタデータ） (2022-10-13T03:39:03Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• BScNets: Block Simplicial Complex Neural Networks [79.81654213581977]
  グラフ学習における最新の方向性として、SNN(Simplicial Neural Network)が最近登場した。 リンク予測のためのBlock Simplicial Complex Neural Networks (BScNets) モデルを提案する。 BScNetsは、コストを抑えながら最先端のモデルよりも大きなマージンを保っている。
  論文  参考訳（メタデータ） (2021-12-13T17:35:54Z)
• Hierarchical Associative Memory [2.66512000865131]
  Associative Memories や Modern Hopfield Networks は、多くの魅力的な特性を持っている。 パターン補完を行い、多数のメモリを格納し、リカレントニューラルネットワークを使用して記述することができる。 本稿では,任意の数のレイヤを持つ連想メモリの完全再帰モデルについて述べる。
  論文  参考訳（メタデータ） (2021-07-14T01:38:40Z)
• New Insights on Learning Rules for Hopfield Networks: Memory and Objective Function Minimisation [1.7006003864727404]
  各種コスト関数の降下型アルゴリズムとして学習規則を新たに検討する。 ホップフィールドネットワークにおける学習過程におけるバイアス(外部入力)の役割について論じる。
  論文  参考訳（メタデータ） (2020-10-04T03:02:40Z)
• Dynamic Graph: Learning Instance-aware Connectivity for Neural Networks [78.65792427542672]
  動的グラフネットワーク(DG-Net)は完全な有向非巡回グラフであり、ノードは畳み込みブロックを表し、エッジは接続経路を表す。 ネットワークの同じパスを使用する代わりに、DG-Netは各ノードの機能を動的に集約する。
  論文  参考訳（メタデータ） (2020-10-02T16:50:26Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。