論文の概要: Improved Robustness and Hyperparameter Selection in Modern Hopfield Networks

• arxiv url: http://arxiv.org/abs/2407.08742v2
• Date: Tue, 30 Jul 2024 03:53:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-31 21:23:40.289089
• Title: Improved Robustness and Hyperparameter Selection in Modern Hopfield Networks
• Title（参考訳）: 近代ホップフィールドネットワークにおけるロバスト性向上とハイパーパラメータ選択
• Authors: Hayden McAlister, Anthony Robins, Lech Szymanski,
• Abstract要約: 現代のホップフィールドネットワークは、よりシャープな相互作用関数を許容することによって、古典的なホップフィールドネットワークを一般化する。 ネットワークの実装は、メモリベクトルとプローブベクトルのドット積に大きな指数を適用することに依存する。 この問題を詳細に記述し、元のネットワーク記述を変更して問題を緩和し、更新やトレーニング中にネットワークのダイナミクスを変更することはないことを示す。
• 参考スコア（独自算出の注目度）: 1.2289361708127877
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The modern Hopfield network generalizes the classical Hopfield network by allowing for sharper interaction functions. This increases the capacity of the network as an autoassociative memory as nearby learned attractors will not interfere with one another. However, the implementation of the network relies on applying large exponents to the dot product of memory vectors and probe vectors. If the dimension of the data is large the calculation can be very large and result in problems when using floating point numbers in a practical implementation. We describe this problem in detail, modify the original network description to mitigate the problem, and show the modification will not alter the networks' dynamics during update or training. We also show our modification greatly improves hyperparameter selection for the modern Hopfield network, removing hyperparameter dependence on the interaction vertex and resulting in an optimal region of hyperparameters that does not significantly change with the interaction vertex as it does in the original network.
• Abstract（参考訳）: 現代のホップフィールドネットワークは、よりシャープな相互作用関数を許容することによって、古典的なホップフィールドネットワークを一般化する。 これにより、近くの学習されたアトラクションが互いに干渉しないため、自己連想記憶としてのネットワークの容量が増大する。 しかし、ネットワークの実装は、メモリベクトルとプローブベクトルのドット積に大きな指数を適用することに依存している。 データの次元が大きければ、計算は非常に大きくなり、実際の実装で浮動小数点数を使用する場合の問題が発生する。 この問題を詳細に記述し、元のネットワーク記述を変更して問題を緩和し、更新やトレーニング中にネットワークのダイナミクスを変更することはないことを示す。 また,現代のホップフィールドネットワークにおけるハイパーパラメータ選択を大幅に改善し,相互作用頂点へのハイパーパラメータ依存を除去し,元のネットワークのように相互作用頂点に大きく変化しない最適なハイパーパラメータ領域が得られることを示した。

関連論文リスト

• Dense Associative Memory Through the Lens of Random Features [48.17520168244209]
  Dense Associative Memoriesはホップフィールドネットワークの高容量版である。 このネットワークは,従来のDense Associative Memoriesのエネルギー関数と力学を密接に近似していることを示す。
  論文  参考訳（メタデータ） (2024-10-31T17:10:57Z)
• Non-Separable Multi-Dimensional Network Flows for Visual Computing [62.50191141358778]
  本研究では,非分離型多次元ネットワークフローに対する新しい定式化法を提案する。 フローは次元ごとに定義されるので、最大化フローは自動的に最適な特徴次元を選択する。 概念実証として,マルチオブジェクト追跡問題にフォーマリズムを適用し,ノイズに対するロバスト性の観点からMOT16ベンチマークのスカラー定式化よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-15T13:21:44Z)
• Enhancing ResNet Image Classification Performance by using Parameterized Hypercomplex Multiplication [1.370633147306388]
  本稿ではResNetアーキテクチャについて検討し、パラメータ化ハイパープレックス乗算を残差、四元数、ベクトルマップ畳み込みニューラルネットワークのバックエンドに組み込んでその効果を評価する。 PHMは、小型で低解像度のCIFAR 10/100や高解像度の ImageNet や ASL など、複数の画像データセットの分類精度を向上し、超複素ネットワークにおける最先端の精度を実現することができることを示す。
  論文  参考訳（メタデータ） (2023-01-11T18:24:07Z)
• Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
  長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。 完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。 本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
  論文  参考訳（メタデータ） (2022-09-20T14:41:37Z)
• Variable Bitrate Neural Fields [75.24672452527795]
  本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。 辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
  論文  参考訳（メタデータ） (2022-06-15T17:58:34Z)
• Generalized Key-Value Memory to Flexibly Adjust Redundancy in Memory-Augmented Networks [6.03025980398201]
  メモリ拡張ニューラルネットワークは、外部キー値メモリを備えたニューラルネットワークを強化する。 本稿では,サポートベクトルの数からその次元を分離する一般化キー値メモリを提案する。 このパラメータを需要に適応させることは、デバイス数と精度で、44%の非理想性を効果的に軽減できることを示す。
  論文  参考訳（メタデータ） (2022-03-11T19:59:43Z)
• Non-Gradient Manifold Neural Network [79.44066256794187]
  ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。 非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-06-15T06:39:13Z)
• Robust High-dimensional Memory-augmented Neural Networks [13.82206983716435]
  メモリ拡張ニューラルネットワークは、これらの問題を克服するために、明示的なメモリでニューラルネットワークを強化する。 この明示的なメモリへのアクセスは、各個々のメモリエントリを含むソフト読み取りおよび書き込み操作を介して行われる。 本稿では,高次元(HD)ベクトル上でのアナログインメモリ計算を行う明示メモリとして,計算メモリユニットを用いた頑健なアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-10-05T12:01:56Z)
• Dynamic Graph: Learning Instance-aware Connectivity for Neural Networks [78.65792427542672]
  動的グラフネットワーク(DG-Net)は完全な有向非巡回グラフであり、ノードは畳み込みブロックを表し、エッジは接続経路を表す。 ネットワークの同じパスを使用する代わりに、DG-Netは各ノードの機能を動的に集約する。
  論文  参考訳（メタデータ） (2020-10-02T16:50:26Z)
• Improving Memory Utilization in Convolutional Neural Network Accelerators [16.340620299847384]
  本稿では,アクティベーション層を重複させ,メモリをより効率的に利用するためのマッピング手法を提案する。 様々な実世界のオブジェクト検出器ネットワークによる実験により、提案されたマッピング技術により、メモリのアクティベーションを最大32.9%削減できることが示された。 より高解像度のノイズ除去ネットワークでは、活性化メモリの48.8%の節約を実現している。
  論文  参考訳（メタデータ） (2020-07-20T09:34:36Z)
• On Power Laws in Deep Ensembles [12.739425443572202]
  1つの大きなネットワークは、同じ数のパラメータを持つ複数の中規模ネットワークのアンサンブルよりも性能が悪くなる可能性があることを示す。 検出された電力法則的依存関係を用いて、所定の構造を持つネットワークの集合から得られる利益を予測することができる。
  論文  参考訳（メタデータ） (2020-07-16T17:35:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。