論文の概要: High-Capacity Generalized Hopfield Networks

• arxiv url: http://arxiv.org/abs/2608.08226v1
• Date: Sat, 08 Aug 2026 16:45:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:36.731717
• Title: High-Capacity Generalized Hopfield Networks
• Title（参考訳）: 高容量一般化ホップフィールドネットワーク
• Abstract要約: 一般化ホップフィールドネットワークは、記憶とニューロンが連続変数である場合に導入される。 我々は特殊ユニタリ群 SU(d) に付随する対称空間に明示的にフォーカスする。 SU(d)ホップフィールドのメモリリコールはスパイクされた行列のトップ固有ベクトルに沿ったニューロンアライメントに対応することが示されている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generalized Hopfield networks are introduced where memories and neurons are continuous variables that lie on a Riemannian manifold. We explicitly focus on symmetric spaces associated with the special unitary groups SU(d), and use both numerical and analytical (replica) techniques to demonstrate an almost order of magnitude enhancement in critical capacity over the vector networks starting with d=3 and further rapidly growing with d. To circumvent the non-linear geometric constraints, we use a Lie algebraic method [following V. Galitski, Phys. Rev. A 84, 012118 (2011)] to exactly describe the classical neural network in terms of linear algebra in an auxiliary Hilbert space. It is shown that in contrast to the traditional Hopfield networks, memory recall in SU(d) Hopfields corresponds to neuron alignment along a top eigenvector of a spiked matrix, which is less susceptible to random matrix crosstalk than other models with continuous neuron variables. Physical platforms to realize SU(d) Hopfields are briefly discussed and physical (in addition to algorithmic) recall mechanism is demonstrated, where memory recovery occurs naturally through generalized Landau-Lifshitz-Gilbert dynamics. To illustrate SU(3) memory recall, we introduce a color (RGB) image encoding/decoding protocol and explicitly run image recovery on corrupted cues. Finally, we quantize the generalized Hopfields which are shown to reduce to Sachdev-Ye glassy type of models. Their many-body spectra generally feature two types of dark and memory bands, where the latter exhibits chaotic Wigner-Dyson level statistics that hides Hebbian data.
• Abstract（参考訳）: 一般化ホップフィールドネットワークは、メモリとニューロンがリーマン多様体上の連続変数であるときに導入された。 特殊ユニタリ群 SU(d) に付随する対称空間に明示的に焦点をあて、数値的および解析的(レプリカ的)な手法を用いて、d=3 および d でより急速に成長するベクトルネットワーク上での臨界容量のほぼ一階の増大を示す。 非線型幾何学的制約を回避するために、補助ヒルベルト空間における線型代数の観点から古典的ニューラルネットワークを正確に記述するためにリー代数的手法(V. Galitski, Phys. A 84, 012118 (2011)]を用いる。 従来のホップフィールドネットワークとは対照的に、SU(d)ホップフィールドのメモリリコールはスパイクされた行列の頂点固有ベクトルに沿ったニューロンアライメントに対応しており、連続するニューロン変数を持つ他のモデルよりもランダムな行列クロストークの影響を受けにくいことが示されている。 SU(d)ホップフィールドを実現する物理プラットフォームを概説し、一般化されたランダウ・リフシッツ・ギルベルト力学により、メモリ回復が自然に起こる物理(アルゴリズム的な)リコール機構を示す。 SU(3)メモリリコールを説明するために、カラー(RGB)画像エンコーディング/デコードプロトコルを導入し、劣化したキュー上で画像リカバリを明示的に実行する。 最後に、一般化されたホップフィールドを定量化し、Sachdev-Ye のガラスモデルに還元することを示した。 彼らの多体スペクトルは一般的に暗黒バンドとメモリバンドの2種類が特徴であり、後者はヘビアンデータを隠蔽するカオス的なウィグナー・ダイソンレベルの統計を示す。

関連論文リスト

• Phases in a class of associative memories via hidden neurons [5.577596968571274]
  ホップフィールドネットワークにおける連想記憶は、乱れた多体系におけるアトラクタダイナミクスである。 我々は Krotov と Hopfield の双部構造を研究し、クラスを $H$ と呼ぶ。
  論文  参考訳（メタデータ） (2026-09-10T01:50:32Z)
• Storing overlapping associative memories on latent manifolds in low-rank spiking networks [5.041384008847852]
  我々はスパイクベースの計算の理解の進歩を踏まえ、連想記憶問題を再考する。 大規模全阻止ネットワークのスパイク活性は,低次元,凸,片方向線形多様体上に位置することを示す。 学習ルールをいくつか提案し, 記憶容量をニューロン数で線形に拡張し, パターン完備化能力を示す。
  論文  参考訳（メタデータ） (2024-11-26T14:48:25Z)
• A Non-negative VAE:the Generalized Gamma Belief Network [49.970917207211556]
  ガンマ信念ネットワーク(GBN)は、テキストデータ中の多層解釈可能な潜在表現を明らかにする可能性を実証している。 本稿では、一般化ガンマ信念ネットワーク(Generalized GBN)を導入し、元の線形生成モデルをより表現力のある非線形生成モデルに拡張する。 また、潜伏変数の後方分布を近似する上向きのワイブル推論ネットワークを提案する。
  論文  参考訳（メタデータ） (2024-08-06T18:18:37Z)
• Differentially Private Non-convex Learning for Multi-layer Neural Networks [35.24835396398768]
  本稿では,単一出力ノードを持つ(多層)完全連結ニューラルネットワークに対する差分的タンジェント最適化の問題に焦点をあてる。 ニューラルカーネル理論の最近の進歩を利用して、サンプルサイズとネットワーク幅の両方が十分に大きい場合に、最初の過剰人口リスクを提供する。
  論文  参考訳（メタデータ） (2023-10-12T15:48:14Z)
• How many Neurons do we need? A refined Analysis for Shallow Networks trained with Gradient Descent [0.0]
  ニューラル・タンジェント・カーネル・システムにおける2層ニューラルネットワークの一般化特性を解析した。 非パラメトリック回帰の枠組みにおいて、最小限最適であることが知られている収束の速い速度を導出する。
  論文  参考訳（メタデータ） (2023-09-14T22:10:28Z)
• How (Implicit) Regularization of ReLU Neural Networks Characterizes the Learned Function -- Part II: the Multi-D Case of Two Layers with Random First Layer [2.1485350418225244]
  本稿では,ReLUアクティベーションを伴うランダム化した浅層NNの一般化挙動を,正確なマクロ解析により解析する。 RSNは、無限に多くの方向が考慮される一般化加法モデル(GAM)型回帰に対応することを示す。
  論文  参考訳（メタデータ） (2023-03-20T21:05:47Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• Redundant representations help generalization in wide neural networks [71.38860635025907]
  様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。 最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
  論文  参考訳（メタデータ） (2021-06-07T10:18:54Z)
• Can Temporal-Difference and Q-Learning Learn Representation? A Mean-Field Theory [110.99247009159726]
  時間差とQ-ラーニングは、ニューラルネットワークのような表現力のある非線形関数近似器によって強化される深層強化学習において重要な役割を担っている。 特に時間差学習は、関数近似器が特徴表現において線形であるときに収束する。
  論文  参考訳（メタデータ） (2020-06-08T17:25:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。