論文の概要: Attention over noisy examples: generalization and memorization in the exponential Hopfield network

• arxiv url: http://arxiv.org/abs/2610.22191v1
• Date: Thu, 15 Oct 2026 16:43:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.19731
• Title: Attention over noisy examples: generalization and memorization in the exponential Hopfield network
• Title（参考訳）: 雑音に対する注意:指数ホップフィールドネットワークにおける一般化と記憶
• Abstract要約: $N$ニューロンのホップフィールドネットワークは、取得しなければならない$K$アーチタイプを供給しない。 信号対雑音解析は、出力と見えないアーチタイプの間の重なり合いを閉じた形で与える。 MNISTでは、診断はランダムエネルギー予測に従い、ファッションMNISTではクラス内のサブクラスタを検出する。
• 参考スコア（独自算出の注目度）: 1.14219428942199
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In Hebbian learning from examples a Hopfield network of $N$ neurons is not supplied with the $K$ archetypes it has to retrieve but with $M$ blurred examples of each, of quality $r$, and whether it can infer them depends on the load $α=K/N$ (interference among them) and on the dataset entropy $ρ=(1-r^2)/(Mr^2)$ (how little the examples say about them). We transfer this protocol to the exponential Hopfield model, whose zero-temperature update is a step of softmax attention with the unlabelled examples as keys. A signal-to-noise analysis gives in closed form the overlap between the output and an unseen archetype, $m^{(1)}={\rm erf}(1/\sqrt{2ρ_{\rm eff}})$: the majority-rule law of the pairwise model at small load, with $ρ$ replaced by an attention entropy $ρ_{\rm eff}$ built from the weight the softmax gives to the correct class and the number of examples it spreads it over. Two consequences follow. First, in a window of inverse temperatures $β$ that widens as $\sqrt N$ the interference between archetypes is exponentially small in $Nβ$: the load drops out and the number of archetypes that can be learnt grows as $\exp(c\sqrt N)$. Second, learning fails differently: in the pairwise model through a spin-glass phase, in the exponential model through memorization: the softmax concentrates its weight on the training example closest to the input and returns it in place of the archetype. Seen from the input the softmax weights are those of the random energy model, and memorization is its freezing transition, at $β\sqrt{N(1-r^2)}\simeq\sqrt{2\ln M}$; it is measurable on a head whose keys are examples as the number of examples carrying weight. On MNIST the diagnostic follows the random-energy prediction; on fashion-MNIST it detects sub-clusters in the classes, and the best accuracy lies beyond the memorization threshold, where the softmax reads out a local sub-prototype.
• Abstract（参考訳）: ヘビアン・ラーニングでは、$N$ニューロンのホップフィールド・ネットワークは、取得しなければならない$K$アーチタイプは供給されないが、$M$は、品質$r$のそれぞれの曖昧な例であり、それらが負荷$α=K/N$(それらの間の相互作用)とデータセットエントロピー$ρ=(1-r^2)/(Mr^2)$に依存するかどうかによって推測できる。 我々はこのプロトコルを指数ホップフィールドモデルに転送し、そのゼロ温度更新はキーとして未実装の例を用いてソフトマックスアテンションのステップである。 信号対雑音解析により、出力と未知のアーチタイプの間の重なりが閉形式で与えられる: $m^{(1)}={\rm erf}(1/\sqrt{2ρ_{\rm eff}})$: ペアモデルの小さな負荷での多数ルール法則、$ρ$は注意エントロピー$ρ_{\rm eff}$で置き換えられる。 2つの結果が続く。 まず、逆温度のウィンドウで$β$ が$\sqrt N$ となるとき、アーチタイプ間の干渉は指数関数的に$Nβ$ で小さくなる: 負荷が減り、学習可能なアーチタイプの数も$\exp(c\sqrt N)$ になる。 第二に、学習は異なる: スピングラスフェーズによるペアワイズモデルでは、暗記による指数モデルでは、ソフトマックスは入力に最も近いトレーニング例に重みを集中し、アーキタイプの代わりにそれを返す。 入力から見ると、ソフトマックス重みはランダムエネルギーモデルの値であり、記憶化はその凍結遷移であり、$β\sqrt{N(1-r^2)}\simeq\sqrt{2\ln M}$である。 MNISTでは、診断はランダムエネルギー予測に従い、ファッションMNISTではクラス内のサブクラスタを検出し、最も精度が高いのは記憶しきい値を超え、ソフトマックスは局所的なサブプロトタイプを読み取る。

関連論文リスト

• Stochastic Autoregressive Learning [14.292982828097465]
  連立自己回帰学習のためのPAC学習モデルを提案する。 自己回帰学習が決定論的理論と根本的に異なることを示す。
  論文  参考訳（メタデータ） (2026-08-07T13:40:17Z)
• How Neural Reward Models Learn Features for Policy Optimization: A Single-Index Analysis [53.063298916923976]
  r*(x) = *(langle *, xrangle)$ と $x sim N(0, I_d)$ でガウスの単一インデックスモデルでフィードバックを研究する。 まず、報酬重み付きサンプルから隠れた方向を*$で学習し、次に重み付きリッジ回帰により読み出し層に適合する2段階のニューラル報酬モデルを分析する。
  論文  参考訳（メタデータ） (2026-05-23T22:00:38Z)
• Attention with Trained Embeddings Provably Selects Important Tokens [73.77633297039097]
  トーケン埋め込みは言語モデリングにおいて重要な役割を担っているが、この実践的関連性にもかかわらず、理論的な理解は限られている。 本論文は,勾配降下法により得られた埋め込み構造を特徴付けることにより,そのギャップを解消する。 実世界のデータセット(IMDB、Yelp)の実験では、我々の理論が明らかにしたものに近い現象が示されている。
  論文  参考訳（メタデータ） (2025-05-22T21:00:09Z)
• Learning Orthogonal Multi-Index Models: A Fine-Grained Information Exponent Analysis [54.57279006229212]
  情報指数は、オンライン勾配降下のサンプルの複雑さを予測する上で重要な役割を担っている。 本研究では,2次項と高次項の両方を考慮することで,まず2次項を用いて関連する空間を学習できることを示す。 オンラインSGDの全体サンプルと複雑さは$tildeO(d PL-1 )$である。
  論文  参考訳（メタデータ） (2024-10-13T00:14:08Z)
• High-dimensional Asymptotics of Feature Learning: How One Gradient Step Improves the Representation [89.21686761957383]
  2層ネットワークにおける第1層パラメータ $boldsymbolW$ の勾配降下ステップについて検討した。 我々の結果は、一つのステップでもランダムな特徴に対してかなりの優位性が得られることを示した。
  論文  参考訳（メタデータ） (2022-05-03T12:09:59Z)
• Fundamental tradeoffs between memorization and robustness in random features and neural tangent regimes [15.76663241036412]
  モデルがトレーニングのごく一部を記憶している場合、そのソボレフ・セミノルムは低い有界であることを示す。 実験によって初めて、(iv)ミンノルム補間器の堅牢性における多重発色現象が明らかになった。
  論文  参考訳（メタデータ） (2021-06-04T17:52:50Z)
• Learning to extrapolate using continued fractions: Predicting the critical temperature of superconductor materials [5.905364646955811]
  人工知能(AI)と機械学習(ML)の分野では、未知のターゲット関数 $y=f(mathbfx)$ の近似が共通の目的である。 トレーニングセットとして$S$を参照し、新しいインスタンス$mathbfx$に対して、このターゲット関数を効果的に近似できる低複雑さの数学的モデルを特定することを目的としている。
  論文  参考訳（メタデータ） (2020-11-27T04:57:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。