論文の概要: Attention over noisy examples: generalization and memorization in the exponential Hopfield network
- arxiv url: http://arxiv.org/abs/2610.22191v2
- Date: Sat, 17 Oct 2026 14:07:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 06:32:45.318833
- Title: Attention over noisy examples: generalization and memorization in the exponential Hopfield network
- Title（参考訳）: 雑音に対する注意:指数ホップフィールドネットワークにおける一般化と記憶
- Abstract要約: ホップフィールドネットワークは、ノイズの多い例を通してのみ見られるアーチタイプを検索する。
信号対雑音解析は、閉じた形で見えないアーチタイプとの重なりを与える。
最高の精度は、構造化データセットの凍結を超えています。
- 参考スコア（独自算出の注目度）: 1.14219428942199
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In Hebbian learning from examples, a Hopfield network retrieves archetypes seen only through noisy examples. We study it in the exponential Hopfield model: one softmax attention step with the unlabelled examples as keys. A signal-to-noise analysis gives the overlap with an unseen archetype in closed form: a majority-rule law in which an attention entropy replaces the dataset entropy. At high temperature the archetype is lost in the crosstalk; at low temperature the softmax freezes on the closest training example, as in a random energy model, and the layer memorizes. In between, in a window widening with the square root of the network size, the layer pools the examples of the correct class and retrieves the unseen archetype as well as their majority vote allows, at any fixed load. On structured datasets, such as MNIST and fashion-MNIST, the best accuracy lies beyond the freezing.
- Abstract（参考訳）: ヘビアン学習では、ホップフィールドネットワークはノイズの多い例を通してのみ見られるアーチェタイプを検索する。
我々は指数ホップフィールドモデル(英語版)でこれを研究する。
信号対雑音解析は、閉形式の見えないアーチタイプと重なり合う: 注意エントロピーがデータセットエントロピーを置き換える多数ルール法則である。
高温では、アーチタイプがクロストークで失われ、低温では、ランダムエネルギーモデルのように、ソフトマックスが最も近いトレーニング例で凍結し、層が記憶する。
中間では、ネットワークサイズの平方根で拡張されたウィンドウにおいて、レイヤは正しいクラスの例をプールし、目に見えないアーチタイプと、その過半数の投票が、任意の固定負荷で許可される。
MNIST や fashion-MNIST のような構造化データセットでは、最も正確性が高い。
関連論文リスト
- Stochastic Autoregressive Learning [14.292982828097465]
連立自己回帰学習のためのPAC学習モデルを提案する。
自己回帰学習が決定論的理論と根本的に異なることを示す。
論文 参考訳（メタデータ） (2026-08-07T13:40:17Z) - How Neural Reward Models Learn Features for Policy Optimization: A Single-Index Analysis [53.063298916923976]
r*(x) = *(langle *, xrangle)$ と $x sim N(0, I_d)$ でガウスの単一インデックスモデルでフィードバックを研究する。
まず、報酬重み付きサンプルから隠れた方向を*$で学習し、次に重み付きリッジ回帰により読み出し層に適合する2段階のニューラル報酬モデルを分析する。
論文 参考訳（メタデータ） (2026-05-23T22:00:38Z) - Attention with Trained Embeddings Provably Selects Important Tokens [73.77633297039097]
トーケン埋め込みは言語モデリングにおいて重要な役割を担っているが、この実践的関連性にもかかわらず、理論的な理解は限られている。
本論文は,勾配降下法により得られた埋め込み構造を特徴付けることにより,そのギャップを解消する。
実世界のデータセット(IMDB、Yelp)の実験では、我々の理論が明らかにしたものに近い現象が示されている。
論文 参考訳（メタデータ） (2025-05-22T21:00:09Z) - Learning Orthogonal Multi-Index Models: A Fine-Grained Information Exponent Analysis [54.57279006229212]
情報指数は、オンライン勾配降下のサンプルの複雑さを予測する上で重要な役割を担っている。
本研究では,2次項と高次項の両方を考慮することで,まず2次項を用いて関連する空間を学習できることを示す。
オンラインSGDの全体サンプルと複雑さは$tildeO(d PL-1 )$である。
論文 参考訳（メタデータ） (2024-10-13T00:14:08Z) - High-dimensional Asymptotics of Feature Learning: How One Gradient Step
Improves the Representation [89.21686761957383]
2層ネットワークにおける第1層パラメータ $boldsymbolW$ の勾配降下ステップについて検討した。
我々の結果は、一つのステップでもランダムな特徴に対してかなりの優位性が得られることを示した。
論文 参考訳（メタデータ） (2022-05-03T12:09:59Z) - Fundamental tradeoffs between memorization and robustness in random
features and neural tangent regimes [15.76663241036412]
モデルがトレーニングのごく一部を記憶している場合、そのソボレフ・セミノルムは低い有界であることを示す。
実験によって初めて、(iv)ミンノルム補間器の堅牢性における多重発色現象が明らかになった。
論文 参考訳（メタデータ） (2021-06-04T17:52:50Z) - Learning to extrapolate using continued fractions: Predicting the
critical temperature of superconductor materials [5.905364646955811]
人工知能(AI)と機械学習(ML)の分野では、未知のターゲット関数 $y=f(mathbfx)$ の近似が共通の目的である。
トレーニングセットとして$S$を参照し、新しいインスタンス$mathbfx$に対して、このターゲット関数を効果的に近似できる低複雑さの数学的モデルを特定することを目的としている。
論文 参考訳（メタデータ） (2020-11-27T04:57:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。