論文の概要: Exponential Capacity in Multilayer Hetero-Associative Neural Networks
- arxiv url: http://arxiv.org/abs/2607.29554v1
- Date: Fri, 31 Jul 2026 15:46:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-03 14:29:40.786365
- Title: Exponential Capacity in Multilayer Hetero-Associative Neural Networks
- Title（参考訳）: 多層ヘテロ結合型ニューラルネットワークにおける指数容量
- Abstract要約: 我々は,2次ニューロンの$L$層からなる指数型ニューラルネットワークについて検討した。
指数的な容量と予測された盆地は、相関する多対一パターンで生き残ることが判明した。
- 参考スコア（独自算出の注目度）: 1.5749416770494706
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Exponential Hopfield networks store a number of patterns that grows exponentially with the number of neurons, and in their classical formulation they are auto-associative: they complete a corrupted copy of a memory into the memory itself. Many of the tasks one wants such a network to perform are instead hetero-associative, mapping a cue to a different target. We introduce and analyse an exponential neural network of $L$ layers of $N$ binary neurons, each layer carrying its own dataset, whose energy is an exponential of the product of the per-layer Mattis overlaps, so that it is minimised precisely when every layer retrieves the pattern of the same index; the stored association must be a surjective function of the cue, and we show why nothing else can be stored at all. A cavity/signal-to-noise analysis, made exact at leading order by a large-deviation evaluation of the noise, shows that the aligned hetero-associative state is a fixed point of the zero-temperature dynamics up to a number of stored patterns $P_c\sim e^{Nρ_L}$, exponential in the layer size, with an explicit rate $ρ_L$ that grows like $L\log 2$; enlarging the basins of attraction lowers the rate but never destroys its exponential character. Comparing the theory with structured data we find that the exponential capacity and the predicted basins survive correlated, many-to-one patterns: the network is a near-perfect content-addressable memory. The same closed forms describe, without refitting, a synthetic manifold, real T-cell-receptor/epitope triples and natural-language intent data, so the mechanism is domain-universal. Generalisation to unseen cues, though significantly above chance, stays below memorisation, and it is the geometry of the encoding, rather than the data domain, that sets how far above chance it reaches. In this family, exponential storage and strong generalisation are distinct capabilities.
- Abstract（参考訳）: 指数ホップフィールドネットワークは、ニューロンの数に応じて指数関数的に成長するパターンを多数格納し、古典的な定式化では、それらは自己連想的である。
そのようなネットワークが実行したいタスクの多くはヘテロ連想的であり、キューを別のターゲットにマッピングする。
我々は,2次ニューロンの$L$層からなる指数的ニューラルネットワークを導入,解析し,各層が自身のデータセットを持ち,そのエネルギーが各層ごとの積の指数関数であるマティス重なり合うことにより,各層が同じ指数のパターンを検索した場合に,正確に最小化される。
共振器/信号対雑音解析は、ノイズの大規模な偏差評価により、整列したヘテロ結合状態が、多数の記憶パターンを持つゼロ温度ダイナミクスの固定点であることを示す。
この理論と構造化されたデータを比較すると、指数的容量と予測された盆地は相関関係にあることが分かり、ネットワークは、ほぼ完全なコンテンツ適応可能なメモリである。
同じ閉じた形式は、合成多様体、実T細胞受容体/エピトープ三重項、および自然言語のインテントデータを記述するため、そのメカニズムはドメイン・ユニバーサルである。
未知の手がかりへの一般化は、偶然よりもはるかに上回っているが、暗記よりも低いままであり、データ領域ではなくエンコーディングの幾何学であり、それがどれだけの確率で到達できるかを決定づけている。
この族では指数的記憶と強い一般化が異なる能力である。
関連論文リスト
- Learn from your own latents and not from tokens: A sample-complexity theory [53.5821824211418]
本研究では,関連するビューやマスキング領域の潜在表現を予測するために訓練されたネットワークについて検討する。
潜在予測は、対数的要因まで、多くのサンプルを$L$で表すことでこれを達成できることを示す。
これは、H-JEPAのような明示的な積み重ねがほとんど冗長であることを示している。
論文 参考訳（メタデータ） (2026-05-26T22:16:42Z) - Neural Networks Learn Generic Multi-Index Models Near Information-Theoretic Limit [66.20349460098275]
一般ガウス多次元モデル $f(boldsymbolx)=g(boldsymbolUboldsymbolx)$ の勾配降下学習を隠蔽部分空間 $boldsymbolUin mathbbRrtimes d$ で研究する。
リンク関数上の一般的な非退化仮定の下では、層次勾配勾配勾配によって訓練された標準的な2層ニューラルネットワークは、$o_d(1)$テスト誤差でターゲットを不可知的に学習できることを示す。
論文 参考訳（メタデータ） (2025-11-19T04:46:47Z) - An unsupervised tour through the hidden pathways of deep neural networks [6.063903439185316]
この論文は、教師なし学習ツールによる隠蔽表現の意味的内容の特徴付けに焦点を当てている。
第3章では、最先端のディープニューラルネットワークにおいて、隠れた層にまたがる確率密度の進化について検討する。
第4章では、ディープニューラルネットワークにおける一般化の問題について検討する。
論文 参考訳（メタデータ） (2025-10-24T15:50:31Z) - Global Convergence and Rich Feature Learning in $L$-Layer Infinite-Width Neural Networks under $μ$P Parametrization [66.03821840425539]
本稿では, テンソル勾配プログラム(SGD)フレームワークを用いた$L$層ニューラルネットワークのトレーニング力学について検討する。
SGDにより、これらのネットワークが初期値から大きく逸脱する線形独立な特徴を学習できることを示す。
このリッチな特徴空間は、関連するデータ情報をキャプチャし、トレーニングプロセスの収束点が世界最小であることを保証する。
論文 参考訳（メタデータ） (2025-03-12T17:33:13Z) - Multi-Valued Neural Networks I A Multi-Valued Associative Memory [0.0]
本稿では,数を持たないネットワークの概念を導入し,その特性を調査し,多値の場合の学習アルゴリズムを提案する。
多値ニューラルネットワークでは、全ての変数は数ではないが、格子の要素や部分集合、すなわちこれらはすべて部分的に順序づけられている。
論文 参考訳（メタデータ） (2023-02-23T10:32:25Z) - The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。
我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文 参考訳（メタデータ） (2021-07-31T10:25:26Z) - Slope and generalization properties of neural networks [0.0]
十分に訓練されたニューラルネットワーク分類器の勾配分布は、一般に、完全に接続されたネットワークの層幅から独立していることを示す。
傾斜は、関連する体積を通して類似した大きさであり、滑らかに変化する。また、再スケーリングの例でも予測されるように振る舞う。
本稿では、損失関数の一部として利用したり、ネットワークトレーニング中に基準を終了させたり、複雑度の観点からデータセットをランク付けしたりといった、斜面概念の応用の可能性について論じる。
論文 参考訳（メタデータ） (2021-07-03T17:54:27Z) - Redundant representations help generalization in wide neural networks [71.38860635025907]
様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。
最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
論文 参考訳（メタデータ） (2021-06-07T10:18:54Z) - Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。
ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。
本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
論文 参考訳（メタデータ） (2021-06-06T19:08:53Z) - Binary autoencoder with random binary weights [0.0]
層間情報を保存するために,隠蔽層の疎活性化が自然に起こることが示されている。
十分に大きな隠蔽層があれば、ニューロンのしきい値を変えるだけで任意の入力に対する再構成誤差をゼロにすることができる。
このモデルはフルーツフライの嗅覚システムに似ており、提示された理論的結果はより複雑なニューラルネットワークを理解する上で有用な洞察を与える。
論文 参考訳（メタデータ） (2020-04-30T12:13:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。