論文の概要: Effects of Feature Correlations on Associative Memory Capacity

• arxiv url: http://arxiv.org/abs/2508.01395v1
• Date: Sat, 02 Aug 2025 15:03:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-05 18:25:21.859973
• Title: Effects of Feature Correlations on Associative Memory Capacity
• Title（参考訳）: 連想記憶能力に及ぼす特徴相関の影響
• Authors: Stefan Bielmeier, Gerald Friedland,
• Abstract要約: 我々は,データ構造がキャパシティ・ダイナミクスに与える影響を分析するための経験的枠組みを開発した。 実験により、メモリ容量は入力空間の分離の増加とともに指数関数的にスケールすることを確認した。 我々の発見は、DAMの理論的作業と実践的な設定を橋渡しし、よりデータ中心の手法を刺激する可能性がある。
• 参考スコア（独自算出の注目度）: 1.024113475677323
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We investigate how feature correlations influence the capacity of Dense Associative Memory (DAM), a Transformer attention-like model. Practical machine learning scenarios involve feature-correlated data and learn representations in the input space, but current capacity analyses do not account for this. We develop an empirical framework to analyze the effects of data structure on capacity dynamics. Specifically, we systematically construct datasets that vary in feature correlation and pattern separation using Hamming distance from information theory, and compute the model's corresponding storage capacity using a simple binary search algorithm. Our experiments confirm that memory capacity scales exponentially with increasing separation in the input space. Feature correlations do not alter this relationship fundamentally, but reduce capacity slightly at constant separation. This effect is amplified at higher polynomial degrees in the energy function, suggesting that Associative Memory is more limited in depicting higher-order interactions between features than patterns. Our findings bridge theoretical work and practical settings for DAM, and might inspire more data-centric methods.
• Abstract（参考訳）: 本稿では,特徴相関がDense Associative Memory(DAM)の容量に与える影響について検討する。 実用的な機械学習シナリオは、特徴関連データと入力空間における表現の学習を伴うが、現在のキャパシティ分析は、このことを考慮していない。 我々は,データ構造がキャパシティ・ダイナミクスに与える影響を分析するための経験的枠組みを開発した。 具体的には,情報理論からハミング距離を用いて特徴相関やパターン分離の異なるデータセットを体系的に構築し,単純な二分探索アルゴリズムを用いてモデルに対応する記憶容量を算出する。 実験により,入力空間の分離が増加するにつれてメモリ容量が指数関数的に拡大することが確認された。 特徴相関は、この関係を根本的に変化させるのではなく、一定の分離で容量をわずかに減少させる。 この効果はエネルギー関数の高次多項式度で増幅され、アソシエーションメモリはパターンよりも高次相互作用を記述する際により限定的であることが示唆される。 我々の発見は、DAMの理論的作業と実践的な設定を橋渡しし、よりデータ中心の手法を刺激する可能性がある。

関連論文リスト

• Efficient Machine Unlearning via Influence Approximation [75.31015485113993]
  インフルエンサーベースのアンラーニングは、個別のトレーニングサンプルがモデルパラメータに与える影響を再トレーニングせずに推定する顕著なアプローチとして現れてきた。 本稿では,暗記(増分学習)と忘れ(未学習)の理論的関連性を確立する。 本稿では、インフルエンス近似アンラーニングアルゴリズムを導入し、インクリメンタルな視点から効率的なマシンアンラーニングを行う。
  論文  参考訳（メタデータ） (2025-07-31T05:34:27Z)
• Capacity Matters: a Proof-of-Concept for Transformer Memorization on Real-World Data [6.885357232728911]
  本稿では,モデルアーキテクチャとデータ構成が生成変換器の実証記憶能力に与える影響について検討する。 これらのモデルは、SNOMED(Systematized Nomenclature of Medicine)から得られた合成テキストデータセットを用いて訓練される
  論文  参考訳（メタデータ） (2025-06-17T16:42:54Z)
• A Computational Model of Learning and Memory Using Structurally Dynamic Cellular Automata [0.0]
  そこで本研究では,生物工学的手法に基づく学習と記憶の数学的・計算モデルを提案する。 実験結果から,1回のトレーニング実行後に報酬状態を再発見するために,モデルが最適に近い選択をすることができることがわかった。
  論文  参考訳（メタデータ） (2024-12-20T17:26:17Z)
• Solution space and storage capacity of fully connected two-layer neural networks with generic activation functions [0.552480439325792]
  二項分類モデルの記憶容量は、モデルが学習できるパラメータ毎のランダムな入出力ペアの最大数である。 一般活性化機能を持つ完全連結二層ニューラルネットワークの解空間の構造と記憶容量を解析する。
  論文  参考訳（メタデータ） (2024-04-20T15:12:47Z)
• Learning Associative Memories with Gradient Descent [21.182801606213495]
  この研究は、トークン埋め込みの外部積を格納する1つの連想メモリモジュールのトレーニングダイナミクスに焦点を当てている。 相関埋め込みによるトークン周波数とメモリ干渉の不均衡が過渡的状態を引き起こすことを示す。
  論文  参考訳（メタデータ） (2024-02-28T21:47:30Z)
• Bridging Associative Memory and Probabilistic Modeling [29.605203018237457]
  連想記憶と確率的モデリングは人工知能の2つの基本的なトピックである。 両方向のアイデアの有用なフローを実現するために,この2つの橋を架けています。
  論文  参考訳（メタデータ） (2024-02-15T18:56:46Z)
• Understanding Augmentation-based Self-Supervised Representation Learning via RKHS Approximation and Regression [53.15502562048627]
  最近の研究は、自己教師付き学習とグラフラプラシアン作用素のトップ固有空間の近似との関係を構築している。 この研究は、増強に基づく事前訓練の統計的分析に発展する。
  論文  参考訳（メタデータ） (2023-06-01T15:18:55Z)
• Dynamic Latent Separation for Deep Learning [67.62190501599176]
  機械学習の中核的な問題は、複雑なデータに対するモデル予測のための表現力のある潜在変数を学習することである。 本稿では,表現性を向上し,部分的解釈を提供し,特定のアプリケーションに限定されないアプローチを開発する。
  論文  参考訳（メタデータ） (2022-10-07T17:56:53Z)
• Towards Differential Relational Privacy and its use in Question Answering [109.4452196071872]
  データセット内のエンティティ間の関係の記憶は、トレーニングされた質問応答モデルを使用する場合、プライバシの問題につながる可能性がある。 我々はこの現象を定量化し、微分プライバシー(DPRP)の定義を可能にする。 質問回答のための大規模モデルを用いた実験において,概念を解説する。
  論文  参考訳（メタデータ） (2022-03-30T22:59:24Z)
• Learning Optical Flow from a Few Matches [67.83633948984954]
  密な相関体積表現は冗長であり、その中の要素のほんの一部で正確なフロー推定が達成できることを示した。 実験により,高い精度を維持しつつ計算コストとメモリ使用量を大幅に削減できることを示した。
  論文  参考訳（メタデータ） (2021-04-05T21:44:00Z)
• Optimal Learning with Excitatory and Inhibitory synapses [91.3755431537592]
  相関関係の存在下でアナログ信号間の関連性を保持するという課題について検討する。 ランダムな入力および出力プロセスのパワースペクトルの観点から、典型的な学習性能を特徴付ける。
  論文  参考訳（メタデータ） (2020-05-25T18:25:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。