論文の概要: Dense Associative Memory with Epanechnikov Energy

• arxiv url: http://arxiv.org/abs/2506.10801v1
• Date: Thu, 12 Jun 2025 15:16:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-13 15:37:22.808843
• Title: Dense Associative Memory with Epanechnikov Energy
• Title（参考訳）: エパネチニコフエネルギーを用いた高密度連想記憶
• Authors: Benjamin Hoover, Zhaoyang Shi, Krishnakumar Balasubramanian, Dmitry Krotov, Parikshit Ram,
• Abstract要約: Dense Associative Memory (DenseAM) ネットワークのための新しいエネルギー関数 log-sum-ReLU (LSR) を提案する。 一般的なlog-sum-exponential (LSE) 関数とは異なり、LSR は Epanechnikov カーネルに基づいている。 実証実験の結果、LSRエネルギーはLSEモデルに匹敵する対数のような局所的なミニマ(記憶)を持つことが示された。
• 参考スコア（独自算出の注目度）: 31.882557303410483
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a novel energy function for Dense Associative Memory (DenseAM) networks, the log-sum-ReLU (LSR), inspired by optimal kernel density estimation. Unlike the common log-sum-exponential (LSE) function, LSR is based on the Epanechnikov kernel and enables exact memory retrieval with exponential capacity without requiring exponential separation functions. Moreover, it introduces abundant additional \emph{emergent} local minima while preserving perfect pattern recovery -- a characteristic previously unseen in DenseAM literature. Empirical results show that LSR energy has significantly more local minima (memories) that have comparable log-likelihood to LSE-based models. Analysis of LSR's emergent memories on image datasets reveals a degree of creativity and novelty, hinting at this method's potential for both large-scale memory storage and generative tasks.
• Abstract（参考訳）: 本稿では,カーネル密度推定にインスパイアされたDense Associative Memory(DenseAM)ネットワーク,log-sum-ReLU(LSR)のための新しいエネルギー関数を提案する。 一般的なlog-sum-exponential(LSE)関数とは異なり、LSRはエパネチニコフカーネルに基づいており、指数的分離関数を必要とせずに指数的容量で正確なメモリ検索を可能にする。 さらに、DenseAMの文献でこれまで見られなかった特徴である、完璧なパターン回復を保ちながら、多くの追加の \emph{emergent} 局所ミニマを導入する。 実証実験の結果、LSRエネルギーはLSEモデルに匹敵する対数のような局所的なミニマ(記憶)を持つことが示された。 画像データセット上でのLSRの創発的メモリの解析は、この方法が大規模メモリストレージと生成タスクの両方にもたらす可能性を示唆する、創造性と新規性の度合いを明らかにしている。

関連論文リスト

• On the role of non-linear latent features in bipartite generative neural networks [4.499833362998488]
  本研究では,リミテッド・ボルツマン・マシン (RBM) を,その隠蔽ユニットに課される事前分布の関数として検討する。 解析の結果,バイナリ隠れノードと広範囲の接続性を持つ標準RCMは,臨界容量の低下に悩まされていることが明らかとなった。 この問題に対処するために、局所バイアスの導入や、よりリッチな隠蔽ユニットの事前適用など、いくつかの修正について検討する。
  論文  参考訳（メタデータ） (2025-06-12T10:20:20Z)
• Joint Learning of Energy-based Models and their Partition Function [19.174145933837927]
  エネルギーベースモデル(EBM)は、ニューラルネットワークを用いて確率分布をパラメータ化するための柔軟なフレームワークを提供する。 本研究では,ESMを大規模に学習するための新しい定式化法を提案する。 当社のアプローチは,Fenchel-Young損失の広範な家族に自然に及んでいることを示す。
  論文  参考訳（メタデータ） (2025-01-30T17:46:17Z)
• CSR:Achieving 1 Bit Key-Value Cache via Sparse Representation [63.65323577445951]
  キャッシュスパース表現(CSR)と呼ばれる新しい手法を提案する。 CSRは、密度の高いKey-Valueキャッシュテンソルをスパースインデックスとウェイトに変換し、LLM推論中によりメモリ効率のよい表現を提供する。 我々の実験は、CSRが最先端KVキャッシュ量子化アルゴリズムに匹敵する性能を達成することを示した。
  論文  参考訳（メタデータ） (2024-12-16T13:01:53Z)
• Bridging Associative Memory and Probabilistic Modeling [29.605203018237457]
  連想記憶と確率的モデリングは人工知能の2つの基本的なトピックである。 両方向のアイデアの有用なフローを実現するために,この2つの橋を架けています。
  論文  参考訳（メタデータ） (2024-02-15T18:56:46Z)
• Heterogenous Memory Augmented Neural Networks [84.29338268789684]
  ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。 学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。 In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
  論文  参考訳（メタデータ） (2023-10-17T01:05:28Z)
• Selective Memory Recursive Least Squares: Recast Forgetting into Memory in RBF Neural Network Based Real-Time Learning [2.31120983784623]
  放射ベース関数ニューラルネットワーク(RBFNN)に基づくリアルタイム学習タスクでは、忘れるメカニズムが広く使用されている。 本稿では,従来の記憶機構を記憶機構に再キャストする選択記憶再帰最小二乗法(SMRLS)を提案する。 SMRLSでは、RBFNNの入力空間を有限個の分割に均等に分割し、各分割から合成されたサンプルを用いて合成目的関数を開発する。
  論文  参考訳（メタデータ） (2022-11-15T05:29:58Z)
• Learning Optical Flow from a Few Matches [67.83633948984954]
  密な相関体積表現は冗長であり、その中の要素のほんの一部で正確なフロー推定が達成できることを示した。 実験により,高い精度を維持しつつ計算コストとメモリ使用量を大幅に削減できることを示した。
  論文  参考訳（メタデータ） (2021-04-05T21:44:00Z)
• Kanerva++: extending The Kanerva Machine with differentiable, locally block allocated latent memory [75.65949969000596]
  エピソディックメモリとセマンティックメモリは、人間のメモリモデルの重要なコンポーネントです。 我々は、エピソードメモリとセマンティックメモリのギャップを埋める新しい原理ベイズメモリ割り当てスキームを開発しました。 この割り当て方式がメモリ条件画像生成の性能を向上させることを実証する。
  論文  参考訳（メタデータ） (2021-02-20T18:40:40Z)
• Deep Representational Similarity Learning for analyzing neural signatures in task-based fMRI dataset [81.02949933048332]
  本稿では、表現類似度分析(RSA)の深部拡張であるDRSL(Deep Representational similarity Learning)を開発する。 DRSLは、多数の被験者を持つfMRIデータセットにおける様々な認知タスク間の類似性を分析するのに適している。
  論文  参考訳（メタデータ） (2020-09-28T18:30:14Z)
• Image Super-Resolution with Cross-Scale Non-Local Attention and Exhaustive Self-Exemplars Mining [66.82470461139376]
  本稿では,再帰型ニューラルネットワークに統合されたCS-NLアテンションモジュールを提案する。 新しいCS-NLと局所的および非局所的非局所的前駆体を強力な再帰核融合セルで組み合わせることで、単一の低分解能画像内でよりクロススケールな特徴相関を見出すことができる。
  論文  参考訳（メタデータ） (2020-06-02T07:08:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。