論文の概要: Modern Hopfield Networks with Continuous-Time Memories

• arxiv url: http://arxiv.org/abs/2502.10122v2
• Date: Sun, 02 Mar 2025 10:06:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-04 13:04:25.546899
• Title: Modern Hopfield Networks with Continuous-Time Memories
• Title（参考訳）: 連続記憶を用いた最新のホップフィールドネットワーク
• Authors: Saul Santos, António Farinhas, Daniel C. McNamee, André F. T. Martins,
• Abstract要約: 本稿では,大規模な離散ホップフィールドメモリを小さな連続記憶に圧縮する手法を提案する。 作業記憶における連続的資源割り当ての心理学的理論に着想を得て,大規模な離散ホップフィールド記憶を小さな連続記憶に圧縮する手法を提案する。
• 参考スコア（独自算出の注目度）: 19.616624959353697
• License:
• Abstract: Recent research has established a connection between modern Hopfield networks (HNs) and transformer attention heads, with guarantees of exponential storage capacity. However, these models still face challenges scaling storage efficiently. Inspired by psychological theories of continuous neural resource allocation in working memory, we propose an approach that compresses large discrete Hopfield memories into smaller, continuous-time memories. Leveraging continuous attention, our new energy function modifies the update rule of HNs, replacing the traditional softmax-based probability mass function with a probability density, over the continuous memory. This formulation aligns with modern perspectives on human executive function, offering a principled link between attractor dynamics in working memory and resource-efficient memory allocation. Our framework maintains competitive performance with HNs while leveraging a compressed memory, reducing computational costs across synthetic and video datasets.
• Abstract（参考訳）: 近年の研究では、最近のホップフィールドネットワーク(HN)とトランスフォーマーアテンションヘッドの接続が確立されており、指数記憶容量が保証されている。 しかし、これらのモデルは、ストレージを効率的にスケーリングする課題に直面している。 作業記憶における連続的資源割り当ての心理学的理論に着想を得て,大規模な離散ホップフィールド記憶を小さな連続記憶に圧縮する手法を提案する。 連続的な注意を払い、我々の新しいエネルギー関数はHNの更新規則を変更し、従来のソフトマックスベースの確率質量関数を連続記憶上の確率密度に置き換える。 この定式化は、人間のエグゼクティブ機能に関する現代の視点と一致し、作業メモリにおけるアトラクタダイナミクスとリソース効率のよいメモリアロケーションとの原則的なリンクを提供する。 本フレームワークは,圧縮メモリを活用しながらHNと競合する性能を維持し,合成およびビデオデータセット間の計算コストを低減させる。

関連論文リスト

• Exploring Synaptic Resonance in Large Language Models: A Novel Approach to Contextual Memory Integration [0.0]
  新しいメカニズム、Synaptic Resonanceは、トレーニングと推論中に関連する記憶経路を動的に強化するために導入された。 オープンソースの言語モデルを用いて行った評価は、パープレキシティの低減、文脈的コヒーレンスの向上、入力雑音に対するロバスト性の向上を示す。
  論文  参考訳（メタデータ） (2025-02-15T07:06:10Z)
• Input-Driven Dynamics for Robust Memory Retrieval in Hopfield Networks [3.961279440272764]
  ホップフィールドモデルは、人間の脳における記憶の保存と検索のメカニズムを理解するために、数学的に理想化されたが洞察に富んだフレームワークを提供する。 本稿では,外部入力がニューラルシナプスに直接影響を与え,ホップフィールドモデルのエネルギー景観を形作る新しいシステムフレームワークを提案する。 この塑性に基づく機構は、メモリ検索プロセスの明確なエネルギー的解釈を提供し、高度に混合された入力を正しく分類するのに有効である。
  論文  参考訳（メタデータ） (2024-11-06T17:24:25Z)
• Dense Associative Memory Through the Lens of Random Features [48.17520168244209]
  Dense Associative Memoriesはホップフィールドネットワークの高容量版である。 このネットワークは,従来のDense Associative Memoriesのエネルギー関数と力学を密接に近似していることを示す。
  論文  参考訳（メタデータ） (2024-10-31T17:10:57Z)
• Stable Hadamard Memory: Revitalizing Memory-Augmented Agents for Reinforcement Learning [64.93848182403116]
  現在のディープラーニングメモリモデルは、部分的に観察可能で長期にわたる強化学習環境で苦労している。 本稿では,強化学習エージェントのための新しい記憶モデルであるStable Hadamard Memoryを紹介する。 我々の手法は、部分的に観測可能なベンチマークに挑戦する上で、最先端のメモリベースの手法よりも大幅に優れています。
  論文  参考訳（メタデータ） (2024-10-14T03:50:17Z)
• Resistive Memory-based Neural Differential Equation Solver for Score-based Diffusion Model [55.116403765330084]
  スコアベースの拡散のような現在のAIGC法は、迅速性と効率性の点で依然として不足している。 スコアベース拡散のための時間連続型およびアナログ型インメモリ型ニューラル微分方程式解法を提案する。 我々は180nmの抵抗型メモリインメモリ・コンピューティング・マクロを用いて,我々の解を実験的に検証した。
  論文  参考訳（メタデータ） (2024-04-08T16:34:35Z)
• Uniform Memory Retrieval with Larger Capacity for Modern Hopfield Models [5.929540708452128]
  本稿では,現代のホップフィールドモデルに対する2段階のメモリ検索ダイナミクスを提案する。 主な貢献は学習可能な特徴写像 $Phi$ であり、ホップフィールドエネルギー関数をカーネル空間に変換する。 記憶されたメモリパターンを学習データとして利用し、現代のホップフィールドモデル全体のメモリ容量を向上させる。
  論文  参考訳（メタデータ） (2024-04-04T23:05:30Z)
• Constant Memory Attention Block [74.38724530521277]
  Constant Memory Attention Block (CMAB) は、新しい汎用アテンションブロックであり、その出力を一定メモリで計算し、一定計算で更新を実行する。 提案手法は,メモリ効率を著しく向上しつつ,最先端技術と競合する結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-06-21T22:41:58Z)
• Universal Hopfield Networks: A General Framework for Single-Shot Associative Memory Models [41.58529335439799]
  本稿では,メモリネットワークの動作を3つの操作のシーケンスとして理解するための一般的なフレームワークを提案する。 これらのメモリモデルはすべて、類似性と分離関数が異なる一般的なフレームワークのインスタンスとして導出します。
  論文  参考訳（メタデータ） (2022-02-09T16:48:06Z)
• Temporal Memory Relation Network for Workflow Recognition from Surgical Video [53.20825496640025]
  本研究では, 長期および多スケールの時間パターンを関連づける, エンドツーエンドの時間メモリ関係ネットワーク (TMNet) を提案する。 我々はこのアプローチを2つのベンチマーク手術ビデオデータセットで広範囲に検証した。
  論文  参考訳（メタデータ） (2021-03-30T13:20:26Z)
• Kanerva++: extending The Kanerva Machine with differentiable, locally block allocated latent memory [75.65949969000596]
  エピソディックメモリとセマンティックメモリは、人間のメモリモデルの重要なコンポーネントです。 我々は、エピソードメモリとセマンティックメモリのギャップを埋める新しい原理ベイズメモリ割り当てスキームを開発しました。 この割り当て方式がメモリ条件画像生成の性能を向上させることを実証する。
  論文  参考訳（メタデータ） (2021-02-20T18:40:40Z)
• Slow manifolds in recurrent networks encode working memory efficiently and robustly [0.0]
  ワーキングメモリ(working memory)は、潜在情報の保存と操作を短時間で行う認知機能である。 作業メモリのネットワークレベルメカニズムを調べるために,トップダウンモデリング手法を用いる。
  論文  参考訳（メタデータ） (2021-01-08T18:47:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。