論文の概要: Modern Hopfield Networks meet Encoded Neural Representations -- Addressing Practical Considerations

• arxiv url: http://arxiv.org/abs/2409.16408v1
• Date: Tue, 24 Sep 2024 19:17:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-27 08:31:10.109979
• Title: Modern Hopfield Networks meet Encoded Neural Representations -- Addressing Practical Considerations
• Title（参考訳）: 現代のホップフィールドネットワークは、符号化されたニューラル表現と出会う -- 実践的考察に対処する
• Authors: Satyananda Kashyap, Niharika S. D'Souza, Luyao Shi, Ken C. L. Wong, Hongzhi Wang, Tanveer Syeda-Mahmood,
• Abstract要約: 本稿では、符号化された表現をMHNに統合し、パターン分離性を改善し、メタ安定状態を低減するフレームワークであるHopfield HENを紹介する。 HENは、画像と自然言語クエリのヘテロ結合の文脈での検索にも利用でき、したがって、同じドメイン内の部分的コンテンツへのアクセスの制限を取り除くことができる。
• 参考スコア（独自算出の注目度）: 5.272882258282611
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Content-addressable memories such as Modern Hopfield Networks (MHN) have been studied as mathematical models of auto-association and storage/retrieval in the human declarative memory, yet their practical use for large-scale content storage faces challenges. Chief among them is the occurrence of meta-stable states, particularly when handling large amounts of high dimensional content. This paper introduces Hopfield Encoding Networks (HEN), a framework that integrates encoded neural representations into MHNs to improve pattern separability and reduce meta-stable states. We show that HEN can also be used for retrieval in the context of hetero association of images with natural language queries, thus removing the limitation of requiring access to partial content in the same domain. Experimental results demonstrate substantial reduction in meta-stable states and increased storage capacity while still enabling perfect recall of a significantly larger number of inputs advancing the practical utility of associative memory networks for real-world tasks.
• Abstract（参考訳）: Modern Hopfield Networks (MHN) のようなコンテンツ適応型メモリは、人間の宣言型メモリにおける自己連想と記憶/検索の数学的モデルとして研究されてきたが、大規模なコンテンツストレージの実用化は課題に直面している。 特に大量の高次元コンテンツを扱う場合、特にメタ安定状態の発生が主な原因である。 本稿では、符号化されたニューラル表現をMHNに統合し、パターン分離性を改善し、メタ安定状態を低減するフレームワークであるHopfield Encoding Networks (HEN)を紹介する。 HENは、画像と自然言語クエリのヘテロ結合の文脈での検索にも利用でき、したがって、同じドメイン内の部分的コンテンツへのアクセスの制限を取り除くことができる。 実験により,メタ安定状態の大幅な削減と記憶容量の増大が図られ,実際のタスクにおける連想メモリネットワークの実用性を推し進める膨大なインプットの完全なリコールが可能となった。

関連論文リスト

• Modern Hopfield Networks with Continuous-Time Memories [19.616624959353697]
  本稿では,大規模な離散ホップフィールドメモリを小さな連続記憶に圧縮する手法を提案する。 作業記憶における連続的資源割り当ての心理学的理論に着想を得て,大規模な離散ホップフィールド記憶を小さな連続記憶に圧縮する手法を提案する。
  論文  参考訳（メタデータ） (2025-02-14T12:41:05Z)
• CSR:Achieving 1 Bit Key-Value Cache via Sparse Representation [63.65323577445951]
  キャッシュスパース表現(CSR)と呼ばれる新しい手法を提案する。 CSRは、密度の高いKey-Valueキャッシュテンソルをスパースインデックスとウェイトに変換し、LLM推論中によりメモリ効率のよい表現を提供する。 我々の実験は、CSRが最先端KVキャッシュ量子化アルゴリズムに匹敵する性能を達成することを示した。
  論文  参考訳（メタデータ） (2024-12-16T13:01:53Z)
• Towards Context-aware Convolutional Network for Image Restoration [5.319939908085759]
  トランスフォーマーベースのアルゴリズムと注意に基づく畳み込みニューラルネットワーク(CNN)は、いくつかの画像復元タスクにおいて有望な結果を示している。 既存のIR用畳み込み残基は、入力を高次元および非線形の特徴空間にマッピングする限られた能力に遭遇する。 本研究では,文脈認識型畳み込みネットワーク(CCNet)を提案する。
  論文  参考訳（メタデータ） (2024-12-15T01:29:33Z)
• Storing overlapping associative memories on latent manifolds in low-rank spiking networks [5.041384008847852]
  我々はスパイクベースの計算の理解の進歩を踏まえ、連想記憶問題を再考する。 大規模全阻止ネットワークのスパイク活性は,低次元,凸,片方向線形多様体上に位置することを示す。 学習ルールをいくつか提案し, 記憶容量をニューロン数で線形に拡張し, パターン完備化能力を示す。
  論文  参考訳（メタデータ） (2024-11-26T14:48:25Z)
• Dense Associative Memory Through the Lens of Random Features [48.17520168244209]
  Dense Associative Memoriesはホップフィールドネットワークの高容量版である。 このネットワークは,従来のDense Associative Memoriesのエネルギー関数と力学を密接に近似していることを示す。
  論文  参考訳（メタデータ） (2024-10-31T17:10:57Z)
• NAC-TCN: Temporal Convolutional Networks with Causal Dilated Neighborhood Attention for Emotion Understanding [60.74434735079253]
  畳み込みTCN(NAC-TCN)を用いた近傍注意法を提案する。 これを実現するために、Dilated Neighborhood Attentionの因果バージョンを導入し、畳み込みを組み込んだ。 我々のモデルは、標準的な感情認識データセットに少ないパラメータを必要としながら、TCN、TCL、LSTM、GRUに匹敵する、より優れた、あるいは最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-12-12T18:41:30Z)
• Heterogenous Memory Augmented Neural Networks [84.29338268789684]
  ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。 学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。 In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
  論文  参考訳（メタデータ） (2023-10-17T01:05:28Z)
• Unsupervised domain adaptation semantic segmentation of high-resolution remote sensing imagery with invariant domain-level context memory [10.210120085157161]
  本研究では,HRS画像のセマンティックセマンティックセマンティックセマンティクスのための,教師なし領域適応セマンティクスネットワーク(MemoryAdaptNet)を提案する。 MemoryAdaptNetは、ソースドメインとターゲットドメイン間のドメイン分布の不一致をブリッジするために、出力空間逆学習スキームを構築する。 3つのクロスドメインタスクによる実験は、提案したMemoryAdaptNetが最先端の手法よりもはるかに優れていることを示している。
  論文  参考訳（メタデータ） (2022-08-16T12:35:57Z)
• Pin the Memory: Learning to Generalize Semantic Segmentation [68.367763672095]
  本稿ではメタラーニングフレームワークに基づくセマンティックセグメンテーションのための新しいメモリ誘導ドメイン一般化手法を提案する。 本手法は,セマンティッククラスの概念的知識を,ドメインを超えて一定であるカテゴリ記憶に抽象化する。
  論文  参考訳（メタデータ） (2022-04-07T17:34:01Z)
• MOST-Net: A Memory Oriented Style Transfer Network for Face Sketch Synthesis [41.80739104463557]
  顔のスケッチ合成はマルチメディアエンターテイメントや法執行機関で広く使われている。 現在の画像から画像への変換に基づく顔のスケッチ合成は、小規模なデータセットでは過度に適合する問題に頻繁に遭遇する。 限られたデータで高忠実なスケッチを生成することができる顔スケッチ合成のためのエンドツーエンドメモリ指向スタイル転送ネットワーク(MOST-Net)を提案する。
  論文  参考訳（メタデータ） (2022-02-08T01:51:24Z)
• Memory-Guided Semantic Learning Network for Temporal Sentence Grounding [55.31041933103645]
  本稿では,TSGタスクにおいて稀に出現しないコンテンツを学習し,記憶するメモリ拡張ネットワークを提案する。 MGSL-Netは、クロスモーダル・インターアクション・モジュール、メモリ拡張モジュール、異種アテンション・モジュールの3つの主要な部分で構成されている。
  論文  参考訳（メタデータ） (2022-01-03T02:32:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。