論文の概要: Modern Hopfield Networks meet Encoded Neural Representations -- Addressing Practical Considerations
- arxiv url: http://arxiv.org/abs/2409.16408v1
- Date: Tue, 24 Sep 2024 19:17:15 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-27 08:31:10.109979
- Title: Modern Hopfield Networks meet Encoded Neural Representations -- Addressing Practical Considerations
- Title（参考訳）: 現代のホップフィールドネットワークは、符号化されたニューラル表現と出会う -- 実践的考察に対処する
- Authors: Satyananda Kashyap, Niharika S. D'Souza, Luyao Shi, Ken C. L. Wong, Hongzhi Wang, Tanveer Syeda-Mahmood,
- Abstract要約: 本稿では、符号化された表現をMHNに統合し、パターン分離性を改善し、メタ安定状態を低減するフレームワークであるHopfield HENを紹介する。
HENは、画像と自然言語クエリのヘテロ結合の文脈での検索にも利用でき、したがって、同じドメイン内の部分的コンテンツへのアクセスの制限を取り除くことができる。
- 参考スコア（独自算出の注目度）: 5.272882258282611
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Content-addressable memories such as Modern Hopfield Networks (MHN) have been studied as mathematical models of auto-association and storage/retrieval in the human declarative memory, yet their practical use for large-scale content storage faces challenges. Chief among them is the occurrence of meta-stable states, particularly when handling large amounts of high dimensional content. This paper introduces Hopfield Encoding Networks (HEN), a framework that integrates encoded neural representations into MHNs to improve pattern separability and reduce meta-stable states. We show that HEN can also be used for retrieval in the context of hetero association of images with natural language queries, thus removing the limitation of requiring access to partial content in the same domain. Experimental results demonstrate substantial reduction in meta-stable states and increased storage capacity while still enabling perfect recall of a significantly larger number of inputs advancing the practical utility of associative memory networks for real-world tasks.
- Abstract（参考訳）: Modern Hopfield Networks (MHN) のようなコンテンツ適応型メモリは、人間の宣言型メモリにおける自己連想と記憶/検索の数学的モデルとして研究されてきたが、大規模なコンテンツストレージの実用化は課題に直面している。
特に大量の高次元コンテンツを扱う場合、特にメタ安定状態の発生が主な原因である。
本稿では、符号化されたニューラル表現をMHNに統合し、パターン分離性を改善し、メタ安定状態を低減するフレームワークであるHopfield Encoding Networks (HEN)を紹介する。
HENは、画像と自然言語クエリのヘテロ結合の文脈での検索にも利用でき、したがって、同じドメイン内の部分的コンテンツへのアクセスの制限を取り除くことができる。
実験により,メタ安定状態の大幅な削減と記憶容量の増大が図られ,実際のタスクにおける連想メモリネットワークの実用性を推し進める膨大なインプットの完全なリコールが可能となった。
関連論文リスト
- Storing overlapping associative memories on latent manifolds in low-rank spiking networks [5.041384008847852]
我々はスパイクベースの計算の理解の進歩を踏まえ、連想記憶問題を再考する。
大規模全阻止ネットワークのスパイク活性は,低次元,凸,片方向線形多様体上に位置することを示す。
学習ルールをいくつか提案し, 記憶容量をニューロン数で線形に拡張し, パターン完備化能力を示す。
論文 参考訳（メタデータ） (2024-11-26T14:48:25Z) - Dense Associative Memory Through the Lens of Random Features [48.17520168244209]
Dense Associative Memoriesはホップフィールドネットワークの高容量版である。
このネットワークは,従来のDense Associative Memoriesのエネルギー関数と力学を密接に近似していることを示す。
論文 参考訳（メタデータ） (2024-10-31T17:10:57Z) - NAC-TCN: Temporal Convolutional Networks with Causal Dilated
Neighborhood Attention for Emotion Understanding [60.74434735079253]
畳み込みTCN(NAC-TCN)を用いた近傍注意法を提案する。
これを実現するために、Dilated Neighborhood Attentionの因果バージョンを導入し、畳み込みを組み込んだ。
我々のモデルは、標準的な感情認識データセットに少ないパラメータを必要としながら、TCN、TCL、LSTM、GRUに匹敵する、より優れた、あるいは最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2023-12-12T18:41:30Z) - Heterogenous Memory Augmented Neural Networks [84.29338268789684]
ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。
学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。
In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
論文 参考訳（メタデータ） (2023-10-17T01:05:28Z) - Unsupervised domain adaptation semantic segmentation of high-resolution
remote sensing imagery with invariant domain-level context memory [10.210120085157161]
本研究では,HRS画像のセマンティックセマンティックセマンティックセマンティクスのための,教師なし領域適応セマンティクスネットワーク(MemoryAdaptNet)を提案する。
MemoryAdaptNetは、ソースドメインとターゲットドメイン間のドメイン分布の不一致をブリッジするために、出力空間逆学習スキームを構築する。
3つのクロスドメインタスクによる実験は、提案したMemoryAdaptNetが最先端の手法よりもはるかに優れていることを示している。
論文 参考訳（メタデータ） (2022-08-16T12:35:57Z) - Pin the Memory: Learning to Generalize Semantic Segmentation [68.367763672095]
本稿ではメタラーニングフレームワークに基づくセマンティックセグメンテーションのための新しいメモリ誘導ドメイン一般化手法を提案する。
本手法は,セマンティッククラスの概念的知識を,ドメインを超えて一定であるカテゴリ記憶に抽象化する。
論文 参考訳（メタデータ） (2022-04-07T17:34:01Z) - MOST-Net: A Memory Oriented Style Transfer Network for Face Sketch
Synthesis [41.80739104463557]
顔のスケッチ合成はマルチメディアエンターテイメントや法執行機関で広く使われている。
現在の画像から画像への変換に基づく顔のスケッチ合成は、小規模なデータセットでは過度に適合する問題に頻繁に遭遇する。
限られたデータで高忠実なスケッチを生成することができる顔スケッチ合成のためのエンドツーエンドメモリ指向スタイル転送ネットワーク(MOST-Net)を提案する。
論文 参考訳（メタデータ） (2022-02-08T01:51:24Z) - Memory-Guided Semantic Learning Network for Temporal Sentence Grounding [55.31041933103645]
本稿では,TSGタスクにおいて稀に出現しないコンテンツを学習し,記憶するメモリ拡張ネットワークを提案する。
MGSL-Netは、クロスモーダル・インターアクション・モジュール、メモリ拡張モジュール、異種アテンション・モジュールの3つの主要な部分で構成されている。
論文 参考訳（メタデータ） (2022-01-03T02:32:06Z) - Learning Deep Interleaved Networks with Asymmetric Co-Attention for
Image Restoration [65.11022516031463]
本稿では,高品質(本社)画像再構成のために,異なる状態の情報をどのように組み合わせるべきかを学習するディープインターリーブドネットワーク(DIN)を提案する。
本稿では,各インターリーブノードにアタッチメントされた非対称なコアテンション(AsyCA)を提案し,その特性依存性をモデル化する。
提案したDINはエンドツーエンドで訓練でき、様々な画像復元タスクに適用できる。
論文 参考訳（メタデータ） (2020-10-29T15:32:00Z) - Distributed Associative Memory Network with Memory Refreshing Loss [5.5792083698526405]
メモリリフレッシングロス(MRL)を用いた分散連想メモリアーキテクチャ(DAM)について紹介する。
人間の脳の動作にインスパイアされた私たちのフレームワークは、複数のメモリブロックにまたがる分散表現でデータをエンコードします。
MRLにより、記憶されたメモリコンテンツから入力データを再生することにより、MANNは、入力データとタスク目的との関連性を強化することができる。
論文 参考訳（メタデータ） (2020-07-21T07:34:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。