論文の概要: Hopfield-Fenchel-Young Networks: A Unified Framework for Associative Memory Retrieval
- arxiv url: http://arxiv.org/abs/2411.08590v1
- Date: Wed, 13 Nov 2024 13:13:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-14 16:10:47.662796
- Title: Hopfield-Fenchel-Young Networks: A Unified Framework for Associative Memory Retrieval
- Title（参考訳）: Hopfield-Fenchel-Young Networks: 連想記憶検索のための統一フレームワーク
- Authors: Saul Santos, Vlad Niculae, Daniel McNamee, André F. T. Martins,
- Abstract要約: ホップフィールドネットワークのような連想記憶モデルは、メモリ容量の進歩とトランスフォーマーにおける自己注意とのつながりにより、新たな関心を集めている。
本研究では,これらのモデルをより広範なエネルギー関数群に一般化する統合フレームワークであるHopfield-Fenchel-Youngネットワークを導入する。
- 参考スコア（独自算出の注目度）: 25.841394444834933
- License:
- Abstract: Associative memory models, such as Hopfield networks and their modern variants, have garnered renewed interest due to advancements in memory capacity and connections with self-attention in transformers. In this work, we introduce a unified framework-Hopfield-Fenchel-Young networks-which generalizes these models to a broader family of energy functions. Our energies are formulated as the difference between two Fenchel-Young losses: one, parameterized by a generalized entropy, defines the Hopfield scoring mechanism, while the other applies a post-transformation to the Hopfield output. By utilizing Tsallis and norm entropies, we derive end-to-end differentiable update rules that enable sparse transformations, uncovering new connections between loss margins, sparsity, and exact retrieval of single memory patterns. We further extend this framework to structured Hopfield networks using the SparseMAP transformation, allowing the retrieval of pattern associations rather than a single pattern. Our framework unifies and extends traditional and modern Hopfield networks and provides an energy minimization perspective for widely used post-transformations like $\ell_2$-normalization and layer normalization-all through suitable choices of Fenchel-Young losses and by using convex analysis as a building block. Finally, we validate our Hopfield-Fenchel-Young networks on diverse memory recall tasks, including free and sequential recall. Experiments on simulated data, image retrieval, multiple instance learning, and text rationalization demonstrate the effectiveness of our approach.
- Abstract（参考訳）: ホップフィールドネットワークなどの連想型メモリモデルは、メモリ容量の進歩とトランスフォーマーにおける自己注意とのつながりにより、新たな関心を集めている。
本研究では,これらのモデルをより広範なエネルギー関数群に一般化する統合フレームワークであるHopfield-Fenchel-Youngネットワークを導入する。
一般化エントロピーによりパラメータ化された1つはホップフィールドスコアリング機構を定義し、もう1つはホップフィールド出力にポストトランスフォーメーションを適用する。
Tsallisと標準エントロピーを利用することで、スパース変換を可能にし、損失マージン、スパーシティ、単一メモリパターンの正確な検索と新たな接続を明らかにする、エンドツーエンドの微分可能更新ルールを導出する。
さらに、SparseMAP変換を用いて、このフレームワークを構造化ホップフィールドネットワークに拡張し、単一のパターンではなくパターン関連を検索できるようにする。
本フレームワークは,従来のホップフィールドネットワークを統一・拡張し,Fenchel-Young損失の適切な選択とコンベックス解析をビルディングブロックとして使用することにより,$\ell_2$-normalizationやLayer normalization-allといった広く使われているポストトランスフォーメーションに対するエネルギー最小化の視点を提供する。
最後に, ホップフィールド・フェンシェル・ヤングネットワークを, フリーおよびシーケンシャルリコールを含む多様なメモリリコールタスクに対して検証する。
シミュレーションデータ,画像検索,複数インスタンス学習,テキスト合理化実験により,本手法の有効性が示された。
関連論文リスト
- Dense Associative Memory Through the Lens of Random Features [48.17520168244209]
Dense Associative Memoriesはホップフィールドネットワークの高容量版である。
このネットワークは,従来のDense Associative Memoriesのエネルギー関数と力学を密接に近似していることを示す。
論文 参考訳（メタデータ） (2024-10-31T17:10:57Z) - Nonparametric Modern Hopfield Models [12.160725212848137]
深層学習互換ホップフィールドモデルに対する非パラメトリック構成を提案する。
キーコントリビューションは、現代のホップフィールドモデルにおけるメモリストレージと検索プロセスの解釈に起因している。
サブクワッドラティックな複雑性を持つテクスチャパース構造を持つ現代ホップフィールドモデルを提案する。
論文 参考訳（メタデータ） (2024-04-05T05:46:20Z) - Sparse and Structured Hopfield Networks [14.381907888022612]
我々は、Fenchel-Young損失とリンクを確立することにより、疎ホップフィールドネットワークのための統一的なフレームワークを提供する。
損失マージン,疎度,正確なメモリ検索の関連を明らかにする。
複数のインスタンス学習とテキスト合理化の実験は、我々のアプローチの有用性を実証している。
論文 参考訳（メタデータ） (2024-02-21T11:35:45Z) - STanHop: Sparse Tandem Hopfield Model for Memory-Enhanced Time Series
Prediction [13.815793371488613]
本稿では,ホップフィールドをベースとした新しいニューラルネットワークブロックを提案する。
本質的に、StanHopは2つのタンデムスパースホップフィールド層を用いて時間的表現とシリーズ間表現を逐次学習する。
本フレームワークは,メモリ容量を犠牲にすることなく,より高密度なメモリに対して,より厳密なメモリ検索誤差を付与することを示す。
論文 参考訳（メタデータ） (2023-12-28T20:26:23Z) - Simplicial Hopfield networks [0.0]
我々は、設定された接続を追加し、これらの接続を単純な複合体に埋め込むことでホップフィールドネットワークを拡張する。
単純なホップフィールドネットワークはメモリ容量を増大させることを示す。
また、同種の連続ホップフィールドネットワークを試験し、トランスフォーマーモデルにおけるアテンションメカニズムを改善するために、潜在的に有望な経路を提供する。
論文 参考訳（メタデータ） (2023-05-09T05:23:04Z) - PnP-DETR: Towards Efficient Visual Analysis with Transformers [146.55679348493587]
近年、DeTRはトランスフォーマーを用いたソリューションビジョンタスクの先駆者であり、画像特徴マップを直接オブジェクト結果に変換する。
最近の変圧器を用いた画像認識モデルとTTは、一貫した効率向上を示す。
論文 参考訳（メタデータ） (2021-09-15T01:10:30Z) - Semantic Correspondence with Transformers [68.37049687360705]
本稿では,変換器を用いたコストアグリゲーション(CAT)を提案し,意味論的に類似した画像間の密接な対応を見出す。
初期相関マップと多レベルアグリゲーションを曖昧にするための外観親和性モデリングを含む。
提案手法の有効性を示す実験を行い,広範囲にわたるアブレーション研究を行った。
論文 参考訳（メタデータ） (2021-06-04T14:39:03Z) - Mean Field Game GAN [55.445402222849474]
新規な平均フィールドゲーム (MFGs) ベースのGAN (generation adversarial network) フレームワークを提案する。
密度空間における Hopf 式を利用して MFG を主双対問題として書き換え、ニューラルネットワークやサンプルを通じてモデルを訓練できるようにします。
論文 参考訳（メタデータ） (2021-03-14T06:34:38Z) - Hopfield Networks is All You Need [8.508381229662907]
連続状態とそれに対応する更新ルールを備えた,現代的なホップフィールドネットワークを導入する。
新しいホップフィールドネットワークは、多くのパターンを指数関数的に(連想空間の次元で)保存し、1回の更新でパターンを検索し、指数関数的に小さな検索誤差を持つ。
さまざまな領域にまたがるホップフィールド層の適用性を示す。
論文 参考訳（メタデータ） (2020-07-16T17:52:37Z) - Feature Transformation Ensemble Model with Batch Spectral Regularization
for Cross-Domain Few-Shot Classification [66.91839845347604]
特徴抽出ネットワークの後に多様な特徴変換を行うことにより,アンサンブル予測モデルを提案する。
我々は,事前学習中に特徴行列の特異値を抑制するために,バッチスペクトル正規化項を用い,モデルの一般化能力を向上させる。
提案したモデルは、ターゲット領域で微調整して、数発の分類に対処することができる。
論文 参考訳（メタデータ） (2020-05-18T05:31:04Z) - Targeted free energy estimation via learned mappings [66.20146549150475]
自由エネルギー摂動 (FEP) は60年以上前にズワンツィヒによって自由エネルギー差を推定する方法として提案された。
FEPは、分布間の十分な重複の必要性という厳しい制限に悩まされている。
目標自由エネルギー摂動(Targeted Free Energy Perturbation)と呼ばれるこの問題を緩和するための1つの戦略は、オーバーラップを増やすために構成空間の高次元マッピングを使用する。
論文 参考訳（メタデータ） (2020-02-12T11:10:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。