Fugu-MT 論文翻訳(概要): Sparse and Structured Hopfield Networks

論文の概要: Sparse and Structured Hopfield Networks

arxiv url: http://arxiv.org/abs/2402.13725v2
Date: Tue, 4 Jun 2024 22:04:40 GMT
ステータス: 処理完了
システム内更新日: 2024-06-07 01:11:46.019059
Title: Sparse and Structured Hopfield Networks
Title（参考訳）: スパースと構造化ホップフィールドネットワーク
Authors: Saul Santos, Vlad Niculae, Daniel McNamee, Andre F. T. Martins,
Abstract要約: 我々は、Fenchel-Young損失とリンクを確立することにより、疎ホップフィールドネットワークのための統一的なフレームワークを提供する。損失マージン,疎度,正確なメモリ検索の関連を明らかにする。複数のインスタンス学習とテキスト合理化の実験は、我々のアプローチの有用性を実証している。
参考スコア（独自算出の注目度）: 14.381907888022612
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Modern Hopfield networks have enjoyed recent interest due to their connection to attention in transformers. Our paper provides a unified framework for sparse Hopfield networks by establishing a link with Fenchel-Young losses. The result is a new family of Hopfield-Fenchel-Young energies whose update rules are end-to-end differentiable sparse transformations. We reveal a connection between loss margins, sparsity, and exact memory retrieval. We further extend this framework to structured Hopfield networks via the SparseMAP transformation, which can retrieve pattern associations instead of a single pattern. Experiments on multiple instance learning and text rationalization demonstrate the usefulness of our approach.
Abstract（参考訳）: 現代のホップフィールドのネットワークは、トランスフォーマーの注意と結びついているため、近年の関心を集めている。本稿は,Fenchel-Young損失とリンクを確立することにより,疎ホップフィールドネットワークの統一フレームワークを提供する。その結果、Hopfield-Fenchel-Youngエネルギの新たなファミリーが、更新ルールはエンドツーエンドで微分可能なスパース変換である。損失マージン,疎度,正確なメモリ検索の関連を明らかにする。さらに、このフレームワークをSparseMAP変換によって構築されたホップフィールドネットワークに拡張し、単一のパターンの代わりにパターン関連を検索する。複数のインスタンス学習とテキスト合理化の実験は、我々のアプローチの有用性を実証している。

関連論文リスト

Hopfield-Fenchel-Young Networks: A Unified Framework for Associative Memory Retrieval [25.841394444834933]
ホップフィールドネットワークのような連想記憶モデルは、メモリ容量の進歩とトランスフォーマーにおける自己注意とのつながりにより、新たな関心を集めている。本研究では,これらのモデルをより広範なエネルギー関数群に一般化する統合フレームワークであるHopfield-Fenchel-Youngネットワークを導入する。
論文参考訳（メタデータ） (2024-11-13T13:13:07Z)
Nonparametric Modern Hopfield Models [12.160725212848137]
深層学習互換ホップフィールドモデルに対する非パラメトリック構成を提案する。キーコントリビューションは、現代のホップフィールドモデルにおけるメモリストレージと検索プロセスの解釈に起因している。サブクワッドラティックな複雑性を持つテクスチャパース構造を持つ現代ホップフィールドモデルを提案する。
論文参考訳（メタデータ） (2024-04-05T05:46:20Z)
STanHop: Sparse Tandem Hopfield Model for Memory-Enhanced Time Series Prediction [13.815793371488613]
本稿では,ホップフィールドをベースとした新しいニューラルネットワークブロックを提案する。本質的に、StanHopは2つのタンデムスパースホップフィールド層を用いて時間的表現とシリーズ間表現を逐次学習する。本フレームワークは,メモリ容量を犠牲にすることなく,より高密度なメモリに対して,より厳密なメモリ検索誤差を付与することを示す。
論文参考訳（メタデータ） (2023-12-28T20:26:23Z)
From NeurODEs to AutoencODEs: a mean-field control framework for width-varying Neural Networks [68.8204255655161]
本稿では,動的に駆動する制御フィールドをベースとした,AutoencODEと呼ばれる新しいタイプの連続時間制御システムを提案する。損失関数が局所凸な領域では,多くのアーキテクチャが復元可能であることを示す。
論文参考訳（メタデータ） (2023-07-05T13:26:17Z)
Simplicial Hopfield networks [0.0]
我々は、設定された接続を追加し、これらの接続を単純な複合体に埋め込むことでホップフィールドネットワークを拡張する。単純なホップフィールドネットワークはメモリ容量を増大させることを示す。また、同種の連続ホップフィールドネットワークを試験し、トランスフォーマーモデルにおけるアテンションメカニズムを改善するために、潜在的に有望な経路を提供する。
論文参考訳（メタデータ） (2023-05-09T05:23:04Z)
Semantic Correspondence with Transformers [68.37049687360705]
本稿では,変換器を用いたコストアグリゲーション(CAT)を提案し,意味論的に類似した画像間の密接な対応を見出す。初期相関マップと多レベルアグリゲーションを曖昧にするための外観親和性モデリングを含む。提案手法の有効性を示す実験を行い,広範囲にわたるアブレーション研究を行った。
論文参考訳（メタデータ） (2021-06-04T14:39:03Z)
InverseForm: A Loss Function for Structured Boundary-Aware Segmentation [80.39674800972182]
逆変換ネットワークを用いたセマンティックセグメンテーションのための新しい境界認識損失項を提案する。このプラグイン損失項は境界変換の捕捉におけるクロスエントロピー損失を補完する。室内および屋外のセグメンテーションベンチマークにおける損失関数の定量的および定性的効果を解析した。
論文参考訳（メタデータ） (2021-04-06T18:52:45Z)
Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文参考訳（メタデータ） (2020-08-19T04:53:31Z)
Hopfield Networks is All You Need [8.508381229662907]
連続状態とそれに対応する更新ルールを備えた,現代的なホップフィールドネットワークを導入する。新しいホップフィールドネットワークは、多くのパターンを指数関数的に(連想空間の次元で)保存し、1回の更新でパターンを検索し、指数関数的に小さな検索誤差を持つ。さまざまな領域にまたがるホップフィールド層の適用性を示す。
論文参考訳（メタデータ） (2020-07-16T17:52:37Z)
MDP Homomorphic Networks: Group Symmetries in Reinforcement Learning [90.20563679417567]
本稿では,深層強化学習のためのMDP準同型ネットワークを提案する。 MDP準同型ネットワーク(英: MDP homomorphic network)は、MDPの結合状態-作用空間における対称性の下で不変なニューラルネットワークである。このようなネットワークは,グリッドワールドであるCartPoleとPongの非構造化ネットワークよりも高速に収束することを示す。
論文参考訳（メタデータ） (2020-06-30T15:38:37Z)
Image Fine-grained Inpainting [89.17316318927621]
拡張畳み込みの密結合を利用してより大きく効果的な受容場を得る一段階モデルを提案する。この効率的なジェネレータをよく訓練するために、頻繁に使用されるVGG特徴整合損失を除いて、新しい自己誘導回帰損失を設計する。また、局所的・グローバルな分枝を持つ識別器を用いて、局所的・グローバルな内容の整合性を確保する。
論文参考訳（メタデータ） (2020-02-07T03:45:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。