論文の概要: Hopfield Networks is All You Need
- arxiv url: http://arxiv.org/abs/2008.02217v3
- Date: Wed, 28 Apr 2021 07:24:49 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-09 21:48:30.689553
- Title: Hopfield Networks is All You Need
- Title(参考訳): Hopfield Networksは必要なものすべて
- Authors: Hubert Ramsauer, Bernhard Sch\"afl, Johannes Lehner, Philipp Seidl,
Michael Widrich, Thomas Adler, Lukas Gruber, Markus Holzleitner, Milena
Pavlovi\'c, Geir Kjetil Sandve, Victor Greiff, David Kreil, Michael Kopp,
G\"unter Klambauer, Johannes Brandstetter, Sepp Hochreiter
- Abstract要約: 連続状態とそれに対応する更新ルールを備えた,現代的なホップフィールドネットワークを導入する。
新しいホップフィールドネットワークは、多くのパターンを指数関数的に(連想空間の次元で)保存し、1回の更新でパターンを検索し、指数関数的に小さな検索誤差を持つ。
さまざまな領域にまたがるホップフィールド層の適用性を示す。
- 参考スコア(独自算出の注目度): 8.508381229662907
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce a modern Hopfield network with continuous states and a
corresponding update rule. The new Hopfield network can store exponentially
(with the dimension of the associative space) many patterns, retrieves the
pattern with one update, and has exponentially small retrieval errors. It has
three types of energy minima (fixed points of the update): (1) global fixed
point averaging over all patterns, (2) metastable states averaging over a
subset of patterns, and (3) fixed points which store a single pattern. The new
update rule is equivalent to the attention mechanism used in transformers. This
equivalence enables a characterization of the heads of transformer models.
These heads perform in the first layers preferably global averaging and in
higher layers partial averaging via metastable states. The new modern Hopfield
network can be integrated into deep learning architectures as layers to allow
the storage of and access to raw input data, intermediate results, or learned
prototypes. These Hopfield layers enable new ways of deep learning, beyond
fully-connected, convolutional, or recurrent networks, and provide pooling,
memory, association, and attention mechanisms. We demonstrate the broad
applicability of the Hopfield layers across various domains. Hopfield layers
improved state-of-the-art on three out of four considered multiple instance
learning problems as well as on immune repertoire classification with several
hundreds of thousands of instances. On the UCI benchmark collections of small
classification tasks, where deep learning methods typically struggle, Hopfield
layers yielded a new state-of-the-art when compared to different machine
learning methods. Finally, Hopfield layers achieved state-of-the-art on two
drug design datasets. The implementation is available at:
https://github.com/ml-jku/hopfield-layers
- Abstract(参考訳): 連続状態とそれに対応する更新ルールを備えた,現代的なホップフィールドネットワークを導入する。
新しいホップフィールドネットワークは、多くのパターンを指数関数的に(連想空間の次元で)保存し、1回の更新でパターンを検索し、指数関数的に小さな検索誤差を持つ。
それは、(1)すべてのパターンを平均化する大域的固定点、(2)パターンのサブセットを平均化する準安定状態、(3)単一のパターンを格納する固定点の3つのタイプのエネルギーミニマ(更新点の固定点)を持つ。
新しい更新ルールは、トランスで使用されるアテンションメカニズムと等価である。
この等価性により、トランスモデルのヘッドを特徴づけることができる。
これらのヘッドは、大域平均化と準安定状態による部分平均化を好ましくは第1層で実行する。
新しいモダンなホップフィールドネットワークは、生の入力データ、中間結果、あるいは学習済みのプロトタイプの保存とアクセスを可能にするレイヤとして、ディープラーニングアーキテクチャに統合することができる。
これらのホップフィールド層は、完全に接続された、畳み込み、あるいは再帰的なネットワークを超えて、新しいディープラーニングの方法を可能にし、プール、メモリ、関連付け、アテンションメカニズムを提供する。
様々な領域にまたがるホップフィールド層の幅広い適用性を示す。
hopfield layersは、複数のインスタンス学習の問題として考慮された4つのうち3つ、数十万のインスタンスによる免疫レパートリー分類を改善した。
ディープラーニングメソッドが通常苦労する小さな分類タスクのUCIベンチマークコレクションでは、さまざまな機械学習メソッドと比較して、Hopfield層が新たな最先端技術を生み出した。
最後にhopfield layersは、2つのドラッグデザインデータセットで最先端の成果を得た。
実装は以下の通りである。 https://github.com/ml-jku/hopfield-layers
関連論文リスト
- Sparse and Structured Hopfield Networks [15.71120117844655]
我々は、Fenchel-Young損失とリンクを確立することにより、疎ホップフィールドネットワークのための統一的なフレームワークを提供する。
損失マージン,疎度,正確なメモリ検索の関連を明らかにする。
複数のインスタンス学習とテキスト合理化の実験は、我々のアプローチの有用性を実証している。
論文 参考訳(メタデータ) (2024-02-21T11:35:45Z) - STanHop: Sparse Tandem Hopfield Model for Memory-Enhanced Time Series
Prediction [13.815793371488613]
本稿では,ホップフィールドをベースとした新しいニューラルネットワークブロックを提案する。
本質的に、StanHopは2つのタンデムスパースホップフィールド層を用いて時間的表現とシリーズ間表現を逐次学習する。
本フレームワークは,メモリ容量を犠牲にすることなく,より高密度なメモリに対して,より厳密なメモリ検索誤差を付与することを示す。
論文 参考訳(メタデータ) (2023-12-28T20:26:23Z) - Improving the Robustness of Deep Convolutional Neural Networks Through
Feature Learning [23.5067878531607]
深層畳み込みニューラルネットワーク(DCNN: Deep Convolutional Neural Network)モデルは、小さな摂動のある例に対して脆弱である。
逆トレーニング(略してAT)は、データ拡張によるDCNNモデルの堅牢性を高めるために広く用いられている手法である。
本稿では,どのバックボーンにも組み込むことのできる浅いバイナリ機能モジュール(略してSBFM)を提案する。
論文 参考訳(メタデータ) (2023-03-11T15:22:29Z) - Model-Agnostic Hierarchical Attention for 3D Object Detection [81.33112745926113]
変圧器を用いた3次元検出器のためのモジュラー化階層設計として,2つの新しい注意機構を提案する。
異なるスケールで機能学習を可能にするために,単一スケールの入力機能から複数スケールのトークンを構築するシンプルなマルチスケールアテンションを提案する。
局所的特徴集約のために,各バウンディングボックスの提案に対して適応的なアテンション範囲を持つサイズ適応型局所アテンションを提案する。
論文 参考訳(メタデータ) (2023-01-06T18:52:12Z) - Improved Convergence Guarantees for Shallow Neural Networks [91.3755431537592]
勾配降下法により訓練された深度2ニューラルネットの収束度を世界最小とする。
我々のモデルには、二次損失関数による回帰、完全連結フィードフォワードアーキテクチャ、RelUアクティベーション、ガウスデータインスタンス、逆ラベルといった特徴がある。
彼らは、少なくとも我々のモデルでは、収束現象がNTK体制をはるかに超越していることを強く示唆している」。
論文 参考訳(メタデータ) (2022-12-05T14:47:52Z) - Hopular: Modern Hopfield Networks for Tabular Data [5.470026407471584]
中小データセットのための新しいディープラーニングアーキテクチャである"Hopular"を提案する。
Hopularは格納されたデータを使用して、フィーチャー機能、フィーチャーターゲット、サンプルサンプル依存関係を識別する。
1,000サンプル未満の小さなデータセットの実験では、HopularはGradient Boosting、Random Forests、SVM、特にいくつかのDeep Learningメソッドを超越している。
論文 参考訳(メタデータ) (2022-06-01T17:57:44Z) - Hierarchical Variational Memory for Few-shot Learning Across Domains [120.87679627651153]
本稿では,プロトタイプの各レベルが階層メモリから対応する情報を取得する階層型プロトタイプモデルを提案する。
このモデルには、ドメインシフトの状況が要求される場合、異なるセマンティックレベルの機能を柔軟に依存する能力が備わっている。
モデルにおける各コンポーネントの有効性を示すために、徹底的なアブレーション研究を行っている。
論文 参考訳(メタデータ) (2021-12-15T15:01:29Z) - Global Filter Networks for Image Classification [90.81352483076323]
本稿では,対数線形複雑度を持つ周波数領域における長期空間依存性を学習する,概念的に単純だが計算効率のよいアーキテクチャを提案する。
この結果から,GFNetはトランスフォーマー型モデルやCNNの効率,一般化能力,堅牢性において,非常に競争力のある代替手段となる可能性が示唆された。
論文 参考訳(メタデータ) (2021-07-01T17:58:16Z) - Modern Hopfield Networks and Attention for Immune Repertoire
Classification [8.488102471604908]
変換器アーキテクチャの注意機構は,現代のホップフィールドネットワークの更新規則であることを示す。
計算生物学におけるMIL(Multiple Case Learning)の課題を解決するために,この高ストレージ容量を活用している。
本稿では,トランスフォーマーのような注目,すなわちホップフィールドネットワークをディープラーニングアーキテクチャに統合する新しい手法であるDeepRCを提案する。
論文 参考訳(メタデータ) (2020-07-16T20:35:46Z) - Fine-Grained Visual Classification with Efficient End-to-end
Localization [49.9887676289364]
本稿では,エンド・ツー・エンドの設定において,分類ネットワークと融合可能な効率的なローカライゼーションモジュールを提案する。
我々は,CUB200-2011,Stanford Cars,FGVC-Aircraftの3つのベンチマークデータセット上で,新しいモデルを評価する。
論文 参考訳(メタデータ) (2020-05-11T14:07:06Z) - PointHop++: A Lightweight Learning Model on Point Sets for 3D
Classification [55.887502438160304]
ポイントホップ法は、Zhangらによって、教師なし特徴抽出を伴う3Dポイントクラウド分類のために提案された。
1)モデルパラメータ数の観点からモデルの複雑さを減らし,2)クロスエントロピー基準に基づいて自動的に識別特徴を順序付けする。
ModelNet40ベンチマークデータセットで実施した実験により、PointHop++法がディープニューラルネットワーク(DNN)ソリューションと同等に動作し、他の教師なし特徴抽出法を上回る性能を示す。
論文 参考訳(メタデータ) (2020-02-09T04:49:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。