論文の概要: Hopfield Networks is All You Need

• arxiv url: http://arxiv.org/abs/2008.02217v3
• Date: Wed, 28 Apr 2021 07:24:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-09 21:48:30.689553
• Title: Hopfield Networks is All You Need
• Title（参考訳）: Hopfield Networksは必要なものすべて
• Authors: Hubert Ramsauer, Bernhard Sch\"afl, Johannes Lehner, Philipp Seidl, Michael Widrich, Thomas Adler, Lukas Gruber, Markus Holzleitner, Milena Pavlovi\'c, Geir Kjetil Sandve, Victor Greiff, David Kreil, Michael Kopp, G\"unter Klambauer, Johannes Brandstetter, Sepp Hochreiter
• Abstract要約: 連続状態とそれに対応する更新ルールを備えた,現代的なホップフィールドネットワークを導入する。 新しいホップフィールドネットワークは、多くのパターンを指数関数的に(連想空間の次元で)保存し、1回の更新でパターンを検索し、指数関数的に小さな検索誤差を持つ。 さまざまな領域にまたがるホップフィールド層の適用性を示す。
• 参考スコア（独自算出の注目度）: 8.508381229662907
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce a modern Hopfield network with continuous states and a corresponding update rule. The new Hopfield network can store exponentially (with the dimension of the associative space) many patterns, retrieves the pattern with one update, and has exponentially small retrieval errors. It has three types of energy minima (fixed points of the update): (1) global fixed point averaging over all patterns, (2) metastable states averaging over a subset of patterns, and (3) fixed points which store a single pattern. The new update rule is equivalent to the attention mechanism used in transformers. This equivalence enables a characterization of the heads of transformer models. These heads perform in the first layers preferably global averaging and in higher layers partial averaging via metastable states. The new modern Hopfield network can be integrated into deep learning architectures as layers to allow the storage of and access to raw input data, intermediate results, or learned prototypes. These Hopfield layers enable new ways of deep learning, beyond fully-connected, convolutional, or recurrent networks, and provide pooling, memory, association, and attention mechanisms. We demonstrate the broad applicability of the Hopfield layers across various domains. Hopfield layers improved state-of-the-art on three out of four considered multiple instance learning problems as well as on immune repertoire classification with several hundreds of thousands of instances. On the UCI benchmark collections of small classification tasks, where deep learning methods typically struggle, Hopfield layers yielded a new state-of-the-art when compared to different machine learning methods. Finally, Hopfield layers achieved state-of-the-art on two drug design datasets. The implementation is available at: https://github.com/ml-jku/hopfield-layers
• Abstract（参考訳）: 連続状態とそれに対応する更新ルールを備えた,現代的なホップフィールドネットワークを導入する。 新しいホップフィールドネットワークは、多くのパターンを指数関数的に(連想空間の次元で)保存し、1回の更新でパターンを検索し、指数関数的に小さな検索誤差を持つ。 それは、(1)すべてのパターンを平均化する大域的固定点、(2)パターンのサブセットを平均化する準安定状態、(3)単一のパターンを格納する固定点の3つのタイプのエネルギーミニマ(更新点の固定点)を持つ。 新しい更新ルールは、トランスで使用されるアテンションメカニズムと等価である。 この等価性により、トランスモデルのヘッドを特徴づけることができる。 これらのヘッドは、大域平均化と準安定状態による部分平均化を好ましくは第1層で実行する。 新しいモダンなホップフィールドネットワークは、生の入力データ、中間結果、あるいは学習済みのプロトタイプの保存とアクセスを可能にするレイヤとして、ディープラーニングアーキテクチャに統合することができる。 これらのホップフィールド層は、完全に接続された、畳み込み、あるいは再帰的なネットワークを超えて、新しいディープラーニングの方法を可能にし、プール、メモリ、関連付け、アテンションメカニズムを提供する。 様々な領域にまたがるホップフィールド層の幅広い適用性を示す。 hopfield layersは、複数のインスタンス学習の問題として考慮された4つのうち3つ、数十万のインスタンスによる免疫レパートリー分類を改善した。 ディープラーニングメソッドが通常苦労する小さな分類タスクのUCIベンチマークコレクションでは、さまざまな機械学習メソッドと比較して、Hopfield層が新たな最先端技術を生み出した。 最後にhopfield layersは、2つのドラッグデザインデータセットで最先端の成果を得た。 実装は以下の通りである。 https://github.com/ml-jku/hopfield-layers

関連論文リスト

• Hopfield-Fenchel-Young Networks: A Unified Framework for Associative Memory Retrieval [25.841394444834933]
  ホップフィールドネットワークのような連想記憶モデルは、メモリ容量の進歩とトランスフォーマーにおける自己注意とのつながりにより、新たな関心を集めている。 本研究では,これらのモデルをより広範なエネルギー関数群に一般化する統合フレームワークであるHopfield-Fenchel-Youngネットワークを導入する。
  論文  参考訳（メタデータ） (2024-11-13T13:13:07Z)
• Boosting Cross-Domain Point Classification via Distilling Relational Priors from 2D Transformers [59.0181939916084]
  従来の3Dネットワークは主に局所幾何学的詳細に焦点を当て、局所幾何学間の位相構造を無視する。 そこで本稿では,大規模画像上においてよく訓練されたトランスフォーマーから前駆体を抽出する,新しい先駆体蒸留法を提案する。 PointDA-10とSim-to-Realデータセットの実験は、提案手法が点クラウド分類におけるUDAの最先端性能を一貫して達成していることを検証する。
  論文  参考訳（メタデータ） (2024-07-26T06:29:09Z)
• SegVG: Transferring Object Bounding Box to Segmentation for Visual Grounding [56.079013202051094]
  ボックスレベルのアノテーションを信号として転送する新しい手法であるSegVGを提案する。 このアプローチでは,ボックスレベルのレグレッションとピクセルレベルのセグメンテーションの両方の信号としてアノテーションを反復的に利用することができる。
  論文  参考訳（メタデータ） (2024-07-03T15:30:45Z)
• BiSHop: Bi-Directional Cellular Learning for Tabular Data with Generalized Sparse Modern Hopfield Model [6.888608574535993]
  BiSHopは、深層表型学習の2つの大きな課題に対処する。 BiSHopはデュアルコンポーネントのアプローチを採用し、列ワイドと行ワイドの両方のデータを逐次処理する。 We show BiSHop comes over current SOTA method with significantly less HPO run。
  論文  参考訳（メタデータ） (2024-04-04T23:13:32Z)
• Uniform Memory Retrieval with Larger Capacity for Modern Hopfield Models [5.929540708452128]
  本稿では,現代のホップフィールドモデルに対する2段階のメモリ検索ダイナミクスを提案する。 主な貢献は学習可能な特徴写像 $Phi$ であり、ホップフィールドエネルギー関数をカーネル空間に変換する。 記憶されたメモリパターンを学習データとして利用し、現代のホップフィールドモデル全体のメモリ容量を向上させる。
  論文  参考訳（メタデータ） (2024-04-04T23:05:30Z)
• STanHop: Sparse Tandem Hopfield Model for Memory-Enhanced Time Series Prediction [13.815793371488613]
  本稿では,ホップフィールドをベースとした新しいニューラルネットワークブロックを提案する。 本質的に、StanHopは2つのタンデムスパースホップフィールド層を用いて時間的表現とシリーズ間表現を逐次学習する。 本フレームワークは,メモリ容量を犠牲にすることなく,より高密度なメモリに対して,より厳密なメモリ検索誤差を付与することを示す。
  論文  参考訳（メタデータ） (2023-12-28T20:26:23Z)
• Improved Convergence Guarantees for Shallow Neural Networks [91.3755431537592]
  勾配降下法により訓練された深度2ニューラルネットの収束度を世界最小とする。 我々のモデルには、二次損失関数による回帰、完全連結フィードフォワードアーキテクチャ、RelUアクティベーション、ガウスデータインスタンス、逆ラベルといった特徴がある。 彼らは、少なくとも我々のモデルでは、収束現象がNTK体制をはるかに超越していることを強く示唆している」。
  論文  参考訳（メタデータ） (2022-12-05T14:47:52Z)
• Hierarchical Variational Memory for Few-shot Learning Across Domains [120.87679627651153]
  本稿では,プロトタイプの各レベルが階層メモリから対応する情報を取得する階層型プロトタイプモデルを提案する。 このモデルには、ドメインシフトの状況が要求される場合、異なるセマンティックレベルの機能を柔軟に依存する能力が備わっている。 モデルにおける各コンポーネントの有効性を示すために、徹底的なアブレーション研究を行っている。
  論文  参考訳（メタデータ） (2021-12-15T15:01:29Z)
• Modern Hopfield Networks and Attention for Immune Repertoire Classification [8.488102471604908]
  変換器アーキテクチャの注意機構は,現代のホップフィールドネットワークの更新規則であることを示す。 計算生物学におけるMIL(Multiple Case Learning)の課題を解決するために,この高ストレージ容量を活用している。 本稿では,トランスフォーマーのような注目,すなわちホップフィールドネットワークをディープラーニングアーキテクチャに統合する新しい手法であるDeepRCを提案する。
  論文  参考訳（メタデータ） (2020-07-16T20:35:46Z)
• Fine-Grained Visual Classification with Efficient End-to-end Localization [49.9887676289364]
  本稿では,エンド・ツー・エンドの設定において,分類ネットワークと融合可能な効率的なローカライゼーションモジュールを提案する。 我々は,CUB200-2011,Stanford Cars,FGVC-Aircraftの3つのベンチマークデータセット上で,新しいモデルを評価する。
  論文  参考訳（メタデータ） (2020-05-11T14:07:06Z)
• PointHop++: A Lightweight Learning Model on Point Sets for 3D Classification [55.887502438160304]
  ポイントホップ法は、Zhangらによって、教師なし特徴抽出を伴う3Dポイントクラウド分類のために提案された。 1)モデルパラメータ数の観点からモデルの複雑さを減らし,2)クロスエントロピー基準に基づいて自動的に識別特徴を順序付けする。 ModelNet40ベンチマークデータセットで実施した実験により、PointHop++法がディープニューラルネットワーク(DNN)ソリューションと同等に動作し、他の教師なし特徴抽出法を上回る性能を示す。
  論文  参考訳（メタデータ） (2020-02-09T04:49:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。