論文の概要: Accelerating Hopfield Network Dynamics: Beyond Synchronous Updates and Forward Euler
- arxiv url: http://arxiv.org/abs/2311.15673v2
- Date: Wed, 21 Aug 2024 16:34:19 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-22 23:04:42.942955
- Title: Accelerating Hopfield Network Dynamics: Beyond Synchronous Updates and Forward Euler
- Title(参考訳): Hopfield Networkのダイナミクスを加速する - 同期アップデートとフォワード・オイラーを超えて
- Authors: Cédric Goemaere, Johannes Deleu, Thomas Demeester,
- Abstract要約: ホップフィールドネットワークは機械学習の基本的なエネルギーベースモデルとして機能し、通常の微分方程式(ODE)を通してメモリ検索のダイナミクスをキャプチャする。
我々は、ホップフィールドネットワークをDeep Equilibrium Models(DEQs)のインスタンスとして見る概念シフトを提案する。
DEQフレームワークは、特殊なソルバの使用を可能にするだけでなく、経験的推論技術に関する新たな洞察をもたらす。
実験的な評価はこれらの知見を検証し、DECフレームワークの利点とホップフィールドネットワークにおけるエネルギー最小化のディジタルシミュレーションにおける偶数分割の利点を示した。
- 参考スコア(独自算出の注目度): 11.415513609699936
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The Hopfield network serves as a fundamental energy-based model in machine learning, capturing memory retrieval dynamics through an ordinary differential equation (ODE). The model's output, the equilibrium point of the ODE, is traditionally computed via synchronous updates using the forward Euler method. This paper aims to overcome some of the disadvantages of this approach. We propose a conceptual shift, viewing Hopfield networks as instances of Deep Equilibrium Models (DEQs). The DEQ framework not only allows for the use of specialized solvers, but also leads to new insights on an empirical inference technique that we will refer to as 'even-odd splitting'. Our theoretical analysis of the method uncovers a parallelizable asynchronous update scheme, which should converge roughly twice as fast as the conventional synchronous updates. Empirical evaluations validate these findings, showcasing the advantages of both the DEQ framework and even-odd splitting in digitally simulating energy minimization in Hopfield networks. The code is available at https://github.com/cgoemaere/hopdeq
- Abstract(参考訳): ホップフィールドネットワークは機械学習の基本的なエネルギーベースモデルとして機能し、通常の微分方程式(ODE)を通してメモリ検索のダイナミクスをキャプチャする。
ODEの平衡点であるモデルの出力は、伝統的にフォワード・オイラー法を用いて同期更新によって計算される。
本稿では,このアプローチの欠点を克服することを目的とする。
本稿では, ホップフィールドネットワークをDeep Equilibrium Models (DEQ) のインスタンスとみなす概念シフトを提案する。
DEQフレームワークは、特殊なソルバの使用を可能にするだけでなく、実証的な推論技術に関する新たな洞察をもたらします。
本手法の理論的解析により,従来の同期更新の約2倍の速さで収束する並列化可能な非同期更新方式が明らかになった。
実験的な評価はこれらの知見を検証し、DECフレームワークの利点とホップフィールドネットワークにおけるエネルギー最小化のディジタルシミュレーションにおける偶数分割の利点を示した。
コードはhttps://github.com/cgoemaere/hopdeqで公開されている。
関連論文リスト
- Bridging Associative Memory and Probabilistic Modeling [29.605203018237457]
連想記憶と確率的モデリングは人工知能の2つの基本的なトピックである。
両方向のアイデアの有用なフローを実現するために,この2つの橋を架けています。
論文 参考訳(メタデータ) (2024-02-15T18:56:46Z) - A-SDM: Accelerating Stable Diffusion through Redundancy Removal and
Performance Optimization [54.113083217869516]
本研究ではまず,ネットワークの計算冗長性について検討する。
次に、モデルの冗長性ブロックをプルークし、ネットワーク性能を維持する。
第3に,計算集約型注意部を高速化するグローバル地域対話型注意(GRI)を提案する。
論文 参考訳(メタデータ) (2023-12-24T15:37:47Z) - Improving Dual-Encoder Training through Dynamic Indexes for Negative
Mining [61.09807522366773]
本稿では,ソフトマックスを証明可能な境界で近似し,木を動的に維持するアルゴリズムを提案する。
我々は,2000万以上のターゲットを持つデータセットについて検討し,オラクル・ブルート力負の鉱業に関して,誤差を半分に削減した。
論文 参考訳(メタデータ) (2023-03-27T15:18:32Z) - A Theory of I/O-Efficient Sparse Neural Network Inference [17.862408781750126]
機械学習モデルは、その精度を速い速度で向上させるため、エネルギーと計算資源の需要は増大する。
低レベルでは、これらのリソースの大部分は異なるメモリユニット間でのデータ移動によって消費されます。
我々は、スパースフィードフォワードニューラルネットワーク(FFNN)推論に必要なI/Oを厳密に理論的に分析する。
論文 参考訳(メタデータ) (2023-01-03T11:23:46Z) - On the efficiency of Stochastic Quasi-Newton Methods for Deep Learning [0.0]
深部記憶ネットワークのための準ニュートン学習アルゴリズムの動作について検討する。
準ニュートンは効率が良く、よく知られたAdamの1次実行よりも性能が優れていることを示す。
論文 参考訳(メタデータ) (2022-05-18T20:53:58Z) - When Liebig's Barrel Meets Facial Landmark Detection: A Practical Model [87.25037167380522]
正確で、堅牢で、効率的で、一般化可能で、エンドツーエンドのトレーニングが可能なモデルを提案する。
精度を向上させるために,2つの軽量モジュールを提案する。
DQInitは、インプットからデコーダのクエリを動的に初期化し、複数のデコーダ層を持つものと同じ精度でモデルを実現する。
QAMemは、共有するクエリではなく、それぞれのクエリに別々のメモリ値を割り当てることで、低解像度のフィーチャーマップ上のクエリの識別能力を高めるように設計されている。
論文 参考訳(メタデータ) (2021-05-27T13:51:42Z) - MetaDistiller: Network Self-Boosting via Meta-Learned Top-Down
Distillation [153.56211546576978]
本研究では,ラベル生成器を用いて高い適合性を有するソフトターゲットを生成することを提案する。
このラベルジェネレータを最適化するためにメタ学習技術を用いることができる。
実験は CIFAR-100 と ILSVRC2012 の2つの標準分類ベンチマークで実施された。
論文 参考訳(メタデータ) (2020-08-27T13:04:27Z) - Scaling Distributed Deep Learning Workloads beyond the Memory Capacity
with KARMA [58.040931661693925]
冗長な再計算とアウト・オブ・コアの手法を組み合わせた戦略を提案する。
最先端のアウト・オブ・コア手法を用いて,6種類のモデルで平均1.22倍の高速化を実現した。
我々のデータ並列化ソリューションは,Megatron-LMやTurning-NLGといった大規模モデルのトレーニングにおいて,複雑なハイブリッドモデル並列性よりも優れる。
論文 参考訳(メタデータ) (2020-08-26T07:24:34Z) - Approximated Bilinear Modules for Temporal Modeling [116.6506871576514]
CNNの2層は補助ブランチサンプリングを追加することで、時間的双線形モジュールに変換できる。
我々のモデルは、事前トレーニングなしで、Something v1とv2データセットの最先端メソッドよりも優れている。
論文 参考訳(メタデータ) (2020-07-25T09:07:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。