論文の概要: Accelerating Hopfield Network Dynamics: Beyond Synchronous Updates and Forward Euler

• arxiv url: http://arxiv.org/abs/2311.15673v2
• Date: Wed, 21 Aug 2024 16:34:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-22 23:04:42.942955
• Title: Accelerating Hopfield Network Dynamics: Beyond Synchronous Updates and Forward Euler
• Title（参考訳）: Hopfield Networkのダイナミクスを加速する - 同期アップデートとフォワード・オイラーを超えて
• Authors: Cédric Goemaere, Johannes Deleu, Thomas Demeester,
• Abstract要約: ホップフィールドネットワークは機械学習の基本的なエネルギーベースモデルとして機能し、通常の微分方程式(ODE)を通してメモリ検索のダイナミクスをキャプチャする。 我々は、ホップフィールドネットワークをDeep Equilibrium Models(DEQs)のインスタンスとして見る概念シフトを提案する。 DEQフレームワークは、特殊なソルバの使用を可能にするだけでなく、経験的推論技術に関する新たな洞察をもたらす。 実験的な評価はこれらの知見を検証し、DECフレームワークの利点とホップフィールドネットワークにおけるエネルギー最小化のディジタルシミュレーションにおける偶数分割の利点を示した。
• 参考スコア（独自算出の注目度）: 11.415513609699936
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Hopfield network serves as a fundamental energy-based model in machine learning, capturing memory retrieval dynamics through an ordinary differential equation (ODE). The model's output, the equilibrium point of the ODE, is traditionally computed via synchronous updates using the forward Euler method. This paper aims to overcome some of the disadvantages of this approach. We propose a conceptual shift, viewing Hopfield networks as instances of Deep Equilibrium Models (DEQs). The DEQ framework not only allows for the use of specialized solvers, but also leads to new insights on an empirical inference technique that we will refer to as 'even-odd splitting'. Our theoretical analysis of the method uncovers a parallelizable asynchronous update scheme, which should converge roughly twice as fast as the conventional synchronous updates. Empirical evaluations validate these findings, showcasing the advantages of both the DEQ framework and even-odd splitting in digitally simulating energy minimization in Hopfield networks. The code is available at https://github.com/cgoemaere/hopdeq
• Abstract（参考訳）: ホップフィールドネットワークは機械学習の基本的なエネルギーベースモデルとして機能し、通常の微分方程式(ODE)を通してメモリ検索のダイナミクスをキャプチャする。 ODEの平衡点であるモデルの出力は、伝統的にフォワード・オイラー法を用いて同期更新によって計算される。 本稿では,このアプローチの欠点を克服することを目的とする。 本稿では, ホップフィールドネットワークをDeep Equilibrium Models (DEQ) のインスタンスとみなす概念シフトを提案する。 DEQフレームワークは、特殊なソルバの使用を可能にするだけでなく、実証的な推論技術に関する新たな洞察をもたらします。 本手法の理論的解析により,従来の同期更新の約2倍の速さで収束する並列化可能な非同期更新方式が明らかになった。 実験的な評価はこれらの知見を検証し、DECフレームワークの利点とホップフィールドネットワークにおけるエネルギー最小化のディジタルシミュレーションにおける偶数分割の利点を示した。 コードはhttps://github.com/cgoemaere/hopdeqで公開されている。

関連論文リスト

• Neural Hamilton: Can A.I. Understand Hamiltonian Mechanics? [0.0]
  本稿では,古典力学を演算子学習問題として再構成するニューラルネットワークに基づく新しいフレームワークを提案する。 機械はハミルトン方程式を解くことなく、位相空間におけるポテンシャル関数とその対応する軌道に直接写像する。
  論文  参考訳（メタデータ） (2024-10-28T12:10:44Z)
• TCCT-Net: Two-Stream Network Architecture for Fast and Efficient Engagement Estimation via Behavioral Feature Signals [58.865901821451295]
  本稿では,新しい2ストリーム機能融合 "Tensor-Convolution and Convolution-Transformer Network" (TCCT-Net) アーキテクチャを提案する。 時間空間領域における意味のあるパターンをよりよく学習するために、ハイブリッド畳み込み変換器を統合する「CT」ストリームを設計する。 並行して、時間周波数領域からリッチなパターンを効率的に抽出するために、連続ウェーブレット変換(CWT)を用いて情報を2次元テンソル形式で表現する「TC」ストリームを導入する。
  論文  参考訳（メタデータ） (2024-04-15T06:01:48Z)
• An Optimization-based Deep Equilibrium Model for Hyperspectral Image Deconvolution with Convergence Guarantees [71.57324258813675]
  本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。 新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。 導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
  論文  参考訳（メタデータ） (2023-06-10T08:25:16Z)
• Neural Basis Functions for Accelerating Solutions to High Mach Euler Equations [63.8376359764052]
  ニューラルネットワークを用いた偏微分方程式(PDE)の解法を提案する。 ニューラルネットワークの集合を縮小順序 Proper Orthogonal Decomposition (POD) に回帰する。 これらのネットワークは、所定のPDEのパラメータを取り込み、PDEに還元順序近似を計算する分岐ネットワークと組み合わせて使用される。
  論文  参考訳（メタデータ） (2022-08-02T18:27:13Z)
• Discovering dynamical features of Hodgkin-Huxley-type model of physiological neuron using artificial neural network [0.0]
  2つの高速かつ1つの遅い変数を持つHodgkin-Huxley型システムを考える。 これら2つのシステムでは、そのダイナミクスを再現できる人工ニューラルネットワークを作成します。 ビスタブルモデルでは、トレーニング中に見ずに、あるソリューションのブランチでのみトレーニングされたネットワークが、別のネットワークを回復することを意味する。
  論文  参考訳（メタデータ） (2022-03-26T19:04:19Z)
• Physics Informed RNN-DCT Networks for Time-Dependent Partial Differential Equations [62.81701992551728]
  時間依存偏微分方程式を解くための物理インフォームド・フレームワークを提案する。 我々のモデルは離散コサイン変換を用いて空間的および反復的なニューラルネットワークを符号化する。 ナヴィエ・ストークス方程式に対するテイラー・グリーン渦解の実験結果を示す。
  論文  参考訳（メタデータ） (2022-02-24T20:46:52Z)
• Stabilizing Equilibrium Models by Jacobian Regularization [151.78151873928027]
  ディープ均衡ネットワーク(Deep equilibrium Network, DEQs)は、単一非線形層の固定点を見つけるために従来の深さを推定する新しいモデルのクラスである。 本稿では、平衡モデルの学習を安定させるために、固定点更新方程式のヤコビアンを明示的に正規化するDECモデルの正規化スキームを提案する。 この正規化は計算コストを最小限に抑え、前方と後方の両方の固定点収束を著しく安定化させ、高次元の現実的な領域に順応することを示した。
  論文  参考訳（メタデータ） (2021-06-28T00:14:11Z)
• Stragglers Are Not Disaster: A Hybrid Federated Learning Algorithm with Delayed Gradients [21.63719641718363]
  フェデレーション・ラーニング(federated learning, fl)は、多数の分散コンピューティングデバイスで合同モデルをトレーニングする、新しい機械学習フレームワークである。 本稿では,効率と有効性における学習バランスを実現するための新しいflアルゴリズムであるhybrid federated learning(hfl)を提案する。
  論文  参考訳（メタデータ） (2021-02-12T02:27:44Z)
• Forecasting Sequential Data using Consistent Koopman Autoencoders [52.209416711500005]
  クープマン理論に関連する新しい物理学に基づく手法が導入された。 本稿では,既存の作業の多くと異なり,前方・後方のダイナミクスを生かした新しいコンシスタント・クープマン・オートエンコーダモデルを提案する。 このアプローチの鍵となるのは、一貫性のある力学と関連するクープマン作用素との相互作用を探索する新しい解析である。
  論文  参考訳（メタデータ） (2020-03-04T18:24:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。