論文の概要: Accelerating Hierarchical Associative Memory: A Deep Equilibrium Approach

• arxiv url: http://arxiv.org/abs/2311.15673v1
• Date: Mon, 27 Nov 2023 10:02:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-28 16:12:19.099438
• Title: Accelerating Hierarchical Associative Memory: A Deep Equilibrium Approach
• Title（参考訳）: 階層型連想記憶の高速化 : 深い平衡アプローチ
• Authors: C\'edric Goemaere, Johannes Deleu, Thomas Demeester
• Abstract要約: 階層型連想記憶モデルにおいて,メモリ検索を高速化する2つの手法を提案する。 まず、より高速で安定した解法を利用できるDeep Equilibrium Modelsとしてキャストする方法を示す。 第2に、以前の研究から着想を得た結果、偶数層と奇数層を交互に最適化することで、メモリの検索を2倍近く加速することを示した。
• 参考スコア（独自算出の注目度）: 12.829893293085732
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hierarchical Associative Memory models have recently been proposed as a versatile extension of continuous Hopfield networks. In order to facilitate future research on such models, especially at scale, we focus on increasing their simulation efficiency on digital hardware. In particular, we propose two strategies to speed up memory retrieval in these models, which corresponds to their use at inference, but is equally important during training. First, we show how they can be cast as Deep Equilibrium Models, which allows using faster and more stable solvers. Second, inspired by earlier work, we show that alternating optimization of the even and odd layers accelerates memory retrieval by a factor close to two. Combined, these two techniques allow for a much faster energy minimization, as shown in our proof-of-concept experimental results. The code is available at https://github.com/cgoemaere/hamdeq
• Abstract（参考訳）: 近年,連続ホップフィールドネットワークの拡張として階層的連想メモリモデルが提案されている。 このようなモデル,特に大規模モデルの今後の研究を促進するため,我々は,デジタルハードウェアにおけるシミュレーション効率の向上に注力する。 特に,これらのモデルにおけるメモリ検索を高速化するための2つの戦略を提案する。 まず、より高速で安定した解法を利用できるDeep Equilibrium Modelsとしてキャストする方法を示す。 第二に、初期の研究に触発されて、偶数層と奇数の層を交互に最適化することで、メモリの検索が2倍に加速することを示した。 この2つの手法を組み合わせることで、概念実証実験結果に示すように、より高速なエネルギー最小化が可能になります。 コードはhttps://github.com/cgoemaere/hamdeqで入手できる。

関連論文リスト

• Neural Hamilton: Can A.I. Understand Hamiltonian Mechanics? [0.0]
  本稿では,古典力学を演算子学習問題として再構成するニューラルネットワークに基づく新しいフレームワークを提案する。 機械はハミルトン方程式を解くことなく、位相空間におけるポテンシャル関数とその対応する軌道に直接写像する。
  論文  参考訳（メタデータ） (2024-10-28T12:10:44Z)
• TCCT-Net: Two-Stream Network Architecture for Fast and Efficient Engagement Estimation via Behavioral Feature Signals [58.865901821451295]
  本稿では,新しい2ストリーム機能融合 "Tensor-Convolution and Convolution-Transformer Network" (TCCT-Net) アーキテクチャを提案する。 時間空間領域における意味のあるパターンをよりよく学習するために、ハイブリッド畳み込み変換器を統合する「CT」ストリームを設計する。 並行して、時間周波数領域からリッチなパターンを効率的に抽出するために、連続ウェーブレット変換(CWT)を用いて情報を2次元テンソル形式で表現する「TC」ストリームを導入する。
  論文  参考訳（メタデータ） (2024-04-15T06:01:48Z)
• An Optimization-based Deep Equilibrium Model for Hyperspectral Image Deconvolution with Convergence Guarantees [71.57324258813675]
  本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。 新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。 導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
  論文  参考訳（メタデータ） (2023-06-10T08:25:16Z)
• Neural Basis Functions for Accelerating Solutions to High Mach Euler Equations [63.8376359764052]
  ニューラルネットワークを用いた偏微分方程式(PDE)の解法を提案する。 ニューラルネットワークの集合を縮小順序 Proper Orthogonal Decomposition (POD) に回帰する。 これらのネットワークは、所定のPDEのパラメータを取り込み、PDEに還元順序近似を計算する分岐ネットワークと組み合わせて使用される。
  論文  参考訳（メタデータ） (2022-08-02T18:27:13Z)
• Discovering dynamical features of Hodgkin-Huxley-type model of physiological neuron using artificial neural network [0.0]
  2つの高速かつ1つの遅い変数を持つHodgkin-Huxley型システムを考える。 これら2つのシステムでは、そのダイナミクスを再現できる人工ニューラルネットワークを作成します。 ビスタブルモデルでは、トレーニング中に見ずに、あるソリューションのブランチでのみトレーニングされたネットワークが、別のネットワークを回復することを意味する。
  論文  参考訳（メタデータ） (2022-03-26T19:04:19Z)
• Physics Informed RNN-DCT Networks for Time-Dependent Partial Differential Equations [62.81701992551728]
  時間依存偏微分方程式を解くための物理インフォームド・フレームワークを提案する。 我々のモデルは離散コサイン変換を用いて空間的および反復的なニューラルネットワークを符号化する。 ナヴィエ・ストークス方程式に対するテイラー・グリーン渦解の実験結果を示す。
  論文  参考訳（メタデータ） (2022-02-24T20:46:52Z)
• Stabilizing Equilibrium Models by Jacobian Regularization [151.78151873928027]
  ディープ均衡ネットワーク(Deep equilibrium Network, DEQs)は、単一非線形層の固定点を見つけるために従来の深さを推定する新しいモデルのクラスである。 本稿では、平衡モデルの学習を安定させるために、固定点更新方程式のヤコビアンを明示的に正規化するDECモデルの正規化スキームを提案する。 この正規化は計算コストを最小限に抑え、前方と後方の両方の固定点収束を著しく安定化させ、高次元の現実的な領域に順応することを示した。
  論文  参考訳（メタデータ） (2021-06-28T00:14:11Z)
• Stragglers Are Not Disaster: A Hybrid Federated Learning Algorithm with Delayed Gradients [21.63719641718363]
  フェデレーション・ラーニング(federated learning, fl)は、多数の分散コンピューティングデバイスで合同モデルをトレーニングする、新しい機械学習フレームワークである。 本稿では,効率と有効性における学習バランスを実現するための新しいflアルゴリズムであるhybrid federated learning(hfl)を提案する。
  論文  参考訳（メタデータ） (2021-02-12T02:27:44Z)
• Forecasting Sequential Data using Consistent Koopman Autoencoders [52.209416711500005]
  クープマン理論に関連する新しい物理学に基づく手法が導入された。 本稿では,既存の作業の多くと異なり,前方・後方のダイナミクスを生かした新しいコンシスタント・クープマン・オートエンコーダモデルを提案する。 このアプローチの鍵となるのは、一貫性のある力学と関連するクープマン作用素との相互作用を探索する新しい解析である。
  論文  参考訳（メタデータ） (2020-03-04T18:24:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。