論文の概要: Accelerating Hierarchical Associative Memory: A Deep Equilibrium Approach

• arxiv url: http://arxiv.org/abs/2311.15673v1
• Date: Mon, 27 Nov 2023 10:02:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-28 16:12:19.099438
• Title: Accelerating Hierarchical Associative Memory: A Deep Equilibrium Approach
• Title（参考訳）: 階層型連想記憶の高速化 : 深い平衡アプローチ
• Authors: C\'edric Goemaere, Johannes Deleu, Thomas Demeester
• Abstract要約: 階層型連想記憶モデルにおいて,メモリ検索を高速化する2つの手法を提案する。 まず、より高速で安定した解法を利用できるDeep Equilibrium Modelsとしてキャストする方法を示す。 第2に、以前の研究から着想を得た結果、偶数層と奇数層を交互に最適化することで、メモリの検索を2倍近く加速することを示した。
• 参考スコア（独自算出の注目度）: 12.829893293085732
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hierarchical Associative Memory models have recently been proposed as a versatile extension of continuous Hopfield networks. In order to facilitate future research on such models, especially at scale, we focus on increasing their simulation efficiency on digital hardware. In particular, we propose two strategies to speed up memory retrieval in these models, which corresponds to their use at inference, but is equally important during training. First, we show how they can be cast as Deep Equilibrium Models, which allows using faster and more stable solvers. Second, inspired by earlier work, we show that alternating optimization of the even and odd layers accelerates memory retrieval by a factor close to two. Combined, these two techniques allow for a much faster energy minimization, as shown in our proof-of-concept experimental results. The code is available at https://github.com/cgoemaere/hamdeq
• Abstract（参考訳）: 近年,連続ホップフィールドネットワークの拡張として階層的連想メモリモデルが提案されている。 このようなモデル,特に大規模モデルの今後の研究を促進するため,我々は,デジタルハードウェアにおけるシミュレーション効率の向上に注力する。 特に,これらのモデルにおけるメモリ検索を高速化するための2つの戦略を提案する。 まず、より高速で安定した解法を利用できるDeep Equilibrium Modelsとしてキャストする方法を示す。 第二に、初期の研究に触発されて、偶数層と奇数の層を交互に最適化することで、メモリの検索が2倍に加速することを示した。 この2つの手法を組み合わせることで、概念実証実験結果に示すように、より高速なエネルギー最小化が可能になります。 コードはhttps://github.com/cgoemaere/hamdeqで入手できる。

関連論文リスト

• Bridging Associative Memory and Probabilistic Modeling [29.605203018237457]
  連想記憶と確率的モデリングは人工知能の2つの基本的なトピックである。 両方向のアイデアの有用なフローを実現するために,この2つの橋を架けています。
  論文  参考訳（メタデータ） (2024-02-15T18:56:46Z)
• A-SDM: Accelerating Stable Diffusion through Redundancy Removal and Performance Optimization [54.113083217869516]
  本研究ではまず,ネットワークの計算冗長性について検討する。 次に、モデルの冗長性ブロックをプルークし、ネットワーク性能を維持する。 第3に,計算集約型注意部を高速化するグローバル地域対話型注意(GRI)を提案する。
  論文  参考訳（メタデータ） (2023-12-24T15:37:47Z)
• Improving Dual-Encoder Training through Dynamic Indexes for Negative Mining [61.09807522366773]
  本稿では,ソフトマックスを証明可能な境界で近似し,木を動的に維持するアルゴリズムを提案する。 我々は,2000万以上のターゲットを持つデータセットについて検討し,オラクル・ブルート力負の鉱業に関して,誤差を半分に削減した。
  論文  参考訳（メタデータ） (2023-03-27T15:18:32Z)
• A Theory of I/O-Efficient Sparse Neural Network Inference [17.862408781750126]
  機械学習モデルは、その精度を速い速度で向上させるため、エネルギーと計算資源の需要は増大する。 低レベルでは、これらのリソースの大部分は異なるメモリユニット間でのデータ移動によって消費されます。 我々は、スパースフィードフォワードニューラルネットワーク(FFNN)推論に必要なI/Oを厳密に理論的に分析する。
  論文  参考訳（メタデータ） (2023-01-03T11:23:46Z)
• On the efficiency of Stochastic Quasi-Newton Methods for Deep Learning [0.0]
  深部記憶ネットワークのための準ニュートン学習アルゴリズムの動作について検討する。 準ニュートンは効率が良く、よく知られたAdamの1次実行よりも性能が優れていることを示す。
  論文  参考訳（メタデータ） (2022-05-18T20:53:58Z)
• When Liebig's Barrel Meets Facial Landmark Detection: A Practical Model [87.25037167380522]
  正確で、堅牢で、効率的で、一般化可能で、エンドツーエンドのトレーニングが可能なモデルを提案する。 精度を向上させるために,2つの軽量モジュールを提案する。 DQInitは、インプットからデコーダのクエリを動的に初期化し、複数のデコーダ層を持つものと同じ精度でモデルを実現する。 QAMemは、共有するクエリではなく、それぞれのクエリに別々のメモリ値を割り当てることで、低解像度のフィーチャーマップ上のクエリの識別能力を高めるように設計されている。
  論文  参考訳（メタデータ） (2021-05-27T13:51:42Z)
• MetaDistiller: Network Self-Boosting via Meta-Learned Top-Down Distillation [153.56211546576978]
  本研究では,ラベル生成器を用いて高い適合性を有するソフトターゲットを生成することを提案する。 このラベルジェネレータを最適化するためにメタ学習技術を用いることができる。 実験は CIFAR-100 と ILSVRC2012 の2つの標準分類ベンチマークで実施された。
  論文  参考訳（メタデータ） (2020-08-27T13:04:27Z)
• Scaling Distributed Deep Learning Workloads beyond the Memory Capacity with KARMA [58.040931661693925]
  冗長な再計算とアウト・オブ・コアの手法を組み合わせた戦略を提案する。 最先端のアウト・オブ・コア手法を用いて,6種類のモデルで平均1.22倍の高速化を実現した。 我々のデータ並列化ソリューションは,Megatron-LMやTurning-NLGといった大規模モデルのトレーニングにおいて,複雑なハイブリッドモデル並列性よりも優れる。
  論文  参考訳（メタデータ） (2020-08-26T07:24:34Z)
• Approximated Bilinear Modules for Temporal Modeling [116.6506871576514]
  CNNの2層は補助ブランチサンプリングを追加することで、時間的双線形モジュールに変換できる。 我々のモデルは、事前トレーニングなしで、Something v1とv2データセットの最先端メソッドよりも優れている。
  論文  参考訳（メタデータ） (2020-07-25T09:07:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。