論文の概要: Dense Associative Memories with Analog Circuits

• arxiv url: http://arxiv.org/abs/2512.15002v1
• Date: Wed, 17 Dec 2025 01:22:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-18 17:06:26.822239
• Title: Dense Associative Memories with Analog Circuits
• Title（参考訳）: アナログ回路を用いたDense Associative Memories
• Authors: Marc Gong Bacvanski, Xincheng You, John Hopfield, Dmitry Krotov,
• Abstract要約: DenseAMのためのアナログアクセラレータ構築法を提案する。 アナログDenseAMハードウェアはモデルサイズに依存しない一定時間で推論を行う。 我々は、増幅器仕様によって課される達成可能な時間定数の低い境界を推定し、保守的な既存のアナログ技術でさえ、数十ナノ秒から数百ナノ秒の順序で推論時間を実現できることを示唆した。
• 参考スコア（独自算出の注目度）: 4.0086293309536405
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The increasing computational demands of modern AI systems have exposed fundamental limitations of digital hardware, driving interest in alternative paradigms for efficient large-scale inference. Dense Associative Memory (DenseAM) is a family of models that offers a flexible framework for representing many contemporary neural architectures, such as transformers and diffusion models, by casting them as dynamical systems evolving on an energy landscape. In this work, we propose a general method for building analog accelerators for DenseAMs and implementing them using electronic RC circuits, crossbar arrays, and amplifiers. We find that our analog DenseAM hardware performs inference in constant time independent of model size. This result highlights an asymptotic advantage of analog DenseAMs over digital numerical solvers that scale at least linearly with the model size. We consider three settings of progressively increasing complexity: XOR, the Hamming (7,4) code, and a simple language model defined on binary variables. We propose analog implementations of these three models and analyze the scaling of inference time, energy consumption, and hardware. Finally, we estimate lower bounds on the achievable time constants imposed by amplifier specifications, suggesting that even conservative existing analog technology can enable inference times on the order of tens to hundreds of nanoseconds. By harnessing the intrinsic parallelism and continuous-time operation of analog circuits, our DenseAM-based accelerator design offers a new avenue for fast and scalable AI hardware.
• Abstract（参考訳）: 現代のAIシステムの計算要求の増加により、デジタルハードウェアの基本的限界が明らかになり、効率的な大規模推論のための代替パラダイムへの関心が高まっている。 Dense Associative Memory (DenseAM) は、トランスフォーマーや拡散モデルなど、多くの現代のニューラルアーキテクチャを表現するフレキシブルなフレームワークを提供するモデルのファミリーである。 本研究では,電子RC回路,クロスバーアレイ,増幅器を用いてDenseAMのアナログアクセラレータを構築し,実装するための一般的な手法を提案する。 我々のアナログDenseAMハードウェアはモデルサイズに依存しない一定時間で推論を行う。 この結果は、少なくともモデルサイズと線形にスケールするデジタル数値解法よりもアナログDenseAMの漸近的優位性を強調している。 XOR、ハミング(7,4)コード、バイナリ変数で定義された単純な言語モデルである。 本稿では,これらのモデルのアナログ実装を提案し,推論時間,エネルギー消費,ハードウェアのスケーリングを解析する。 最後に、増幅器仕様によって課される達成可能な時間定数の低い限界を推定し、保守的な既存のアナログ技術でさえ、数十ナノ秒から数百ナノ秒の順序で推測時間を実現できることを示唆する。 アナログ回路の本質的な並列性と連続的な動作を活用することで、DenseAMベースのアクセラレータ設計は、高速でスケーラブルなAIハードウェアのための新たな道筋を提供する。

関連論文リスト

• A2R: An Asymmetric Two-Stage Reasoning Framework for Parallel Reasoning [57.727084580884075]
  モデルポテンシャルと実際の性能の間のギャップを埋めるために設計された非対称な2段階推論フレームワーク。 A2R-Efficientは、Qwen3-4BとQwen3-8Bシンセサイザーを組み合わせた「小型から大型」の派生型である。 その結果、A2Rはパフォーマンス・ブートスティングのフレームワークであるだけでなく、現実世界のアプリケーションに対して効率的かつ実用的なソリューションであることがわかった。
  論文  参考訳（メタデータ） (2025-09-26T08:27:03Z)
• Sequential-Parallel Duality in Prefix Scannable Models [68.39855814099997]
  近年では Gated Linear Attention (GLA) や Mamba など様々なモデルが開発されている。 ニアコンスタント時間並列評価と線形時間、定数空間シーケンシャル推論をサポートするニューラルネットワークモデルの全クラスを特徴付けることができるだろうか?
  論文  参考訳（メタデータ） (2025-06-12T17:32:02Z)
• Learning in Log-Domain: Subthreshold Analog AI Accelerator Based on Stochastic Gradient Descent [5.429033337081392]
  L2正規化(SGDr)を用いた勾配勾配勾配を用いたAI/MLトレーニングワークロードのための新しいアナログアクセラレータアーキテクチャを提案する。 提案した設計は,デジタル実装と比較してトランジスタ面積と消費電力の大幅な削減を実現している。 この研究は、チップ上でのトレーニング機能を備えたエネルギー効率の良いアナログAIハードウェアの道を開いた。
  論文  参考訳（メタデータ） (2025-01-22T19:26:36Z)
• ARLON: Boosting Diffusion Transformers with Autoregressive Models for Long Video Generation [83.62931466231898]
  本稿では,長期ビデオ生成のための自己回帰モデルを用いた拡散変換器を高速化するフレームワークARLONを提案する。 潜在ベクトル量子変分オートコーダ(VQ-VAE)は、DiTモデルの入力潜時空間をコンパクトなビジュアルトークンに圧縮する。 適応ノルムベースのセマンティックインジェクションモジュールは、ARモデルから粗い離散視覚ユニットをDiTモデルに統合する。
  論文  参考訳（メタデータ） (2024-10-27T16:28:28Z)
• Towards training digitally-tied analog blocks via hybrid gradient computation [1.800676987432211]
  フィードフォワード型エネルギーベースモデル(ff-EBM)を紹介する。 フィードフォワード部とエネルギーベース部でそれぞれ逆プロパゲーションと「eqプロパゲーション」することで、FF-EBMの勾配をエンドツーエンドに計算する新しいアルゴリズムを導出する。 我々のアプローチは、自己学習可能なアナログ計算プリミティブを既存のデジタルアクセラレータに徐々に統合する、原則的でスケーラブルで漸進的なロードマップを提供する。
  論文  参考訳（メタデータ） (2024-09-05T07:22:19Z)
• Comparative Study of State-based Neural Networks for Virtual Analog Audio Effects Modeling [0.0]
  仮想アナログモデリングにおける最近の機械学習の応用について検討する。 我々は、ステートスペースモデルと線形リカレントユニットを、より一般的なLSTMネットワークと比較する。 我々の測定基準は、信号のエネルギーと周波数を正確に再現するモデルの能力を評価することを目的としている。
  論文  参考訳（メタデータ） (2024-05-07T08:47:40Z)
• Synaptogen: A cross-domain generative device model for large-scale neuromorphic circuit design [1.704443882665726]
  実世界のデバイスの複雑な統計特性を再現する抵抗記憶のための高速な生成モデリング手法を提案する。 統合された1T1Rアレイの広範な測定データをトレーニングすることにより、自己回帰プロセスはパラメータ間の相互相関を正確に考慮する。 ベンチマークでは、この統計的に包括的なモデルがスループットを、さらに単純化され決定論的にコンパクトなモデルよりも上回っていることが示されている。
  論文  参考訳（メタデータ） (2024-04-09T14:33:03Z)
• AnalogNAS: A Neural Network Design Framework for Accurate Inference with Analog In-Memory Computing [7.596833322764203]
  エッジでの推論は低レイテンシ、コンパクト、電力効率のモデルを必要とする。 アナログ/混合信号インメモリコンピューティングハードウェアアクセラレータは、フォン・ノイマンアーキテクチャのメモリ壁を簡単に超越することができる。 本稿では,アナログインメモリコンピューティング(IMC)推論アクセラレータをターゲットとした,DNN(Deep Neural Network)自動設計のためのフレームワークであるAnalogNASを提案する。
  論文  参考訳（メタデータ） (2023-05-17T07:39:14Z)
• Automated and Formal Synthesis of Neural Barrier Certificates for Dynamical Models [70.70479436076238]
  バリア証明書(BC)の自動的,形式的,反例に基づく合成手法を提案する。 このアプローチは、ニューラルネットワークとして構造化されたBCの候補を操作する誘導的フレームワークと、その候補の有効性を認証するか、反例を生成する音検証器によって支えられている。 その結果,音のBCsを最大2桁の速度で合成できることがわかった。
  論文  参考訳（メタデータ） (2020-07-07T07:39:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。