論文の概要: Towards training digitally-tied analog blocks via hybrid gradient computation
- arxiv url: http://arxiv.org/abs/2409.03306v1
- Date: Thu, 5 Sep 2024 07:22:19 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-06 21:30:40.439742
- Title: Towards training digitally-tied analog blocks via hybrid gradient computation
- Title（参考訳）: ハイブリッド勾配計算によるデジタル型アナログブロックの学習に向けて
- Authors: Timothy Nest, Maxence Ernoult,
- Abstract要約: フィードフォワード型エネルギーベースモデル(ff-EBM)を紹介する。
フィードフォワード部とエネルギーベース部でそれぞれ逆プロパゲーションと「eqプロパゲーション」することで、FF-EBMの勾配をエンドツーエンドに計算する新しいアルゴリズムを導出する。
我々のアプローチは、自己学習可能なアナログ計算プリミティブを既存のデジタルアクセラレータに徐々に統合する、原則的でスケーラブルで漸進的なロードマップを提供する。
- 参考スコア（独自算出の注目度）: 1.800676987432211
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Power efficiency is plateauing in the standard digital electronics realm such that novel hardware, models, and algorithms are needed to reduce the costs of AI training. The combination of energy-based analog circuits and the Equilibrium Propagation (EP) algorithm constitutes one compelling alternative compute paradigm for gradient-based optimization of neural nets. Existing analog hardware accelerators, however, typically incorporate digital circuitry to sustain auxiliary non-weight-stationary operations, mitigate analog device imperfections, and leverage existing digital accelerators.This heterogeneous hardware approach calls for a new theoretical model building block. In this work, we introduce Feedforward-tied Energy-based Models (ff-EBMs), a hybrid model comprising feedforward and energy-based blocks accounting for digital and analog circuits. We derive a novel algorithm to compute gradients end-to-end in ff-EBMs by backpropagating and "eq-propagating" through feedforward and energy-based parts respectively, enabling EP to be applied to much more flexible and realistic architectures. We experimentally demonstrate the effectiveness of the proposed approach on ff-EBMs where Deep Hopfield Networks (DHNs) are used as energy-based blocks. We first show that a standard DHN can be arbitrarily split into any uniform size while maintaining performance. We then train ff-EBMs on ImageNet32 where we establish new SOTA performance in the EP literature (46 top-1 %). Our approach offers a principled, scalable, and incremental roadmap to gradually integrate self-trainable analog computational primitives into existing digital accelerators.
- Abstract（参考訳）: 電力効率は、AIトレーニングのコストを削減するために、新しいハードウェア、モデル、アルゴリズムを必要とするような、標準的なデジタルエレクトロニクス領域で高められている。
エネルギーベースのアナログ回路とEquilibrium Propagation (EP)アルゴリズムの組み合わせは、ニューラルネットワークの勾配に基づく最適化のための、魅力的な代替計算パラダイムとなっている。
しかし、既存のアナログハードウェアアクセラレータは、通常、デジタル回路を組み込んで、補助的な非定常動作を維持し、アナログデバイス欠陥を緩和し、既存のデジタルアクセラレーションを活用する。
本稿では,フィードフォワードとエネルギーベースブロックを組み合わせたハイブリッドモデルであるFeedforward-tied Energy-based Models (ff-EBMs)を紹介する。
フィードフォワードとエネルギーベースのパーツをそれぞれバックプロパゲートし、eqプロパゲートし、EPをより柔軟でリアルなアーキテクチャに適用することで、FF-EBMのエンドツーエンド勾配を計算する新しいアルゴリズムを導出する。
本稿では,Deep Hopfield Networks (DHN) をエネルギーベースブロックとして利用する ff-EBM に対する提案手法の有効性を実験的に示す。
まず、標準DHNを任意の均一なサイズに任意に分割し、性能を維持できることを示す。
次に、ImageNet32でff-EBMをトレーニングし、EP文学(46 Top-1 %)で新しいSOTAパフォーマンスを確立します。
我々のアプローチは、自己学習可能なアナログ計算プリミティブを既存のデジタルアクセラレータに徐々に統合する、原則的でスケーラブルで漸進的なロードマップを提供する。
関連論文リスト
- A Unified Approach for Learning the Dynamics of Power System Generators and Inverter-based Resources [12.723995633698514]
再生可能エネルギーの統合と電気化のためのインバータベースの資源(IBR)は、電力系統の動的解析に大きく挑戦する。
同期ジェネレータ(SG)とIRBの両方を考慮するため、この研究は個々の動的コンポーネントのモデルを学ぶためのアプローチを示す。
論文 参考訳（メタデータ） (2024-09-22T14:07:10Z) - Sustainable Diffusion-based Incentive Mechanism for Generative AI-driven Digital Twins in Industrial Cyber-Physical Systems [65.22300383287904]
産業用サイバー物理システム(ICPS)は、現代の製造業と産業にとって不可欠なコンポーネントである。
製品ライフサイクルを通じてデータをデジタル化することで、ICPSのDigital Twins(DT)は、現在の産業インフラからインテリジェントで適応的なインフラへの移行を可能にします。
産業用IoT(Industrial Internet of Things, IIoT)デバイスを利用すれば、DTを構築するためのデータを共有するメカニズムは、悪い選択問題の影響を受けやすい。
論文 参考訳（メタデータ） (2024-08-02T10:47:10Z) - EKGNet: A 10.96{\mu}W Fully Analog Neural Network for Intra-Patient
Arrhythmia Classification [79.7946379395238]
心電図不整脈分類におけるアナログ計算と深層学習を組み合わせた統合的アプローチを提案する。
本稿では,低消費電力で高精度にアーカイブするハードウェア効率と完全アナログ不整脈分類アーキテクチャであるEKGNetを提案する。
論文 参考訳（メタデータ） (2023-10-24T02:37:49Z) - Energy Efficient Hardware Acceleration of Neural Networks with
Power-of-Two Quantisation [0.0]
我々は、Zynq UltraScale + MPSoC ZCU104 FPGA上に実装されたPoT重みを持つハードウェアニューラルネットワークアクセラレーターが、均一量子化バージョンよりも少なくとも1.4x$のエネルギー効率を持つことを示す。
論文 参考訳（メタデータ） (2022-09-30T06:33:40Z) - Decomposition of Matrix Product States into Shallow Quantum Circuits [62.5210028594015]
テンソルネットワーク(TN)アルゴリズムは、パラメタライズド量子回路(PQC)にマッピングできる
本稿では,現実的な量子回路を用いてTN状態を近似する新しいプロトコルを提案する。
その結果、量子回路の逐次的な成長と最適化を含む1つの特定のプロトコルが、他の全ての手法より優れていることが明らかとなった。
論文 参考訳（メタデータ） (2022-09-01T17:08:41Z) - Pretraining Graph Neural Networks for few-shot Analog Circuit Modeling
and Design [68.1682448368636]
本稿では、新しい未知のトポロジや未知の予測タスクに適応可能な回路表現を学習するための教師付き事前学習手法を提案する。
異なる回路の変動位相構造に対処するため、各回路をグラフとして記述し、グラフニューラルネットワーク(GNN)を用いてノード埋め込みを学習する。
出力ノード電圧の予測における事前学習GNNは、新しい未知のトポロジや新しい回路レベル特性の予測に適応可能な学習表現を促進することができることを示す。
論文 参考訳（メタデータ） (2022-03-29T21:18:47Z) - Neural Network Training with Asymmetric Crosspoint Elements [1.0773924713784704]
実用的な抵抗装置の非対称コンダクタンス変調は、従来のアルゴリズムで訓練されたネットワークの分類を著しく劣化させる。
ここでは、ハミルトニアン Descent という代替の完全並列トレーニングアルゴリズムを記述し、実験的に示す。
我々は、なぜデバイス非対称性が従来のトレーニングアルゴリズムと根本的に相容れないのか、新しいアプローチがどのようにそれを有用な機能として利用するのか、という批判的な直感を提供する。
論文 参考訳（メタデータ） (2022-01-31T17:41:36Z) - Prospects for Analog Circuits in Deep Networks [14.280112591737199]
機械学習のal-gorithmで一般的に使用される操作は、コンパクトアナログ回路で実装することができる。
近年のディープラーニングアルゴリズムの進歩により、ハードウェア・デジタル・アクセラレーターの設計に焦点が移った。
本稿では,様々な機械学習アルゴリズムを実装したアナログ設計について概説する。
論文 参考訳（メタデータ） (2021-06-23T14:49:21Z) - Adaptive pruning-based optimization of parameterized quantum circuits [62.997667081978825]
Variisyハイブリッド量子古典アルゴリズムは、ノイズ中間量子デバイスの使用を最大化する強力なツールである。
我々は、変分量子アルゴリズムで使用されるそのようなアンサーゼを「効率的な回路訓練」(PECT)と呼ぶ戦略を提案する。
すべてのアンサッツパラメータを一度に最適化する代わりに、PECTは一連の変分アルゴリズムを起動する。
論文 参考訳（メタデータ） (2020-10-01T18:14:11Z) - Training End-to-End Analog Neural Networks with Equilibrium Propagation [64.0476282000118]
本稿では,勾配降下による終端から終端までのアナログニューラルネットワークの学習法を提案する。
数学的には、アナログニューラルネットワークのクラス(非線形抵抗性ネットワークと呼ばれる)がエネルギーベースモデルであることが示される。
我々の研究は、オンチップ学習をサポートする、超高速でコンパクトで低消費電力のニューラルネットワークの新世代の開発を導くことができる。
論文 参考訳（メタデータ） (2020-06-02T23:38:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。