論文の概要: Resistive Memory-based Neural Differential Equation Solver for Score-based Diffusion Model

• arxiv url: http://arxiv.org/abs/2404.05648v1
• Date: Mon, 8 Apr 2024 16:34:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-09 13:45:54.559796
• Title: Resistive Memory-based Neural Differential Equation Solver for Score-based Diffusion Model
• Title（参考訳）: スコアベース拡散モデルのための抵抗記憶に基づくニューラル微分方程式解法
• Authors: Jichang Yang, Hegan Chen, Jia Chen, Songqi Wang, Shaocong Wang, Yifei Yu, Xi Chen, Bo Wang, Xinyuan Zhang, Binbin Cui, Yi Li, Ning Lin, Meng Xu, Yi Li, Xiaoxin Xu, Xiaojuan Qi, Zhongrui Wang, Xumeng Zhang, Dashan Shang, Han Wang, Qi Liu, Kwang-Ting Cheng, Ming Liu,
• Abstract要約: スコアベースの拡散のような現在のAIGC法は、迅速性と効率性の点で依然として不足している。 スコアベース拡散のための時間連続型およびアナログ型インメモリ型ニューラル微分方程式解法を提案する。 我々は180nmの抵抗型メモリインメモリ・コンピューティング・マクロを用いて,我々の解を実験的に検証した。
• 参考スコア（独自算出の注目度）: 55.116403765330084
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Human brains image complicated scenes when reading a novel. Replicating this imagination is one of the ultimate goals of AI-Generated Content (AIGC). However, current AIGC methods, such as score-based diffusion, are still deficient in terms of rapidity and efficiency. This deficiency is rooted in the difference between the brain and digital computers. Digital computers have physically separated storage and processing units, resulting in frequent data transfers during iterative calculations, incurring large time and energy overheads. This issue is further intensified by the conversion of inherently continuous and analog generation dynamics, which can be formulated by neural differential equations, into discrete and digital operations. Inspired by the brain, we propose a time-continuous and analog in-memory neural differential equation solver for score-based diffusion, employing emerging resistive memory. The integration of storage and computation within resistive memory synapses surmount the von Neumann bottleneck, benefiting the generative speed and energy efficiency. The closed-loop feedback integrator is time-continuous, analog, and compact, physically implementing an infinite-depth neural network. Moreover, the software-hardware co-design is intrinsically robust to analog noise. We experimentally validate our solution with 180 nm resistive memory in-memory computing macros. Demonstrating equivalent generative quality to the software baseline, our system achieved remarkable enhancements in generative speed for both unconditional and conditional generation tasks, by factors of 64.8 and 156.5, respectively. Moreover, it accomplished reductions in energy consumption by factors of 5.2 and 4.1. Our approach heralds a new horizon for hardware solutions in edge computing for generative AI applications.
• Abstract（参考訳）: 人間の脳は小説を読むときに複雑なシーンをイメージします。 この想像を再現することは、AIGC(AI-Generated Content)の最終的な目標の1つです。 しかし、スコアベースの拡散のような現在のAIGC法は、迅速性と効率性の点で依然として不足している。 この欠損は、脳とデジタルコンピュータの違いに根ざしている。 デジタルコンピュータは物理的にストレージと処理ユニットを分離しており、反復計算中に頻繁にデータ転送が行われ、大きな時間とエネルギーのオーバーヘッドが発生する。 この問題は、神経微分方程式で定式化できる固有連続およびアナログ生成ダイナミクスを離散およびデジタル演算に変換することによってさらに強化される。 脳にインスパイアされた我々は、新しい抵抗性メモリを用いて、スコアベース拡散のための時間連続・アナログ型インメモリ微分方程式解法を提案する。 抵抗性メモリシナプス内の記憶と計算の統合はフォン・ノイマンのボトルネックを克服し、生成速度とエネルギー効率の恩恵を受ける。 閉ループフィードバックインテグレータは、時間連続的でアナログ的でコンパクトで、無限深度ニューラルネットワークを物理的に実装する。 さらに、ソフトウェア・ハードウェアの共同設計はアナログノイズに対して本質的に堅牢である。 我々は180nmの抵抗型メモリインメモリ・コンピューティング・マクロを用いて,我々の解を実験的に検証した。 ソフトウェアベースラインに等価な生成品質を実証し,64.8因子と156.5因子により,条件付きおよび条件付きの両方で生成速度を著しく向上させた。 さらに、エネルギー消費を5.2と4.1の要因で削減した。 我々のアプローチは、生成AIアプリケーションのためのエッジコンピューティングにおけるハードウェアソリューションの新たな地平を示唆している。

関連論文リスト

• Topology Optimization of Random Memristors for Input-Aware Dynamic SNN [44.38472635536787]
  入力対応動的旋回型スパイクニューラルネットワーク(PRIME)のプルーニング最適化について紹介する。 信号表現の面では、PRIMEは脳固有のスパイキング機構をエミュレートするために、漏れやすい統合と発火のニューロンを使用する。 計算深度の動的調整にインスパイアされた再構成性のために、PRIMEは入力対応の動的早期停止ポリシーを採用している。
  論文  参考訳（メタデータ） (2024-07-26T09:35:02Z)
• Voltage-Controlled Magnetoelectric Devices for Neuromorphic Diffusion Process [16.157882920146324]
  我々は、ニューロモルフィック拡散プロセスのためのスピントロニック電圧制御磁気メモリハードウェアを開発した。 磁気メモリの非揮発性により,高速かつ低コストな計算が可能となる。
  論文  参考訳（メタデータ） (2024-07-17T02:14:22Z)
• Efficient and accurate neural field reconstruction using resistive memory [52.68088466453264]
  デジタルコンピュータにおける従来の信号再構成手法は、ソフトウェアとハードウェアの両方の課題に直面している。 本稿では,スパース入力からの信号再構成のためのソフトウェア・ハードウェア協調最適化を用いた体系的アプローチを提案する。 この研究は、AI駆動の信号復元技術を進歩させ、将来の効率的で堅牢な医療AIと3Dビジョンアプリケーションへの道を開く。
  論文  参考訳（メタデータ） (2024-04-15T09:33:09Z)
• Random resistive memory-based deep extreme point learning machine for unified visual processing [67.51600474104171]
  ハードウェア・ソフトウェア共同設計型, ランダム抵抗型メモリベース深部極点学習マシン(DEPLM)を提案する。 我々の共同設計システムは,従来のシステムと比較して,エネルギー効率の大幅な向上とトレーニングコストの削減を実現している。
  論文  参考訳（メタデータ） (2023-12-14T09:46:16Z)
• Pruning random resistive memory for optimizing analogue AI [54.21621702814583]
  AIモデルは、エネルギー消費と環境持続可能性に前例のない課題を提示する。 有望な解決策の1つは、アナログコンピューティングを再考することである。 ここでは、構造的塑性に着想を得たエッジプルーニングを用いたユニバーサルソリューション、ソフトウェア・ハードウエアの共設計について報告する。
  論文  参考訳（メタデータ） (2023-11-13T08:59:01Z)
• Biologically Plausible Learning on Neuromorphic Hardware Architectures [27.138481022472]
  ニューロモルフィックコンピューティング(Neuromorphic Computing)は、アナログメモリの計算によってこの不均衡に直面している新興パラダイムである。 この研究は、異なる学習アルゴリズムがCompute-In-Memoryベースのハードウェアに与える影響を初めて比較し、その逆も行った。
  論文  参考訳（メタデータ） (2022-12-29T15:10:59Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• One-step regression and classification with crosspoint resistive memory arrays [62.997667081978825]
  高速で低エネルギーのコンピュータは、エッジでリアルタイム人工知能を実現するために要求されている。 ワンステップ学習は、ボストンの住宅のコスト予測と、MNIST桁認識のための2層ニューラルネットワークのトレーニングによって支援される。 結果は、クロスポイントアレイ内の物理計算、並列計算、アナログ計算のおかげで、1つの計算ステップで得られる。
  論文  参考訳（メタデータ） (2020-05-05T08:00:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。