論文の概要: Spiking-Diffusion: Vector Quantized Discrete Diffusion Model with Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2308.10187v4
• Date: Fri, 22 Sep 2023 02:19:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-25 18:02:14.298612
• Title: Spiking-Diffusion: Vector Quantized Discrete Diffusion Model with Spiking Neural Networks
• Title（参考訳）: スパイキング拡散:スパイキングニューラルネットワークを用いたベクトル量子離散拡散モデル
• Authors: Mingxuan Liu, Jie Gan, Rui Wen, Tao Li, Yongli Chen, and Hong Chen
• Abstract要約: スパイキングニューラルネットワーク(SNN)は、エネルギー効率のよいニューロモルフィックチップにとって大きな可能性を秘めている。 本稿では,ベクトル量子化離散拡散モデルに基づくスパイキング拡散モデルを提案する。 MNIST、FMNIST、KMNIST、Leters、Cifar10の実験結果は、スパイキング拡散が既存のSNNベースの生成モデルより優れていることを示している。
• 参考スコア（独自算出の注目度）: 13.586012318909907
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spiking neural networks (SNNs) have tremendous potential for energy-efficient neuromorphic chips due to their binary and event-driven architecture. SNNs have been primarily used in classification tasks, but limited exploration on image generation tasks. To fill the gap, we propose a Spiking-Diffusion model, which is based on the vector quantized discrete diffusion model. First, we develop a vector quantized variational autoencoder with SNNs (VQ-SVAE) to learn a discrete latent space for images. In VQ-SVAE, image features are encoded using both the spike firing rate and postsynaptic potential, and an adaptive spike generator is designed to restore embedding features in the form of spike trains. Next, we perform absorbing state diffusion in the discrete latent space and construct a spiking diffusion image decoder (SDID) with SNNs to denoise the image. Our work is the first to build the diffusion model entirely from SNN layers. Experimental results on MNIST, FMNIST, KMNIST, Letters, and Cifar10 demonstrate that Spiking-Diffusion outperforms the existing SNN-based generation model. We achieve FIDs of 37.50, 91.98, 59.23, 67.41, and 120.5 on the above datasets respectively, with reductions of 58.60\%, 18.75\%, 64.51\%, 29.75\%, and 44.88\% in FIDs compared with the state-of-art work. Our code will be available at \url{https://github.com/Arktis2022/Spiking-Diffusion}.
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、そのバイナリとイベント駆動アーキテクチャにより、エネルギー効率のよいニューロモルフィックチップに多大な可能性を持っている。 SNNは主に分類タスクで使用されているが、画像生成タスクの探索は限られている。 このギャップを埋めるために,ベクトル量子化離散拡散モデルに基づくスパイキング拡散モデルを提案する。 まず,SNN(VQ-SVAE)を用いたベクトル量子化変分オートエンコーダを開発し,画像の離散潜在空間を学習する。 VQ-SVAEでは、画像特徴はスパイク発火速度とシナプス後電位の両方を用いて符号化され、適応スパイク発生器はスパイク列車の形で埋め込み特徴を復元するように設計されている。 次に、離散潜在空間における吸収状態拡散を行い、SNNで拡散拡散画像デコーダ(SDID)を構築する。 私たちの仕事は、SNN層から完全に拡散モデルを構築する最初のものです。 MNIST、FMNIST、KMNIST、Leters、Cifar10の実験結果は、スパイキング拡散が既存のSNNベースの生成モデルより優れていることを示している。 上記のデータセット上で37.50, 91.98, 59.23, 67.41, 120.5のfidをそれぞれ達成し, 58.60\%, 18.75\%, 64.51\%, 29.75\%, 44.88\%の削減を行った。 私たちのコードは \url{https://github.com/Arktis2022/Spiking-Diffusion} で公開されます。

関連論文リスト

• Integer-Valued Training and Spike-Driven Inference Spiking Neural Network for High-performance and Energy-efficient Object Detection [15.154553304520164]
  スパイキングニューラルネットワーク(SNN)は、ニューラルネットワーク(ANN)に対するバイオプラウと低消費電力のアドバンテージを持つ 本研究では,オブジェクト検出におけるANNとSNNのパフォーマンスギャップを埋めることに焦点を当てる。 我々は,バニラYOLOを単純化し,メタSNNブロックを組み込むことで,この問題を解決するためにSpikeYOLOアーキテクチャを設計する。
  論文  参考訳（メタデータ） (2024-07-30T10:04:16Z)
• SDiT: Spiking Diffusion Model with Transformer [1.7630597106970465]
  スパイキングニューラルネットワーク(SNN)は消費電力が低く、生物解釈可能な特性を持つ。 我々は、主流拡散モデルにおいてよく使われるU-net構造を置き換えるためにトランスフォーマーを利用する。 比較的低い計算コストと短いサンプリング時間で高品質な画像を生成することができる。
  論文  参考訳（メタデータ） (2024-02-18T13:42:11Z)
• Fully Spiking Actor Network with Intra-layer Connections for Reinforcement Learning [51.386945803485084]
  エージェントが制御する多次元決定論的ポリシーを学習する必要があるタスクに焦点をあてる。 既存のスパイクベースのRL法は、SNNの出力として発火率を取り、完全に接続された層を通して連続的なアクション空間(つまり決定論的なポリシー)を表すように変換する。 浮動小数点行列操作を伴わない完全にスパイクするアクターネットワークを開発するため,昆虫に見られる非スパイク介在ニューロンからインスピレーションを得た。
  論文  参考訳（メタデータ） (2024-01-09T07:31:34Z)
• Fully Spiking Denoising Diffusion Implicit Models [61.32076130121347]
  スパイキングニューラルネットワーク(SNN)は、超高速のニューロモルフィックデバイス上で走る能力のため、かなりの注目を集めている。 本研究では,SNN内で拡散モデルを構築するために,拡散暗黙モデル (FSDDIM) を完全にスパイクする新しい手法を提案する。 提案手法は,最先端の完全スパイク生成モデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-12-04T09:07:09Z)
• ESVAE: An Efficient Spiking Variational Autoencoder with Reparameterizable Poisson Spiking Sampling [20.36674120648714]
  可変オートエンコーダ(VAE)は、最も人気のある画像生成モデルの一つである。 現在のVAE法は、精巧な自己回帰ネットワークによって潜在空間を暗黙的に構築する。 本稿では,解釈可能な潜在空間分布を構成する効率的なスパイキング変分オートエンコーダ(ESVAE)を提案する。
  論文  参考訳（メタデータ） (2023-10-23T12:01:10Z)
• Deep Multi-Threshold Spiking-UNet for Image Processing [51.88730892920031]
  本稿では,SNN(Spike Neural Networks)とU-Netアーキテクチャを組み合わせた,画像処理のためのスパイキング-UNetの概念を紹介する。 効率的なスパイキング-UNetを実現するためには,スパイクによる高忠実度情報伝播の確保と,効果的なトレーニング戦略の策定という2つの課題に直面する。 実験の結果,画像のセグメンテーションとデノイングにおいて,スパイキングUNetは非スパイキングと同等の性能を発揮することがわかった。
  論文  参考訳（メタデータ） (2023-07-20T16:00:19Z)
• Spikingformer: Spike-driven Residual Learning for Transformer-based Spiking Neural Network [19.932683405796126]
  スパイキングニューラルネットワーク(SNN)は、人工ニューラルネットワークに代わる有望なエネルギー効率の代替手段を提供する。 SNNは、残余接続の構造によって引き起こされる非スパイク計算に悩まされる。 我々は、純粋なトランスをベースとしたスパイクニューラルネットワークであるSpkingformerを開発した。
  論文  参考訳（メタデータ） (2023-04-24T09:44:24Z)
• Spikformer: When Spiking Neural Network Meets Transformer [102.91330530210037]
  本稿では,スパイキングニューラルネットワーク(SNN)と自己認識機構という,生物学的にもっとも有効な2つの構造について考察する。 我々は、スパイキング・セルフ・アテンション(SSA)と、スパイキング・トランスフォーマー(Spikformer)という強力なフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-09-29T14:16:49Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Fully Spiking Variational Autoencoder [66.58310094608002]
  スパイキングニューラルネットワーク(SNN)は、超高速で超低エネルギー消費のニューロモルフィックデバイス上で動作することができる。 本研究では,SNNを用いた可変オートエンコーダ(VAE)を構築し,画像生成を実現する。
  論文  参考訳（メタデータ） (2021-09-26T06:10:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。