論文の概要: SDiT: Spiking Diffusion Model with Transformer

• arxiv url: http://arxiv.org/abs/2402.11588v1
• Date: Sun, 18 Feb 2024 13:42:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-20 20:07:01.603267
• Title: SDiT: Spiking Diffusion Model with Transformer
• Title（参考訳）: SDiT:トランスを用いたスパイキング拡散モデル
• Authors: Shu Yang, Hanzhi Ma, Chengting Yu, Aili Wang, Er-Ping Li
• Abstract要約: スパイキングニューラルネットワーク(SNN)は消費電力が低く、生物解釈可能な特性を持つ。 我々は、主流拡散モデルにおいてよく使われるU-net構造を置き換えるためにトランスフォーマーを利用する。 比較的低い計算コストと短いサンプリング時間で高品質な画像を生成することができる。
• 参考スコア（独自算出の注目度）: 1.7630597106970465
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spiking neural networks (SNNs) have low power consumption and bio-interpretable characteristics, and are considered to have tremendous potential for energy-efficient computing. However, the exploration of SNNs on image generation tasks remains very limited, and a unified and effective structure for SNN-based generative models has yet to be proposed. In this paper, we explore a novel diffusion model architecture within spiking neural networks. We utilize transformer to replace the commonly used U-net structure in mainstream diffusion models. It can generate higher quality images with relatively lower computational cost and shorter sampling time. It aims to provide an empirical baseline for research of generative models based on SNNs. Experiments on MNIST, Fashion-MNIST, and CIFAR-10 datasets demonstrate that our work is highly competitive compared to existing SNN generative models.
• Abstract（参考訳）: スパイキングニューラルネットワーク (snn) は消費電力が低く, バイオコンタプリタブルな特性を有しており, エネルギー効率の高いコンピューティングの可能性を秘めていると考えられている。 しかし、画像生成タスクにおけるSNNの探索は非常に限定的であり、SNNベースの生成モデルに対する統一的で効果的な構造はまだ提案されていない。 本稿では,スパイクニューラルネットワークにおける新しい拡散モデルアーキテクチャについて検討する。 我々は、主流拡散モデルにおいてよく使われるU-net構造を置き換えるためにトランスフォーマーを利用する。 比較的低い計算コストと短いサンプリング時間で高品質な画像を生成することができる。 SNNに基づく生成モデルの研究のための経験的ベースラインの提供を目的としている。 MNIST、Fashion-MNIST、CIFAR-10データセットの実験は、既存のSNN生成モデルと比較して、我々の研究が非常に競合していることを示している。

関連論文リスト

• Scalable Mechanistic Neural Networks [52.28945097811129]
  長い時間的シーケンスを含む科学機械学習応用のための拡張ニューラルネットワークフレームワークを提案する。 元のメカニスティックニューラルネットワーク (MNN) を再構成することにより、計算時間と空間の複雑さを、それぞれ、列長に関して立方体と二次体から線形へと減少させる。 大規模な実験により、S-MNNは元のMNNと精度で一致し、計算資源を大幅に削減した。
  論文  参考訳（メタデータ） (2024-10-08T14:27:28Z)
• Spiking Diffusion Models [9.90242879469799]
  スパイキングニューラルネットワーク(SNN)は、その超低エネルギー消費と高い生物学的確率で注目を集めている。 これらの特徴にもかかわらず、計算集約的な画像生成分野におけるSNNの適用はまだ検討中である。 エネルギー消費を大幅に削減した高品質なサンプルを生産するSNNベースの生成モデルの革新的ファミリであるSpking Diffusion Models (SDMs)を提案する。
  論文  参考訳（メタデータ） (2024-08-29T11:56:02Z)
• Towards Efficient Deployment of Hybrid SNNs on Neuromorphic and Edge AI Hardware [0.493599216374976]
  本稿では,ニューロモルフィックとエッジコンピューティングの相乗的ポテンシャルを考察し,動的視覚センサが捉えたデータ処理に適した多目的機械学習(ML)システムを構築する。 我々は、PyTorchとLavaフレームワークを使用して、スパイキングニューラルネットワーク(SNN)と人工ニューラルネットワーク(ANN)を混合してハイブリッドモデルを構築し、訓練する。
  論文  参考訳（メタデータ） (2024-07-11T17:40:39Z)
• Learning Long Sequences in Spiking Neural Networks [0.0]
  スパイキングニューラルネットワーク(SNN)は、エネルギー効率の高い計算を可能にするために、脳からインスピレーションを得ている。 トランスフォーマーの効率的な代替品に対する近年の関心は、状態空間モデル(SSM)と呼ばれる最先端の繰り返しアーキテクチャの台頭をもたらした。
  論文  参考訳（メタデータ） (2023-12-14T13:30:27Z)
• Fully Spiking Denoising Diffusion Implicit Models [61.32076130121347]
  スパイキングニューラルネットワーク(SNN)は、超高速のニューロモルフィックデバイス上で走る能力のため、かなりの注目を集めている。 本研究では,SNN内で拡散モデルを構築するために,拡散暗黙モデル (FSDDIM) を完全にスパイクする新しい手法を提案する。 提案手法は,最先端の完全スパイク生成モデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-12-04T09:07:09Z)
• Spiking Denoising Diffusion Probabilistic Models [11.018937744626387]
  スパイキングニューラルネットワーク(SNN)は、超低エネルギー消費と高い生物学的信頼性を有する。 そこで本研究では,SNN を用いた新しい生成モデルである Spking Denoising Diffusion Probabilistic Models (SDDPM) を提案する。 提案手法は,生成タスクの最先端化を実現し,他のSNNベース生成モデルよりも大幅に優れている。
  論文  参考訳（メタデータ） (2023-06-29T15:43:06Z)
• Spikformer: When Spiking Neural Network Meets Transformer [102.91330530210037]
  本稿では,スパイキングニューラルネットワーク(SNN)と自己認識機構という,生物学的にもっとも有効な2つの構造について考察する。 我々は、スパイキング・セルフ・アテンション(SSA)と、スパイキング・トランスフォーマー(Spikformer)という強力なフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-09-29T14:16:49Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Event-based Video Reconstruction via Potential-assisted Spiking Neural Network [48.88510552931186]
  バイオインスパイアされたニューラルネットワークは、イベント駆動ハードウェア上での計算効率の向上につながる可能性がある。 完全スパイキングニューラルネットワーク(EVSNN)に基づくイベントベースビデオ再構成フレームワークを提案する。 スパイクニューロンは、そのような時間依存タスクを完了させるために有用な時間情報(メモリ)を格納する可能性がある。
  論文  参考訳（メタデータ） (2022-01-25T02:05:20Z)
• Fully Spiking Variational Autoencoder [66.58310094608002]
  スパイキングニューラルネットワーク(SNN)は、超高速で超低エネルギー消費のニューロモルフィックデバイス上で動作することができる。 本研究では,SNNを用いた可変オートエンコーダ(VAE)を構築し,画像生成を実現する。
  論文  参考訳（メタデータ） (2021-09-26T06:10:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。