論文の概要: Fully Spiking Denoising Diffusion Implicit Models
- arxiv url: http://arxiv.org/abs/2312.01742v1
- Date: Mon, 4 Dec 2023 09:07:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-05 15:38:33.573129
- Title: Fully Spiking Denoising Diffusion Implicit Models
- Title（参考訳）: 拡散インシシデントモデルによる完全スパイク
- Authors: Ryo Watanabe, Yusuke Mukuta and Tatsuya Harada
- Abstract要約: スパイキングニューラルネットワーク(SNN)は、超高速のニューロモルフィックデバイス上で走る能力のため、かなりの注目を集めている。
本研究では,SNN内で拡散モデルを構築するために,拡散暗黙モデル (FSDDIM) を完全にスパイクする新しい手法を提案する。
提案手法は,最先端の完全スパイク生成モデルよりも優れていることを示す。
- 参考スコア（独自算出の注目度）: 61.32076130121347
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spiking neural networks (SNNs) have garnered considerable attention owing to
their ability to run on neuromorphic devices with super-high speeds and
remarkable energy efficiencies. SNNs can be used in conventional neural
network-based time- and energy-consuming applications. However, research on
generative models within SNNs remains limited, despite their advantages. In
particular, diffusion models are a powerful class of generative models, whose
image generation quality surpass that of the other generative models, such as
GANs. However, diffusion models are characterized by high computational costs
and long inference times owing to their iterative denoising feature. Therefore,
we propose a novel approach fully spiking denoising diffusion implicit model
(FSDDIM) to construct a diffusion model within SNNs and leverage the high speed
and low energy consumption features of SNNs via synaptic current learning
(SCL). SCL fills the gap in that diffusion models use a neural network to
estimate real-valued parameters of a predefined probabilistic distribution,
whereas SNNs output binary spike trains. The SCL enables us to complete the
entire generative process of diffusion models exclusively using SNNs. We
demonstrate that the proposed method outperforms the state-of-the-art fully
spiking generative model.
- Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、超高速でエネルギー効率の優れたニューロモルフィックデバイス上で走る能力のため、かなりの注目を集めている。
snnは、従来のニューラルネットワークベースの時間とエネルギー消費アプリケーションで使用できる。
しかし、その利点にもかかわらず、sns内の生成モデルの研究は限られている。
特に、拡散モデルは生成モデルの強力なクラスであり、その画像生成品質はgansのような他の生成モデルよりも優れている。
しかし,拡散モデルの特徴は,高い計算コストと,反復的 denoising 特徴による長推論時間である。
そこで本研究では,SNN内の拡散モデルを構築し,シナプス電流学習(SCL)によるSNNの高速・低エネルギー消費特性を活用するために,拡散暗黙モデル(FSDDIM)を完全スパイクする手法を提案する。
sclは拡散モデルがニューラルネットワークを使って事前定義された確率分布の実数値パラメータを推定するのに対し、snsは二元スパイク列を出力するというギャップを埋める。
SCLはSNNのみを用いて拡散モデルの生成過程全体を完遂することを可能にする。
提案手法が最先端の完全スパイク生成モデルよりも優れていることを示す。
関連論文リスト
- Spiking Diffusion Models [9.90242879469799]
スパイキングニューラルネットワーク(SNN)は、その超低エネルギー消費と高い生物学的確率で注目を集めている。
これらの特徴にもかかわらず、計算集約的な画像生成分野におけるSNNの適用はまだ検討中である。
エネルギー消費を大幅に削減した高品質なサンプルを生産するSNNベースの生成モデルの革新的ファミリであるSpking Diffusion Models (SDMs)を提案する。
論文 参考訳（メタデータ） (2024-08-29T11:56:02Z) - Neural Network Parameter Diffusion [50.85251415173792]
拡散モデルは画像生成やビデオ生成において顕著な成功を収めた。
本研究は拡散モデルにも適用可能であることを示す。
高性能なニューラルネットワークパラメータを生成する。
論文 参考訳（メタデータ） (2024-02-20T16:59:03Z) - SDiT: Spiking Diffusion Model with Transformer [1.7630597106970465]
スパイキングニューラルネットワーク(SNN)は消費電力が低く、生物解釈可能な特性を持つ。
我々は、主流拡散モデルにおいてよく使われるU-net構造を置き換えるためにトランスフォーマーを利用する。
比較的低い計算コストと短いサンプリング時間で高品質な画像を生成することができる。
論文 参考訳（メタデータ） (2024-02-18T13:42:11Z) - Unleashing the Potential of Spiking Neural Networks for Sequential
Modeling with Contextual Embedding [32.25788551849627]
脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、長期的な時間的関係をモデル化する上で、生物学的に競合するものと一致しようと苦労してきた。
本稿では,新しい文脈埋め込みLeaky Integrate-and-Fire(CE-LIF)スパイキングニューロンモデルを提案する。
論文 参考訳（メタデータ） (2023-08-29T09:33:10Z) - Spiking Denoising Diffusion Probabilistic Models [11.018937744626387]
スパイキングニューラルネットワーク(SNN)は、超低エネルギー消費と高い生物学的信頼性を有する。
そこで本研究では,SNN を用いた新しい生成モデルである Spking Denoising Diffusion Probabilistic Models (SDDPM) を提案する。
提案手法は,生成タスクの最先端化を実現し,他のSNNベース生成モデルよりも大幅に優れている。
論文 参考訳（メタデータ） (2023-06-29T15:43:06Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳（メタデータ） (2023-06-04T08:53:27Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳（メタデータ） (2022-05-01T12:44:49Z) - EINNs: Epidemiologically-Informed Neural Networks [75.34199997857341]
本稿では,疫病予測のための新しい物理インフォームドニューラルネットワークEINNを紹介する。
メカニスティックモデルによって提供される理論的柔軟性と、AIモデルによって提供されるデータ駆動表現性の両方を活用する方法について検討する。
論文 参考訳（メタデータ） (2022-02-21T18:59:03Z) - Exploiting Spiking Dynamics with Spatial-temporal Feature Normalization
in Graph Learning [9.88508686848173]
内在的なダイナミクスを持つ生物学的スパイキングニューロンは、脳の強力な表現力と学習能力を持つ。
ユークリッド空間タスクを処理するためのスパイクニューラルネットワーク(SNN)の最近の進歩にもかかわらず、非ユークリッド空間データの処理においてSNNを活用することは依然として困難である。
本稿では,グラフ学習のためのSNNの直接学習を可能にする,一般的なスパイクに基づくモデリングフレームワークを提案する。
論文 参考訳（メタデータ） (2021-06-30T11:20:16Z) - Sparse Flows: Pruning Continuous-depth Models [107.98191032466544]
生成モデルにおいて,プルーニングによりニューラルネットワークの一般化が向上することを示す。
また、プルーニングは、元のネットワークに比べて最大98%少ないパラメータで、精度を損なうことなく、最小かつ効率的なニューラルODE表現を見出すことを示した。
論文 参考訳（メタデータ） (2021-06-24T01:40:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。