論文の概要: Time Cell Inspired Temporal Codebook in Spiking Neural Networks for Enhanced Image Generation
- arxiv url: http://arxiv.org/abs/2405.14474v1
- Date: Thu, 23 May 2024 12:04:46 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-24 15:24:46.853967
- Title: Time Cell Inspired Temporal Codebook in Spiking Neural Networks for Enhanced Image Generation
- Title（参考訳）: 画像生成のためのスパイクニューラルネットワークにおける時間セルインスパイアされたテンポラルコードブック
- Authors: Linghao Feng, Dongcheng Zhao, Sicheng Shen, Yiting Dong, Guobin Shen, Yi Zeng,
- Abstract要約: 本稿では、スパイキングニューラルネットワーク(SNN)を利用した変分量子オートエンコーダ(VQ-VAE)の構築手法を提案する。
この設計は、時間的依存を捕捉し、利用し、SNNの生成能力を著しく向上させる。
提案手法は,高分解能かつ時間的整合性のあるデータ生成に優れ,SNNに基づく生成モデルにおける時間的情報の重要性を浮き彫りにする。
- 参考スコア（独自算出の注目度）: 5.764710042535229
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: This paper presents a novel approach leveraging Spiking Neural Networks (SNNs) to construct a Variational Quantized Autoencoder (VQ-VAE) with a temporal codebook inspired by hippocampal time cells. This design captures and utilizes temporal dependencies, significantly enhancing the generative capabilities of SNNs. Neuroscientific research has identified hippocampal "time cells" that fire sequentially during temporally structured experiences. Our temporal codebook emulates this behavior by triggering the activation of time cell populations based on similarity measures as input stimuli pass through it. We conducted extensive experiments on standard benchmark datasets, including MNIST, FashionMNIST, CIFAR10, CelebA, and downsampled LSUN Bedroom, to validate our model's performance. Furthermore, we evaluated the effectiveness of the temporal codebook on neuromorphic datasets NMNIST and DVS-CIFAR10, and demonstrated the model's capability with high-resolution datasets such as CelebA-HQ, LSUN Bedroom, and LSUN Church. The experimental results indicate that our method consistently outperforms existing SNN-based generative models across multiple datasets, achieving state-of-the-art performance. Notably, our approach excels in generating high-resolution and temporally consistent data, underscoring the crucial role of temporal information in SNN-based generative modeling.
- Abstract（参考訳）: 本稿では,海馬の時間細胞にインスパイアされた時間コードブックを用いた変動量子化オートエンコーダ(VQ-VAE)を構築するために,スパイキングニューラルネットワーク(SNN)を利用した新しいアプローチを提案する。
この設計は、時間的依存を捕捉し、利用し、SNNの生成能力を著しく向上させる。
神経科学的研究により、時間的に構造化された経験の中で連続的に発火する海馬の「時間細胞」が特定された。
我々の時間的コードブックは、入力刺激が通過するにつれて、類似性に基づく時間セルの活性化を誘発することにより、この挙動をエミュレートする。
我々は、MNIST、FashionMNIST、CIFAR10、CelebAなどの標準ベンチマークデータセットを広範囲に実験し、LSUNベッドルームをダウンサンプリングし、モデルの性能を検証した。
さらに,ニューロモルフィックデータセットNMNISTとDVS-CIFAR10に対する時間的コードブックの有効性を評価し,CelebA-HQ,LSUN Bedroom,LSUN Churchなどの高解像度データセットを用いてモデルの有効性を実証した。
実験結果から,本手法は複数のデータセットにまたがる既存のSNN生成モデルより一貫して優れており,最先端の性能を実現していることが示された。
特に,本手法は高分解能・時間整合性データの生成に優れ,SNNに基づく生成モデルにおける時間情報の重要性を浮き彫りにする。
関連論文リスト
- Towards Low-latency Event-based Visual Recognition with Hybrid Step-wise Distillation Spiking Neural Networks [50.32980443749865]
スパイキングニューラルネットワーク(SNN)は、低消費電力と高い生物性のために大きな注目を集めている。
現在のSNNは、ニューロモルフィックデータセットの正確性とレイテンシのバランスをとるのに苦労している。
ニューロモルフィックデータセットに適したステップワイド蒸留法(HSD)を提案する。
論文 参考訳（メタデータ） (2024-09-19T06:52:34Z) - P-SpikeSSM: Harnessing Probabilistic Spiking State Space Models for Long-Range Dependency Tasks [1.9775291915550175]
スパイキングニューラルネットワーク(SNN)は、従来のニューラルネットワークに代わる計算効率が高く生物学的に妥当な代替品として提案されている。
長距離依存タスクのためのスケーラブルな確率的スパイク学習フレームワークを開発した。
我々のモデルは、様々な長距離依存タスクにまたがるSNNモデル間の最先端性能を実現する。
論文 参考訳（メタデータ） (2024-06-05T04:23:11Z) - Efficient and Effective Time-Series Forecasting with Spiking Neural Networks [47.371024581669516]
スパイキングニューラルネットワーク(SNN)は、時間データの複雑さを捉えるためのユニークな経路を提供する。
SNNを時系列予測に適用することは、効果的な時間的アライメントの難しさ、符号化プロセスの複雑さ、およびモデル選択のための標準化されたガイドラインの欠如により困難である。
本稿では,時間情報処理におけるスパイクニューロンの効率を活かした時系列予測タスクにおけるSNNのためのフレームワークを提案する。
論文 参考訳（メタデータ） (2024-02-02T16:23:50Z) - Enhancing Adaptive History Reserving by Spiking Convolutional Block
Attention Module in Recurrent Neural Networks [21.509659756334802]
スパイキングニューラルネットワーク(SNN)は、時系列における時間的パターンを処理するための1種類の効率的なモデルである。
本稿では、先進的なスパイキング・コンボリューション・アテンション・モジュール(SCBAM)コンポーネントを組み込んだ繰り返しスパイキング・ニューラルネットワーク(RSNN)モデルを開発する。
SCBAMを通して空間的・時間的チャネルの履歴情報を適応的に呼び出すことで、効率的なメモリ呼び出し履歴と冗長性排除の利点をもたらす。
論文 参考訳（メタデータ） (2024-01-08T08:05:34Z) - Event-based Shape from Polarization with Spiking Neural Networks [5.200503222390179]
表面正規化を効果的かつ効率的に行うために,シングルタイムステップとマルチタイムステップ・スパイキング・ユニセットを導入する。
本研究は,イベントベースセンシングにおけるSNNの進歩に寄与する。
論文 参考訳（メタデータ） (2023-12-26T14:43:26Z) - Continuous time recurrent neural networks: overview and application to
forecasting blood glucose in the intensive care unit [56.801856519460465]
連続時間自己回帰リカレントニューラルネットワーク(Continuous Time Autoregressive Recurrent Neural Network, CTRNN)は、不規則な観測を考慮に入れたディープラーニングモデルである。
重篤なケア環境下での血糖値の確率予測へのこれらのモデルの適用を実証する。
論文 参考訳（メタデータ） (2023-04-14T09:39:06Z) - An advanced spatio-temporal convolutional recurrent neural network for
storm surge predictions [73.4962254843935]
本研究では, 人工ニューラルネットワークモデルを用いて, 嵐の軌跡/規模/強度履歴に基づいて, 強風をエミュレートする能力について検討する。
本研究では, 人工嵐シミュレーションのデータベースを用いて, 強風を予測できるニューラルネットワークモデルを提案する。
論文 参考訳（メタデータ） (2022-04-18T23:42:18Z) - Deep Generative model with Hierarchical Latent Factors for Time Series
Anomaly Detection [40.21502451136054]
本研究は、時系列異常検出のための新しい生成モデルであるDGHLを提示する。
トップダウンの畳み込みネットワークは、新しい階層的な潜在空間を時系列ウィンドウにマッピングし、時間ダイナミクスを利用して情報を効率的にエンコードする。
提案手法は,4つのベンチマーク・データセットにおいて,現在の最先端モデルよりも優れていた。
論文 参考訳（メタデータ） (2022-02-15T17:19:44Z) - Deep Bayesian Active Learning for Accelerating Stochastic Simulation [74.58219903138301]
Interactive Neural Process(INP)は、シミュレーションとアクティブな学習アプローチのためのディープラーニングフレームワークである。
能動的学習のために,NPベースモデルの潜時空間で計算された新しい取得関数Latent Information Gain (LIG)を提案する。
その結果,STNPは学習環境のベースラインを上回り,LIGは能動学習の最先端を達成していることがわかった。
論文 参考訳（メタデータ） (2021-06-05T01:31:51Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳（メタデータ） (2020-03-26T11:13:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。