論文の概要: NeuroCLIP: Neuromorphic Data Understanding by CLIP and SNN
- arxiv url: http://arxiv.org/abs/2306.12073v2
- Date: Fri, 29 Dec 2023 02:44:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-03 02:06:17.187395
- Title: NeuroCLIP: Neuromorphic Data Understanding by CLIP and SNN
- Title（参考訳）: NeuroCLIP: CLIP と SNNによるニューロモルフィックデータ理解
- Authors: Yufei Guo and Yuanpei Chen and Zhe Ma
- Abstract要約: 我々は2D CLIPと2つの特別設計モジュールからなるNeuroCLIPを開発した。
N-MNIST、CIFAR10-DVS、ES-ImageNetなどのニューロモルフィックデータセットに関する様々な実験は、NeuroCLIPの有効性を実証している。
- 参考スコア（独自算出の注目度）: 16.104055742259128
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recently, the neuromorphic vision sensor has received more and more interest.
However, the neuromorphic data consists of asynchronous event spikes, which
makes it difficult to construct a big benchmark to train a power general neural
network model, thus limiting the neuromorphic data understanding for ``unseen"
objects by deep learning. While for the frame image, since the training data
can be obtained easily, the zero-shot and few-shot learning for ``unseen" task
via the large Contrastive Vision-Language Pre-training (CLIP) model, which is
pre-trained by large-scale image-text pairs in 2D, have shown inspirational
performance. We wonder whether the CLIP could be transferred to neuromorphic
data recognition to handle the ``unseen" problem. To this end, we materialize
this idea with NeuroCLIP in the paper. The NeuroCLIP consists of 2D CLIP and
two specially designed modules for neuromorphic data understanding. First, an
event-frame module that could convert the event spikes to the sequential frame
image with a simple discrimination strategy. Second, an inter-timestep adapter,
which is a simple fine-tuned adapter based on a spiking neural network (SNN)
for the sequential features coming from the visual encoder of CLIP to improve
the few-shot performance. Various experiments on neuromorphic datasets
including N-MNIST, CIFAR10-DVS, and ES-ImageNet demonstrate the effectiveness
of NeuroCLIP. Our code is open-sourced at
https://github.com/yfguo91/NeuroCLIP.git.
- Abstract（参考訳）: 近年,ニューロモルフィック視覚センサが注目されている。
However, the neuromorphic data consists of asynchronous event spikes, which makes it difficult to construct a big benchmark to train a power general neural network model, thus limiting the neuromorphic data understanding for ``unseen" objects by deep learning. While for the frame image, since the training data can be obtained easily, the zero-shot and few-shot learning for ``unseen" task via the large Contrastive Vision-Language Pre-training (CLIP) model, which is pre-trained by large-scale image-text pairs in 2D, have shown inspirational performance.
問題に対処するために,CLIPをニューロモルフィックなデータ認識に移行できるのではないかと考えた。
この目的のために、論文ではこのアイデアをneuroclipで実現している。
NeuroCLIPは2D CLIPとニューロモルフィックデータ理解のための2つの特別に設計されたモジュールで構成されている。
まず、イベントスパイクを単純な識別戦略でシーケンシャルなフレームイメージに変換するイベントフレームモジュール。
第2に、CLIPのビジュアルエンコーダから来る逐次的機能に対して、スパイキングニューラルネットワーク(SNN)をベースとしたシンプルな微調整アダプタである、タイムステップ間アダプタにより、数ショットのパフォーマンスが向上する。
N-MNIST、CIFAR10-DVS、ES-ImageNetなどのニューロモルフィックデータセットに関する様々な実験は、NeuroCLIPの有効性を実証している。
私たちのコードはhttps://github.com/yfguo91/neuroclip.gitでオープンソースです。
関連論文リスト
- Ultra-low-power Image Classification on Neuromorphic Hardware [3.784976081087904]
スパイキングニューラルネットワーク(SNN)は、時間的および空間的間隔を利用して超低消費電力の応用を約束する。
空間的特徴に大きく依存する視覚タスクの時間的バックプロパゲーションを用いたSNNの訓練には,計算コストがかかる。
本稿では,最初のスパイクまでの時間に基づく時間的ANN-to-SNN変換法であるQuartzを提案する。
論文 参考訳（メタデータ） (2023-09-28T18:53:43Z) - Co-learning synaptic delays, weights and adaptation in spiking neural
networks [0.0]
スパイキングニューラルネットワーク(SNN)は、固有の時間処理とスパイクベースの計算のため、人工知能ニューラルネットワーク(ANN)と区別する。
スパイクニューロンを用いたデータ処理は、他の2つの生物学的にインスピレーションを受けたニューロンの特徴と接続重みを協調学習することで向上できることを示す。
論文 参考訳（メタデータ） (2023-09-12T09:13:26Z) - Neural Attentive Circuits [93.95502541529115]
我々は、NAC(Neural Attentive Circuits)と呼ばれる汎用的でモジュラーなニューラルアーキテクチャを導入する。
NACは、ドメイン知識を使わずに、ニューラルネットワークモジュールのパラメータ化と疎結合を学習する。
NACは推論時に8倍のスピードアップを達成するが、性能は3%以下である。
論文 参考訳（メタデータ） (2022-10-14T18:00:07Z) - Neural Implicit Dictionary via Mixture-of-Expert Training [111.08941206369508]
ニューラルインシシット辞書(NID)を学習することで、データとトレーニング効率の両方を達成する汎用INRフレームワークを提案する。
我々のNIDは、所望の関数空間にまたがるように調整された座標ベースのImpworksのグループを組み立てる。
実験の結果,NIDは最大98%の入力データで2次元画像や3次元シーンの再現を2桁高速化できることがわかった。
論文 参考訳（メタデータ） (2022-07-08T05:07:19Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳（メタデータ） (2022-05-01T12:44:49Z) - Visual Attention Network [90.0753726786985]
本稿では,自己アテンションにおける自己適応性および長距離相関を実現するために,新しいカーネルアテンション(LKA)モジュールを提案する。
また、LKAに基づく新しいニューラルネットワーク、すなわちVisual Attention Network (VAN)を導入する。
VANは、最先端のビジョントランスフォーマーと畳み込みニューラルネットワークを、広範な実験において大きなマージンで上回ります。
論文 参考訳（メタデータ） (2022-02-20T06:35:18Z) - Event-based Video Reconstruction via Potential-assisted Spiking Neural
Network [48.88510552931186]
バイオインスパイアされたニューラルネットワークは、イベント駆動ハードウェア上での計算効率の向上につながる可能性がある。
完全スパイキングニューラルネットワーク(EVSNN)に基づくイベントベースビデオ再構成フレームワークを提案する。
スパイクニューロンは、そのような時間依存タスクを完了させるために有用な時間情報(メモリ)を格納する可能性がある。
論文 参考訳（メタデータ） (2022-01-25T02:05:20Z) - N-Omniglot: a Large-scale Neuromorphic Dataset for Spatio-Temporal
Sparse Few-shot Learning [10.812738608234321]
我々は、Dynamic Vision Sensor (DVS)を用いて、最初のニューロモルフィックデータセット、N-Omniglotを提供する。
1623種類の手書き文字が含まれており、クラスごとに20のサンプルしか持たない。
このデータセットは、数ショットの学習領域でSNNアルゴリズムを開発するための強力なチャレンジと適切なベンチマークを提供する。
論文 参考訳（メタデータ） (2021-12-25T12:41:34Z) - Comparing SNNs and RNNs on Neuromorphic Vision Datasets: Similarities
and Differences [36.82069150045153]
スパイキングニューラルネットワーク(SNN)とリカレントニューラルネットワーク(RNN)は、ニューロモルフィックデータに基づいてベンチマークされる。
本研究では,SNNとRNNをニューロモルフィックデータと比較するための系統的研究を行う。
論文 参考訳（メタデータ） (2020-05-02T10:19:37Z) - Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。
コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
論文 参考訳（メタデータ） (2020-02-02T21:09:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。