論文の概要: NeuroCLIP: Neuromorphic Data Understanding by CLIP and SNN

• arxiv url: http://arxiv.org/abs/2306.12073v1
• Date: Wed, 21 Jun 2023 07:46:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-22 14:26:32.802547
• Title: NeuroCLIP: Neuromorphic Data Understanding by CLIP and SNN
• Title（参考訳）: NeuroCLIP: CLIP と SNNによるニューロモルフィックデータ理解
• Authors: Yufei Guo and Yuanpei Chen
• Abstract要約: 本稿では,ニューロモルフィックデータに対する"見えない"認識を扱うためにNeuroCLIPを提案する。 NeuroCLIPはCLIPの2D事前訓練された知識をイベントスパイクに転送する。 また、スパイクニューラルネットワークに基づく時間間アダプタも提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, the neuromorphic vision sensor has received more and more interest. However, the neuromorphic data consists of asynchronous event spikes, which is not natural and difficult to construct a benchmark, thus limiting the neuromorphic data understanding for "unseen" objects by deep learning. Zero-shot and few-shot learning via Contrastive Vision-Language Pre-training (CLIP) have shown inspirational performance in 2D frame image recognition. To handle "unseen" recognition for the neuromorphic data, in this paper, we propose NeuroCLIP, which transfers the CLIP's 2D pre-trained knowledge to event spikes. To improve the few-shot performance, we also provide an inter-timestep adapter based on a spiking neural network. Our code is open-sourced at https://github.com/yfguo91/NeuroCLIP.git.
• Abstract（参考訳）: 近年,ニューロモルフィック視覚センサが注目されている。 しかし、ニューロモルフィックデータは非同期のイベントスパイクで構成されており、これはベンチマークの構築が自然で困難ではないため、ディープラーニングによる"見えない"オブジェクトに対するニューロモルフィックデータ理解が制限される。 コントラストビジョン言語プレトレーニング(clip)によるゼロショットと少数ショット学習は、2次元フレーム画像認識においてインスピレーション的な性能を示している。 ニューロモルフィックデータの「無意識」認識を扱うため,本論文では,クリップの2次元事前学習知識をイベントスパイクに伝達するニューロクリップを提案する。 最小ショット性能を向上させるために,スパイクニューラルネットワークに基づく時間ステップ間アダプタも提供する。 私たちのコードはhttps://github.com/yfguo91/neuroclip.gitでオープンソースです。

関連論文リスト

• Ultra-low-power Image Classification on Neuromorphic Hardware [3.784976081087904]
  スパイキングニューラルネットワーク(SNN)は、時間的および空間的間隔を利用して超低消費電力の応用を約束する。 空間的特徴に大きく依存する視覚タスクの時間的バックプロパゲーションを用いたSNNの訓練には,計算コストがかかる。 本稿では,最初のスパイクまでの時間に基づく時間的ANN-to-SNN変換法であるQuartzを提案する。
  論文  参考訳（メタデータ） (2023-09-28T18:53:43Z)
• Co-learning synaptic delays, weights and adaptation in spiking neural networks [0.0]
  スパイキングニューラルネットワーク(SNN)は、固有の時間処理とスパイクベースの計算のため、人工知能ニューラルネットワーク(ANN)と区別する。 スパイクニューロンを用いたデータ処理は、他の2つの生物学的にインスピレーションを受けたニューロンの特徴と接続重みを協調学習することで向上できることを示す。
  論文  参考訳（メタデータ） (2023-09-12T09:13:26Z)
• Neural Attentive Circuits [93.95502541529115]
  我々は、NAC(Neural Attentive Circuits)と呼ばれる汎用的でモジュラーなニューラルアーキテクチャを導入する。 NACは、ドメイン知識を使わずに、ニューラルネットワークモジュールのパラメータ化と疎結合を学習する。 NACは推論時に8倍のスピードアップを達成するが、性能は3%以下である。
  論文  参考訳（メタデータ） (2022-10-14T18:00:07Z)
• Neural Implicit Dictionary via Mixture-of-Expert Training [111.08941206369508]
  ニューラルインシシット辞書(NID)を学習することで、データとトレーニング効率の両方を達成する汎用INRフレームワークを提案する。 我々のNIDは、所望の関数空間にまたがるように調整された座標ベースのImpworksのグループを組み立てる。 実験の結果,NIDは最大98%の入力データで2次元画像や3次元シーンの再現を2桁高速化できることがわかった。
  論文  参考訳（メタデータ） (2022-07-08T05:07:19Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Visual Attention Network [90.0753726786985]
  本稿では,自己アテンションにおける自己適応性および長距離相関を実現するために,新しいカーネルアテンション(LKA)モジュールを提案する。 また、LKAに基づく新しいニューラルネットワーク、すなわちVisual Attention Network (VAN)を導入する。 VANは、最先端のビジョントランスフォーマーと畳み込みニューラルネットワークを、広範な実験において大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2022-02-20T06:35:18Z)
• Event-based Video Reconstruction via Potential-assisted Spiking Neural Network [48.88510552931186]
  バイオインスパイアされたニューラルネットワークは、イベント駆動ハードウェア上での計算効率の向上につながる可能性がある。 完全スパイキングニューラルネットワーク(EVSNN)に基づくイベントベースビデオ再構成フレームワークを提案する。 スパイクニューロンは、そのような時間依存タスクを完了させるために有用な時間情報(メモリ)を格納する可能性がある。
  論文  参考訳（メタデータ） (2022-01-25T02:05:20Z)
• N-Omniglot: a Large-scale Neuromorphic Dataset for Spatio-Temporal Sparse Few-shot Learning [10.812738608234321]
  我々は、Dynamic Vision Sensor (DVS)を用いて、最初のニューロモルフィックデータセット、N-Omniglotを提供する。 1623種類の手書き文字が含まれており、クラスごとに20のサンプルしか持たない。 このデータセットは、数ショットの学習領域でSNNアルゴリズムを開発するための強力なチャレンジと適切なベンチマークを提供する。
  論文  参考訳（メタデータ） (2021-12-25T12:41:34Z)
• Comparing SNNs and RNNs on Neuromorphic Vision Datasets: Similarities and Differences [36.82069150045153]
  スパイキングニューラルネットワーク(SNN)とリカレントニューラルネットワーク(RNN)は、ニューロモルフィックデータに基づいてベンチマークされる。 本研究では,SNNとRNNをニューロモルフィックデータと比較するための系統的研究を行う。
  論文  参考訳（メタデータ） (2020-05-02T10:19:37Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。