論文の概要: Improving the Performance of Spiking Neural Networks on Event-based
Datasets with Knowledge Transfer
- arxiv url: http://arxiv.org/abs/2303.13077v1
- Date: Thu, 23 Mar 2023 07:14:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-24 15:23:34.621698
- Title: Improving the Performance of Spiking Neural Networks on Event-based
Datasets with Knowledge Transfer
- Title（参考訳）: 知識伝達を伴うイベントベースデータセットにおけるスパイクニューラルネットワークの性能向上
- Authors: Xiang He, Dongcheng Zhao, Yang Li, Guobin Shen, Qingqun Kong, Yi Zeng
- Abstract要約: スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックなイベントベースのデータを処理するのに適した、豊富な時空間ダイナミクスを持つ。
小規模なデータスケールにより、SNNはSNNの性能を過度に調整し制限する傾向にある。
本稿では,静的画像を利用してニューロモルフィックデータセットのトレーニングを支援する知識伝達フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 10.823441246978469
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spiking neural networks (SNNs) have rich spatial-temporal dynamics, which are
suitable for processing neuromorphic, event-based data. However, event-based
datasets are usually less annotated than static datasets used in traditional
deep learning. Small data scale makes SNNs prone to overfitting and limits the
performance of the SNN. To enhance the generalizability of SNNs on event-based
datasets, we propose a knowledge-transfer framework that leverages static
images to assist in the training on neuromorphic datasets. Our method proposes
domain loss and semantic loss to exploit both domain-invariant and unique
features of these two domains, providing SNNs with more generalized knowledge
for subsequent targeted training on neuromorphic data. Specifically, domain
loss aligns the feature space and aims to capture common features between
static and event-based images, while semantic loss emphasizes that the
differences between samples from different categories should be as large as
possible. Experimental results demonstrate that our method outperforms existing
methods on all mainstream neuromorphic vision datasets. In particular, we
achieve significant performance improvement of 2.7\% and 9.8\% when using only
10\% training data of CIFAR10-DVS and N-Caltech 101 datasets, respectively.
- Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックなイベントベースのデータを処理するのに適した、豊富な時空間ダイナミクスを持つ。
しかし、イベントベースのデータセットは通常、従来のディープラーニングで使用される静的データセットよりも注釈が少ない。
小規模なデータスケールにより、SNNはSNNの性能を過度に調整し制限する傾向にある。
イベントベースデータセットにおけるSNNの一般化性を高めるため,静的な画像を利用してニューロモルフィックデータセットのトレーニングを支援する知識伝達フレームワークを提案する。
本手法では,これら2つのドメインのドメイン不変性とユニークな特徴を生かすために,ドメイン損失とセマンティクス損失を提案する。
具体的には、ドメイン損失は機能空間を調整し、静的イメージとイベントベースのイメージの共通機能をキャプチャすることを目的としているが、セマンティック損失は、異なるカテゴリのサンプル間の差異が可能な限り大きいことを強調している。
実験の結果,本手法は主要神経形態的視覚データセットの既存手法よりも優れていた。
特に,CIFAR10-DVSとN-Caltech 101データセットのトレーニングデータのみを使用することで,2.7\%と9.8\%の大幅なパフォーマンス向上を実現した。
関連論文リスト
- TCGU: Data-centric Graph Unlearning based on Transferable Condensation [36.670771080732486]
Transferable Condensation Graph Unlearning (TCGU)は、ゼロガンスグラフアンラーニングのためのデータ中心のソリューションである。
我々は,TGUが既存のGU手法よりもモデルユーティリティ,未学習効率,未学習効率において優れた性能を発揮することを示す。
論文 参考訳（メタデータ） (2024-10-09T02:14:40Z) - Towards Low-latency Event-based Visual Recognition with Hybrid Step-wise Distillation Spiking Neural Networks [50.32980443749865]
スパイキングニューラルネットワーク(SNN)は、低消費電力と高い生物性のために大きな注目を集めている。
現在のSNNは、ニューロモルフィックデータセットの正確性とレイテンシのバランスをとるのに苦労している。
ニューロモルフィックデータセットに適したステップワイド蒸留法(HSD)を提案する。
論文 参考訳（メタデータ） (2024-09-19T06:52:34Z) - Gradient Transformation: Towards Efficient and Model-Agnostic Unlearning for Dynamic Graph Neural Networks [66.70786325911124]
グラフアンラーニングは、ユーザのプライバシ保護と、望ましくないデータによるネガティブな影響軽減に不可欠なツールとして登場した。
DGNNの普及に伴い、動的グラフアンラーニングの実装を検討することが不可欠となる。
DGNNアンラーニングを実装するために,効率的,効率的,モデルに依存しない,事後処理手法を提案する。
論文 参考訳（メタデータ） (2024-05-23T10:26:18Z) - Dynamic Spiking Framework for Graph Neural Networks [26.08442716817432]
underlineDynamic underlineSpunderlineiking underlineGraph underlineNeural Networks (method)というフレームワークを提案する。
3つの大規模実世界の動的グラフ実験により, 手法の有効性が検証された。
論文 参考訳（メタデータ） (2023-12-15T12:45:47Z) - Truncated tensor Schatten p-norm based approach for spatiotemporal
traffic data imputation with complicated missing patterns [77.34726150561087]
本研究は, モード駆動繊維による3症例の欠失を含む, 4症例の欠失パターンについて紹介する。
本モデルでは, 目的関数の非性にもかかわらず, 乗算器の交互データ演算法を統合することにより, 最適解を導出する。
論文 参考訳（メタデータ） (2022-05-19T08:37:56Z) - ProCST: Boosting Semantic Segmentation using Progressive Cyclic
Style-Transfer [38.03127458140549]
ドメイン適応技術を改善するための新しい2段階フレームワークを提案する。
最初のステップでは、複数のスケールのニューラルネットワークを段階的にトレーニングし、ソースデータからターゲットデータへの初期転送を行う。
この新たなデータは、所望のターゲットドメインとのドメインギャップを減らし、適用されたUDAアプローチにより、さらにギャップを埋める。
論文 参考訳（メタデータ） (2022-04-25T18:01:05Z) - AEGNN: Asynchronous Event-based Graph Neural Networks [54.528926463775946]
イベントベースのグラフニューラルネットワークは、標準のGNNを一般化して、イベントを"進化的"時間グラフとして処理する。
AEGNNは同期入力で容易に訓練でき、テスト時に効率的な「非同期」ネットワークに変換できる。
論文 参考訳（メタデータ） (2022-03-31T16:21:12Z) - Self-Supervised Pre-Training for Transformer-Based Person
Re-Identification [54.55281692768765]
トランスフォーマーに基づく教師付き事前訓練は、人物再識別(ReID)において大きなパフォーマンスを達成する
ImageNetとReIDデータセットのドメインギャップのため、通常、パフォーマンスを高めるために、より大きなトレーニング済みデータセットが必要です。
この研究は、データとモデル構造の観点から、事前トレーニングデータセットとReIDデータセットのギャップを軽減することを目的としている。
論文 参考訳（メタデータ） (2021-11-23T18:59:08Z) - Appearance Based Deep Domain Adaptation for the Classification of Aerial
Images [0.0]
本稿では、ディープニューラルネットワーク(DNN)を用いたリモートセンシングデータの画素ワイズ分類のためのドメイン適応について述べる。
我々は、ラベル付きデータがソースドメインDSでしか利用できないが、ターゲットドメインDTでは利用できない設定に焦点を当てる。
本手法は,画像がDTの画像のように見えるようにDSから画像に変換する外観適応ネットワーク(AAN)の対角訓練に基づく。
論文 参考訳（メタデータ） (2021-08-17T17:35:28Z) - Self-Competitive Neural Networks [0.0]
ディープニューラルネットワーク(DNN)は、多くのアプリケーションにおける分類問題の精度を改善している。
DNNをトレーニングする際の課題の1つは、その正確性を高め、過度な適合に苦しむことを避けるために、豊富なデータセットによって供給される必要があることである。
近年,データ拡張手法の提案が盛んに行われている。
本稿では,各クラスのドメイン・オブ・アトラクション(DoAs)を洗練させるために,逆データを生成します。このアプローチでは,各段階において,プライマリデータと生成された逆データ(その段階まで)から学習したモデルを用いて,プライマリデータを複雑な方法で操作する。
論文 参考訳（メタデータ） (2020-08-22T12:28:35Z) - Self-Challenging Improves Cross-Domain Generalization [81.99554996975372]
畳み込みニューラルネットワーク(CNN)は、ラベルと相関する支配的特徴を活性化することにより、画像分類を行う。
ドメイン外データに対するCNNの一般化を著しく改善する簡単なトレーニングである自己整合表現(RSC)を導入する。
RSCはトレーニングデータ上で活性化される主要な機能に対して反復的に挑戦し、ラベルと相関する残りの機能を有効にするようネットワークに強制する。
論文 参考訳（メタデータ） (2020-07-05T21:42:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。