論文の概要: An Efficient Knowledge Transfer Strategy for Spiking Neural Networks from Static to Event Domain

• arxiv url: http://arxiv.org/abs/2303.13077v2
• Date: Sat, 3 Feb 2024 11:34:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-07 06:52:56.006445
• Title: An Efficient Knowledge Transfer Strategy for Spiking Neural Networks from Static to Event Domain
• Title（参考訳）: 静的からイベント領域へのスパイクニューラルネットワークの効率的な知識伝達戦略
• Authors: Xiang He, Dongcheng Zhao, Yang Li, Guobin Shen, Qingqun Kong, Yi Zeng
• Abstract要約: スパイキングニューラルネットワーク(SNN)は時間的ダイナミクスが豊富であり、イベントベースのニューロモルフィックデータを処理するのに適している。 しかしながら、イベントベースのデータセットは通常、静的データセット以下である。 この小さなデータスケールにより、SNNはパフォーマンスを過度に調整し、制限する傾向にある。 本稿では,静的画像入力を確率的にイベントデータに置き換えるスライディングトレーニング戦略を提案する。
• 参考スコア（独自算出の注目度）: 9.892168445483
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spiking neural networks (SNNs) are rich in spatio-temporal dynamics and are suitable for processing event-based neuromorphic data. However, event-based datasets are usually less annotated than static datasets. This small data scale makes SNNs prone to overfitting and limits their performance. In order to improve the generalization ability of SNNs on event-based datasets, we use static images to assist SNN training on event data. In this paper, we first discuss the domain mismatch problem encountered when directly transferring networks trained on static datasets to event data. We argue that the inconsistency of feature distributions becomes a major factor hindering the effective transfer of knowledge from static images to event data. To address this problem, we propose solutions in terms of two aspects: feature distribution and training strategy. Firstly, we propose a knowledge transfer loss, which consists of domain alignment loss and spatio-temporal regularization. The domain alignment loss learns domain-invariant spatial features by reducing the marginal distribution distance between the static image and the event data. Spatio-temporal regularization provides dynamically learnable coefficients for domain alignment loss by using the output features of the event data at each time step as a regularization term. In addition, we propose a sliding training strategy, which gradually replaces static image inputs probabilistically with event data, resulting in a smoother and more stable training for the network. We validate our method on neuromorphic datasets, including N-Caltech101, CEP-DVS, and N-Omniglot. The experimental results show that our proposed method achieves better performance on all datasets compared to the current state-of-the-art methods. Code is available at https://github.com/Brain-Cog-Lab/Transfer-for-DVS.
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は時空間力学に富み、イベントベースのニューロモルフィックデータ処理に適している。 しかしながら、イベントベースのデータセットは通常、静的データセットよりもアノテーションが少ない。 この小さなデータスケールにより、SNNはパフォーマンスを過度に調整し、制限する傾向にある。 イベントベースデータセット上でのSNNの一般化能力を改善するため,静的画像を用いてイベントデータのSNNトレーニングを支援する。 本稿では,静的データセット上でトレーニングされたネットワークを直接イベントデータに転送する場合に発生するドメインミスマッチ問題について論じる。 我々は,特徴分布の不整合が静的画像からイベントデータへの知識の効果的な伝達を妨げる主要な要因となることを論じる。 この問題に対処するために,特徴分布とトレーニング戦略という2つの側面の解を提案する。 まず,ドメインアライメント損失と時空間正規化からなる知識伝達損失を提案する。 ドメインアライメント損失は、静的画像とイベントデータの間の限界分布距離を小さくすることにより、ドメイン不変空間特徴を学習する。 時空間正規化は、各時間ステップにおけるイベントデータの出力特徴を正規化項として使用することにより、ドメインアライメント損失に対する動的に学習可能な係数を提供する。 さらに,静的画像入力を確率的にイベントデータに置き換え,ネットワークのスムースで安定したトレーニングを実現するスライディングトレーニング戦略を提案する。 我々は,N-Caltech101,CEP-DVS,N-Omniglotを含むニューロモルフィックデータセットについて検証した。 実験の結果,提案手法は現在の最先端手法と比較して,全データセットの性能が向上することが示された。 コードはhttps://github.com/Brain-Cog-Lab/Transfer-for-DVSで入手できる。

関連論文リスト

• TCGU: Data-centric Graph Unlearning based on Transferable Condensation [36.670771080732486]
  Transferable Condensation Graph Unlearning (TCGU)は、ゼロガンスグラフアンラーニングのためのデータ中心のソリューションである。 我々は,TGUが既存のGU手法よりもモデルユーティリティ,未学習効率,未学習効率において優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2024-10-09T02:14:40Z)
• Towards Low-latency Event-based Visual Recognition with Hybrid Step-wise Distillation Spiking Neural Networks [50.32980443749865]
  スパイキングニューラルネットワーク(SNN)は、低消費電力と高い生物性のために大きな注目を集めている。 現在のSNNは、ニューロモルフィックデータセットの正確性とレイテンシのバランスをとるのに苦労している。 ニューロモルフィックデータセットに適したステップワイド蒸留法(HSD)を提案する。
  論文  参考訳（メタデータ） (2024-09-19T06:52:34Z)
• Gradient Transformation: Towards Efficient and Model-Agnostic Unlearning for Dynamic Graph Neural Networks [66.70786325911124]
  グラフアンラーニングは、ユーザのプライバシ保護と、望ましくないデータによるネガティブな影響軽減に不可欠なツールとして登場した。 DGNNの普及に伴い、動的グラフアンラーニングの実装を検討することが不可欠となる。 DGNNアンラーニングを実装するために,効率的,効率的,モデルに依存しない,事後処理手法を提案する。
  論文  参考訳（メタデータ） (2024-05-23T10:26:18Z)
• Dynamic Spiking Framework for Graph Neural Networks [26.08442716817432]
  underlineDynamic underlineSpunderlineiking underlineGraph underlineNeural Networks (method)というフレームワークを提案する。 3つの大規模実世界の動的グラフ実験により, 手法の有効性が検証された。
  論文  参考訳（メタデータ） (2023-12-15T12:45:47Z)
• Truncated tensor Schatten p-norm based approach for spatiotemporal traffic data imputation with complicated missing patterns [77.34726150561087]
  本研究は, モード駆動繊維による3症例の欠失を含む, 4症例の欠失パターンについて紹介する。 本モデルでは, 目的関数の非性にもかかわらず, 乗算器の交互データ演算法を統合することにより, 最適解を導出する。
  論文  参考訳（メタデータ） (2022-05-19T08:37:56Z)
• ProCST: Boosting Semantic Segmentation using Progressive Cyclic Style-Transfer [38.03127458140549]
  ドメイン適応技術を改善するための新しい2段階フレームワークを提案する。 最初のステップでは、複数のスケールのニューラルネットワークを段階的にトレーニングし、ソースデータからターゲットデータへの初期転送を行う。 この新たなデータは、所望のターゲットドメインとのドメインギャップを減らし、適用されたUDAアプローチにより、さらにギャップを埋める。
  論文  参考訳（メタデータ） (2022-04-25T18:01:05Z)
• AEGNN: Asynchronous Event-based Graph Neural Networks [54.528926463775946]
  イベントベースのグラフニューラルネットワークは、標準のGNNを一般化して、イベントを"進化的"時間グラフとして処理する。 AEGNNは同期入力で容易に訓練でき、テスト時に効率的な「非同期」ネットワークに変換できる。
  論文  参考訳（メタデータ） (2022-03-31T16:21:12Z)
• Self-Supervised Pre-Training for Transformer-Based Person Re-Identification [54.55281692768765]
  トランスフォーマーに基づく教師付き事前訓練は、人物再識別(ReID)において大きなパフォーマンスを達成する ImageNetとReIDデータセットのドメインギャップのため、通常、パフォーマンスを高めるために、より大きなトレーニング済みデータセットが必要です。 この研究は、データとモデル構造の観点から、事前トレーニングデータセットとReIDデータセットのギャップを軽減することを目的としている。
  論文  参考訳（メタデータ） (2021-11-23T18:59:08Z)
• Appearance Based Deep Domain Adaptation for the Classification of Aerial Images [0.0]
  本稿では、ディープニューラルネットワーク(DNN)を用いたリモートセンシングデータの画素ワイズ分類のためのドメイン適応について述べる。 我々は、ラベル付きデータがソースドメインDSでしか利用できないが、ターゲットドメインDTでは利用できない設定に焦点を当てる。 本手法は,画像がDTの画像のように見えるようにDSから画像に変換する外観適応ネットワーク(AAN)の対角訓練に基づく。
  論文  参考訳（メタデータ） (2021-08-17T17:35:28Z)
• Self-Competitive Neural Networks [0.0]
  ディープニューラルネットワーク(DNN)は、多くのアプリケーションにおける分類問題の精度を改善している。 DNNをトレーニングする際の課題の1つは、その正確性を高め、過度な適合に苦しむことを避けるために、豊富なデータセットによって供給される必要があることである。 近年,データ拡張手法の提案が盛んに行われている。 本稿では,各クラスのドメイン・オブ・アトラクション(DoAs)を洗練させるために,逆データを生成します。このアプローチでは,各段階において,プライマリデータと生成された逆データ(その段階まで)から学習したモデルを用いて,プライマリデータを複雑な方法で操作する。
  論文  参考訳（メタデータ） (2020-08-22T12:28:35Z)
• Self-Challenging Improves Cross-Domain Generalization [81.99554996975372]
  畳み込みニューラルネットワーク(CNN)は、ラベルと相関する支配的特徴を活性化することにより、画像分類を行う。 ドメイン外データに対するCNNの一般化を著しく改善する簡単なトレーニングである自己整合表現(RSC)を導入する。 RSCはトレーニングデータ上で活性化される主要な機能に対して反復的に挑戦し、ラベルと相関する残りの機能を有効にするようネットワークに強制する。
  論文  参考訳（メタデータ） (2020-07-05T21:42:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。