Fugu-MT 論文翻訳(概要): Federated Learning with Spiking Neural Networks

論文の概要: Federated Learning with Spiking Neural Networks

arxiv url: http://arxiv.org/abs/2106.06579v1
Date: Fri, 11 Jun 2021 19:00:58 GMT
ステータス: 処理完了
システム内更新日: 2021-06-15 16:17:43.283392
Title: Federated Learning with Spiking Neural Networks
Title（参考訳）: スパイクニューラルネットワークによるフェデレーション学習
Authors: Yeshwanth Venkatesha, Youngeun Kim, Leandros Tassiulas, Priyadarshini Panda
Abstract要約: 従来のニューラルネットワーク(ANN)に代わるエネルギー効率の高い代替手段として、スパイキングニューラルネットワーク(SNN)が登場している SNNの分散・プライバシ保護トレーニングのための連合学習フレームワークを提案する。フェデレーションにおいて,データを多数のクライアントに分散した場合,SNNが全体の精度で15%以上向上することが観察された。
参考スコア（独自算出の注目度）: 13.09613811272936
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: As neural networks get widespread adoption in resource-constrained embedded devices, there is a growing need for low-power neural systems. Spiking Neural Networks (SNNs)are emerging to be an energy-efficient alternative to the traditional Artificial Neural Networks (ANNs) which are known to be computationally intensive. From an application perspective, as federated learning involves multiple energy-constrained devices, there is a huge scope to leverage energy efficiency provided by SNNs. Despite its importance, there has been little attention on training SNNs on a large-scale distributed system like federated learning. In this paper, we bring SNNs to a more realistic federated learning scenario. Specifically, we propose a federated learning framework for decentralized and privacy-preserving training of SNNs. To validate the proposed federated learning framework, we experimentally evaluate the advantages of SNNs on various aspects of federated learning with CIFAR10 and CIFAR100 benchmarks. We observe that SNNs outperform ANNs in terms of overall accuracy by over 15% when the data is distributed across a large number of clients in the federation while providing up to5.3x energy efficiency. In addition to efficiency, we also analyze the sensitivity of the proposed federated SNN framework to data distribution among the clients, stragglers, and gradient noise and perform a comprehensive comparison with ANNs.
Abstract（参考訳）: ニューラルネットワークがリソース制約された組み込みデバイスに広く採用されるにつれ、低消費電力のニューラルネットワークの必要性が高まっている。スパイキングニューラルネットワーク(SNN)は、計算集約性で知られる従来のニューラルネットワーク(ANN)の代替として、エネルギー効率の高いものになりつつある。アプリケーションの観点からは、連合学習には複数のエネルギー制約のあるデバイスが含まれるため、SNNが提供するエネルギー効率を活用するための大きなスコープがある。その重要性にもかかわらず、連合学習のような大規模分散システムでのSNNのトレーニングにはほとんど注意が払われていない。本稿では,より現実的なフェデレーション学習シナリオにSNNを導入する。具体的には,snsの分散およびプライバシ保全トレーニングのための連合学習フレームワークを提案する。 CIFAR10 と CIFAR100 ベンチマークを用いて,連合学習の様々な側面における SNN の利点を実験的に評価した。我々は、SNNが最大5.3倍のエネルギー効率を提供しながら、フェデレーション内の多数のクライアントに分散された場合、ANNの全体的な精度を15%以上上回っていることを観察した。また, 効率性に加えて, クライアント, ストラグラー, 勾配雑音間のデータ分散に対するフェデレーションSNNフレームワークの感度を解析し, ANNとの総合的な比較を行う。

関連論文リスト

NAS-BNN: Neural Architecture Search for Binary Neural Networks [55.058512316210056]
我々は、NAS-BNNと呼ばれる二元ニューラルネットワークのための新しいニューラルネットワーク探索手法を提案する。我々の発見したバイナリモデルファミリーは、20Mから2Mまでの幅広い操作(OP)において、以前のBNNよりも優れていた。さらに,対象検出タスクにおける探索されたBNNの転送可能性を検証するとともに,探索されたBNNを用いたバイナリ検出器は,MSデータセット上で31.6% mAP,370万 OPsなどの新たな最先端結果を得る。
論文参考訳（メタデータ） (2024-08-28T02:17:58Z)
Rethinking Residual Connection in Training Large-Scale Spiking Neural Networks [10.286425749417216]
スパイキングニューラルネットワーク(SNN)は、最も有名な脳にインスパイアされたモデルとして知られている。非微分可能なスパイク機構により、大規模SNNの訓練が困難になる。
論文参考訳（メタデータ） (2023-11-09T06:48:29Z)
LC-TTFS: Towards Lossless Network Conversion for Spiking Neural Networks with TTFS Coding [55.64533786293656]
我々は,AIタスクにおいて,ANNのアクティベーション値とSNNのスパイク時間とのほぼ完全なマッピングを実現することができることを示す。この研究は、電力制約のあるエッジコンピューティングプラットフォームに超低消費電力のTTFSベースのSNNをデプロイする方法を舗装している。
論文参考訳（メタデータ） (2023-10-23T14:26:16Z)
Joint A-SNN: Joint Training of Artificial and Spiking Neural Networks via Self-Distillation and Weight Factorization [12.1610509770913]
スパイクニューラルネットワーク(SNN)は、脳ニューロンのスパイク特性を模倣する。我々は、ANNとSNNの合同トレーニングフレームワークを提案し、ANNはSNNの最適化をガイドできる。我々の手法は、他の多くの最先端の訓練方法より一貫して優れています。
論文参考訳（メタデータ） (2023-05-03T13:12:17Z)
LaSNN: Layer-wise ANN-to-SNN Distillation for Effective and Efficient Training in Deep Spiking Neural Networks [7.0691139514420005]
スパイキングニューラルネットワーク(SNN)は、事象駆動機構のため、生物学的に現実的で、低消費電力で現実的に有望である。トレーニングされたANNのパラメータを同じ構造を持つSNNにマッピングすることで、競合精度を得るための変換方式を提案する。レイヤワイドANN-to-SNN知識蒸留(LaSNN)という新しいSNNトレーニングフレームワークが提案されている。
論文参考訳（メタデータ） (2023-04-17T03:49:35Z)
Training Spiking Neural Networks with Local Tandem Learning [96.32026780517097]
スパイキングニューラルネットワーク(SNN)は、前者よりも生物学的に可塑性でエネルギー効率が高いことが示されている。本稿では,局所タンデム学習(Local Tandem Learning, LTL)と呼ばれる一般化学習規則を提案する。 CIFAR-10データセット上の5つのトレーニングエポック内に高速なネットワーク収束を示すとともに,計算複雑性が低い。
論文参考訳（メタデータ） (2022-10-10T10:05:00Z)
Knowledge Enhanced Neural Networks for relational domains [83.9217787335878]
我々は、ニューラルネットワークに事前論理的知識を注入するニューラルネットワークアーキテクチャであるKENNに焦点を当てる。本稿では,関係データに対するKENNの拡張を提案する。
論文参考訳（メタデータ） (2022-05-31T13:00:34Z)
Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文参考訳（メタデータ） (2022-04-01T03:31:27Z)
Spiking neural networks trained via proxy [0.696125353550498]
本稿では,従来のニューラルネットワーク(ANN)を代用として,スパイクニューラルネットワーク(SNN)を訓練するための新しい学習アルゴリズムを提案する。 SNNとANNの2つのネットワークをそれぞれ、同じネットワークアーキテクチャと共有シナプス重みを持つIF(Integration-and-fire)とReLU(ReLU)の2つに分けた。 IFニューロンにReLUの近似としてレートコーディングを仮定することにより、SNNの最終出力をSNNのものと置き換えることによって、共有重みを更新するためにプロキシANNにおけるSNNのエラーをバックプロパタイトする。
論文参考訳（メタデータ） (2021-09-27T17:29:51Z)
Explore the Knowledge contained in Network Weights to Obtain Sparse Neural Networks [2.649890751459017]
本稿では,ニューラルネットワーク(NN)における疎結合層の自動獲得のための新しい学習手法を提案する。タスクニューラルネットワーク(TNN)の構造を最適化するためにスイッチングニューラルネットワーク(SNN)を設計する。
論文参考訳（メタデータ） (2021-03-26T11:29:40Z)
Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文参考訳（メタデータ） (2020-07-02T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。