論文の概要: Communication Trade-offs in Federated Learning of Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2303.00928v1
• Date: Mon, 27 Feb 2023 19:12:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-03 16:19:24.150098
• Title: Communication Trade-offs in Federated Learning of Spiking Neural Networks
• Title（参考訳）: スパイクニューラルネットワークのフェデレーション学習におけるコミュニケーショントレードオフ
• Authors: Soumi Chaki, David Weinberg, and Ayca \"Ozcelikkale
• Abstract要約: スパイキングニューラルネットワーク(SNN)は、生物学的にインスパイアされた従来のニューラルネットワーク(ANN)の代替品である 我々は、SNNを、データを共有することなく複数のローカルモデルをクライアントから集約することで高品質なグローバルモデルを作成する、フェデレートされた学習環境とみなす。 本研究では,SHDデータセットのサブセットを用いてSNNの性能を評価する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spiking Neural Networks (SNNs) are biologically inspired alternatives to conventional Artificial Neural Networks (ANNs). Despite promising preliminary results, the trade-offs in the training of SNNs in a distributed scheme are not well understood. Here, we consider SNNs in a federated learning setting where a high-quality global model is created by aggregating multiple local models from the clients without sharing any data. We investigate federated learning for training multiple SNNs at clients when two mechanisms reduce the uplink communication cost: i) random masking of the model updates sent from the clients to the server; and ii) client dropouts where some clients do not send their updates to the server. We evaluated the performance of the SNNs using a subset of the Spiking Heidelberg digits (SHD) dataset. The results show that a trade-off between the random masking and the client drop probabilities is crucial to obtain a satisfactory performance for a fixed number of clients.
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、生物学的にインスパイアされた従来のニューラルネットワーク(ANN)の代替品である。 有望な予備的な結果にもかかわらず、分散スキームにおけるSNNのトレーニングにおけるトレードオフはよく理解されていない。 本稿では、SNNを、データを共有することなく複数のローカルモデルをクライアントから集約することで高品質なグローバルモデルを作成するフェデレート学習環境で考える。 2つのメカニズムがアップリンク通信コストを削減する場合、複数のSNNをクライアントで訓練するための連合学習について検討する。 一 クライアントからサーバに送信されたモデル更新のランダムマスキング 二 クライアントがサーバに更新を送信しないクライアントのドロップアウト 我々はSNNの性能を、Spyking Heidelberg digits (SHD) データセットのサブセットを用いて評価した。 その結果, ランダムマスキングとクライアントドロップ確率のトレードオフは, 一定数のクライアントに対して良好な性能を得るために重要であることがわかった。

関連論文リスト

• Spiking Neural Networks in Vertical Federated Learning: Performance Trade-offs [2.1756721838833797]
  フェデレートされた機械学習は、複数のクライアントにわたるモデルトレーニングを可能にする。 Vertical Federated Learning (VFL)は、クライアントが同じサンプルの異なる機能セットを持つインスタンスを扱う。 スパイキングニューラルネットワーク(SNN)は、エッジでの高速かつ正確な処理を可能にするために活用されている。
  論文  参考訳（メタデータ） (2024-07-24T23:31:02Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Deep Learning in Spiking Phasor Neural Networks [0.6767885381740952]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシで低消費電力のニューロモルフィックハードウェアで使用するために、ディープラーニングコミュニティの注目を集めている。 本稿では,Spking Phasor Neural Networks(SPNN)を紹介する。 SPNNは複雑に評価されたディープニューラルネットワーク(DNN)に基づいており、スパイク時間による位相を表す。
  論文  参考訳（メタデータ） (2022-04-01T15:06:15Z)
• Architecture Agnostic Federated Learning for Neural Networks [19.813602191888837]
  この研究は、FedHeNN(Federated Heterogeneous Neural Networks)フレームワークを導入している。 FedHeNNは、クライアント間の共通アーキテクチャを強制することなく、各クライアントがパーソナライズされたモデルを構築することを可能にする。 FedHeNNのキーとなるアイデアは、ピアクライアントから取得したインスタンスレベルの表現を使用して、各クライアントの同時トレーニングをガイドすることだ。
  論文  参考訳（メタデータ） (2022-02-15T22:16:06Z)
• Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for Event-Based Vision [64.71260357476602]
  イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。 イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。 本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-12-06T23:45:58Z)
• Federated Learning with Spiking Neural Networks [13.09613811272936]
  従来のニューラルネットワーク(ANN)に代わるエネルギー効率の高い代替手段として、スパイキングニューラルネットワーク(SNN)が登場している SNNの分散・プライバシ保護トレーニングのための連合学習フレームワークを提案する。 フェデレーションにおいて,データを多数のクライアントに分散した場合,SNNが全体の精度で15%以上向上することが観察された。
  論文  参考訳（メタデータ） (2021-06-11T19:00:58Z)
• Skip-Connected Self-Recurrent Spiking Neural Networks with Joint Intrinsic Parameter and Synaptic Weight Training [14.992756670960008]
  我々はSkip-Connected Self-Recurrent SNNs (ScSr-SNNs) と呼ばれる新しいタイプのRSNNを提案する。 ScSr-SNNは、最先端BP法で訓練された他のタイプのRSNNと比較して、パフォーマンスを最大2.55%向上させることができる。
  論文  参考訳（メタデータ） (2020-10-23T22:27:13Z)
• Adversarial Robustness through Bias Variance Decomposition: A New Perspective for Federated Learning [41.525434598682764]
  フェデレーション学習は、プライバシ保護制約の下で分散クライアントのグループからの知識を集約することで、ニューラルネットワークモデルを学ぶ。 このパラダイムは、集中型ニューラルネットワークの敵対的脆弱性を継承する可能性がある。 本稿では,サーバとクライアントの更新機構を改善したFed_BVAという,対角的に堅牢なフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-09-18T18:58:25Z)
• Neural Networks Enhancement with Logical Knowledge [83.9217787335878]
  関係データに対するKENNの拡張を提案する。 その結果、KENNは、存在関係データにおいても、基礎となるニューラルネットワークの性能を高めることができることがわかった。
  論文  参考訳（メタデータ） (2020-09-13T21:12:20Z)
• Multi-Sample Online Learning for Probabilistic Spiking Neural Networks [43.8805663900608]
  スパイキングニューラルネットワーク(SNN)は、推論と学習のための生物学的脳の効率の一部をキャプチャする。 本稿では,一般化予測最大化(GEM)に基づくオンライン学習ルールを提案する。 標準ニューロモルフィックデータセットにおける構造化された出力記憶と分類実験の結果,ログの類似性,精度,キャリブレーションの点で大きな改善が見られた。
  論文  参考訳（メタデータ） (2020-07-23T10:03:58Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。