論文の概要: The Robustness of Spiking Neural Networks in Communication and its Application towards Network Efficiency in Federated Learning
- arxiv url: http://arxiv.org/abs/2409.12769v1
- Date: Thu, 19 Sep 2024 13:37:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-07 13:34:43.222977
- Title: The Robustness of Spiking Neural Networks in Communication and its Application towards Network Efficiency in Federated Learning
- Title（参考訳）: コミュニケーションにおけるスパイクニューラルネットワークのロバスト性とそのフェデレーション学習におけるネットワーク効率への応用
- Authors: Manh V. Nguyen, Liang Zhao, Bobin Deng, William Severa, Honghui Xu, Shaoen Wu,
- Abstract要約: スパイキングニューラルネットワーク(SNN)は最近、組み込みデバイスでのオンチップ学習に多大な関心を集めている。
本稿では,フェデレートラーニングにおける雑音の多いコミュニケーション下でのSNNの本質的ロバスト性について検討する。
FLトレーニングにおける帯域幅の削減を目的とした,TopKスパシフィケーションを用いた新しいフェデレートラーニングアルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 6.9569682335746235
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spiking Neural Networks (SNNs) have recently gained significant interest in on-chip learning in embedded devices and emerged as an energy-efficient alternative to conventional Artificial Neural Networks (ANNs). However, to extend SNNs to a Federated Learning (FL) setting involving collaborative model training, the communication between the local devices and the remote server remains the bottleneck, which is often restricted and costly. In this paper, we first explore the inherent robustness of SNNs under noisy communication in FL. Building upon this foundation, we propose a novel Federated Learning with Top-K Sparsification (FLTS) algorithm to reduce the bandwidth usage for FL training. We discover that the proposed scheme with SNNs allows more bandwidth savings compared to ANNs without impacting the model's accuracy. Additionally, the number of parameters to be communicated can be reduced to as low as 6 percent of the size of the original model. We further improve the communication efficiency by enabling dynamic parameter compression during model training. Extensive experiment results demonstrate that our proposed algorithms significantly outperform the baselines in terms of communication cost and model accuracy and are promising for practical network-efficient FL with SNNs.
- Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は最近、組み込みデバイスにおけるオンチップ学習に大きな関心を集め、従来のニューラルネットワーク(ANN)に代わるエネルギー効率の高い代替品として登場した。
しかし、SNNをコラボレーティブモデルトレーニングを含むフェデレートラーニング(FL)環境に拡張するためには、ローカルデバイスとリモートサーバ間の通信がボトルネックのままであり、しばしば制限されコストがかかる。
本稿では,FLにおける雑音伝達下でのSNNの固有ロバスト性について検討する。
そこで本研究では,FLトレーニングにおける帯域幅の削減を目的とした,FLTS(Federated Learning with Top-K Sparsification)アルゴリズムを提案する。
SNNを用いた提案手法により,モデル精度に影響を与えることなく,ANNよりも帯域幅の節約が可能であることが判明した。
さらに、通信すべきパラメータの数は、元のモデルのサイズの6%まで削減できる。
モデルトレーニング中に動的パラメータ圧縮を行うことで通信効率をさらに向上する。
実験の結果,提案アルゴリズムは通信コストやモデル精度の点でベースラインを著しく上回り,SNNを用いた実用的なネットワーク効率FLの実現が期待できることがわかった。
関連論文リスト
- Training-free Conversion of Pretrained ANNs to SNNs for Low-Power and High-Performance Applications [23.502136316777058]
人工ニューラルネットワーク(ANN)の代替としてスパイキングニューラルネットワーク(SNN)が登場した
SNNの既存の教師付き学習アルゴリズムは、ANNのアルゴリズムよりもはるかに多くのメモリと時間を必要とする。
提案手法は,事前学習したANNモデルを,追加訓練を伴わずに,高性能なSNNに変換する。
論文 参考訳（メタデータ） (2024-09-05T09:14:44Z) - LC-TTFS: Towards Lossless Network Conversion for Spiking Neural Networks
with TTFS Coding [55.64533786293656]
我々は,AIタスクにおいて,ANNのアクティベーション値とSNNのスパイク時間とのほぼ完全なマッピングを実現することができることを示す。
この研究は、電力制約のあるエッジコンピューティングプラットフォームに超低消費電力のTTFSベースのSNNをデプロイする方法を舗装している。
論文 参考訳（メタデータ） (2023-10-23T14:26:16Z) - Skip Connections in Spiking Neural Networks: An Analysis of Their Effect
on Network Training [0.8602553195689513]
従来の人工ニューラルネットワーク(ANN)の代替として、スパイキングニューラルネットワーク(SNN)が注目を集めている。
本稿では,SNNにおけるスキップ接続の影響について検討し,ANNからSNNへのモデル適応を行うハイパーパラメータ最適化手法を提案する。
本研究では,SNNの位置,タイプ,回数を最適化することで,SNNの精度と効率を大幅に向上させることができることを示す。
論文 参考訳（メタデータ） (2023-03-23T07:57:32Z) - Training Spiking Neural Networks with Local Tandem Learning [96.32026780517097]
スパイキングニューラルネットワーク(SNN)は、前者よりも生物学的に可塑性でエネルギー効率が高いことが示されている。
本稿では,局所タンデム学習(Local Tandem Learning, LTL)と呼ばれる一般化学習規則を提案する。
CIFAR-10データセット上の5つのトレーニングエポック内に高速なネットワーク収束を示すとともに,計算複雑性が低い。
論文 参考訳（メタデータ） (2022-10-10T10:05:00Z) - Comparative Analysis of Interval Reachability for Robust Implicit and
Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。
INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。
提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文 参考訳（メタデータ） (2022-04-01T03:31:27Z) - Joint Superposition Coding and Training for Federated Learning over
Multi-Width Neural Networks [52.93232352968347]
本稿では,2つの相乗的技術,フェデレートラーニング(FL)と幅調整可能なスリムブルニューラルネットワーク(SNN)を統合することを目的とする。
FLは、ローカルに訓練されたモバイルデバイスのモデルを交換することによって、データのプライバシを保護している。しかしながら、SNNは、特に時間変化のあるチャネル条件との無線接続下では、非自明である。
局所モデル更新のためのグローバルモデル集約と重ね合わせ訓練(ST)に重ね合わせ符号化(SC)を併用した通信およびエネルギー効率の高いSNNベースFL(SlimFL)を提案する。
論文 参考訳（メタデータ） (2021-12-05T11:17:17Z) - Federated Learning over Wireless IoT Networks with Optimized
Communication and Resources [98.18365881575805]
協調学習技術のパラダイムとしてのフェデレートラーニング(FL)は研究の注目を集めている。
無線システム上での高速応答および高精度FLスキームの検証が重要である。
提案する通信効率のよいフェデレーション学習フレームワークは,強い線形速度で収束することを示す。
論文 参考訳（メタデータ） (2021-10-22T13:25:57Z) - Communication-Efficient Federated Learning with Binary Neural Networks [15.614120327271557]
フェデレート・ラーニング(Federated Learning, FL)は、プライバシ保護のための機械学習環境である。
FLは、トレーニングをコーディネートするすべてのクライアントとサーバ間のパラメータの頻繁な交換を伴う。
本稿では,通常の実数値ニューラルネットワークの代わりに,FL設定におけるバイナリニューラルネットワーク(BNN)のトレーニングを検討する。
論文 参考訳（メタデータ） (2021-10-05T15:59:49Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z) - Distilling Spikes: Knowledge Distillation in Spiking Neural Networks [22.331135708302586]
Spiking Neural Networks (SNN) は、情報処理のためにスパイクを交換するエネルギー効率の高いコンピューティングアーキテクチャである。
画像分類のためのスパイクニューラルネットワークにおける知識蒸留手法を提案する。
我々のアプローチは、リソース制約のあるハードウェアプラットフォーム上で、高性能な大規模SNNモデルをデプロイするための新たな道を開くことが期待されている。
論文 参考訳（メタデータ） (2020-05-01T09:36:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。