論文の概要: FedLEC: Effective Federated Learning Algorithm with Spiking Neural Networks Under Label Skews

• arxiv url: http://arxiv.org/abs/2412.17305v1
• Date: Mon, 23 Dec 2024 05:52:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 15:53:14.725130
• Title: FedLEC: Effective Federated Learning Algorithm with Spiking Neural Networks Under Label Skews
• Title（参考訳）: FedLEC:ラベルスキュー下でニューラルネットワークをスパイクする効果的なフェデレーション学習アルゴリズム
• Authors: Di Yu, Xin Du, Linshan Jiang, Shunwen Bai, Wentao Tong, Shuiguang Deng,
• Abstract要約: フェデレートラーニング(FL)とスパイキングニューラルネットワーク(SNN)は、リソース制約のあるエッジデバイス間で協調学習を行うための、よりエネルギー効率の良いスキーマを提供する可能性がある。 FLシステムにおける重要な課題の1つは、異なるクライアントからのデータはしばしば非独立で、同じ分散(非IID)であることである。 この課題に対処するために、FedLECという実践的なポストホックフレームワークを提案する。 このフレームワークは、各局所モデルの一般化能力を高めるために、局所的欠落ラベルに対応する局所ロジットを罰する。
• 参考スコア（独自算出の注目度）: 18.983916650168936
• License:
• Abstract: With the advancement of neuromorphic chips, implementing Federated Learning (FL) with Spiking Neural Networks (SNNs) potentially offers a more energy-efficient schema for collaborative learning across various resource-constrained edge devices. However, one significant challenge in the FL systems is that the data from different clients are often non-independently and identically distributed (non-IID), with label skews presenting substantial difficulties in various federated SNN learning tasks. In this study, we propose a practical post-hoc framework named FedLEC to address the challenge. This framework penalizes the corresponding local logits for locally missing labels to enhance each local model's generalization ability. Additionally, it leverages the pertinent label distribution information distilled from the global model to mitigate label bias. Extensive experiments with three different structured SNNs across five datasets (i.e., three non-neuromorphic and two neuromorphic datasets) demonstrate the efficiency of FedLEC. Compared to seven state-of-the-art FL algorithms, FedLEC achieves an average accuracy improvement of approximately 11.59\% under various label skew distribution settings.
• Abstract（参考訳）: ニューロモルフィックチップの進歩により、スパイキングニューラルネットワーク(SNN)によるフェデレートラーニング(FL)の実装は、リソースに制約のあるさまざまなエッジデバイス間で協調学習を行うための、よりエネルギー効率の良いスキーマを提供する可能性がある。 しかし、FLシステムにおける重要な課題の1つは、異なるクライアントのデータはしばしば非独立で同一の分散(非IID)であり、ラベルスキューは様々なSNN学習タスクにおいて重大な困難を呈していることである。 本研究では,この課題に対処するため,FedLECという実践的なポストホックフレームワークを提案する。 このフレームワークは、各局所モデルの一般化能力を高めるために、局所的欠落ラベルに対応する局所ロジットを罰する。 さらに,グローバルモデルから抽出した関連するラベル分布情報を活用し,ラベルバイアスを軽減する。 5つのデータセット(すなわち3つの非ニューロモルフィックデータセットと2つのニューロモルフィックデータセット)にわたる3つの異なる構造化SNNによる大規模な実験は、FedLECの効率を実証している。 7つの最先端のFLアルゴリズムと比較して、FedLECは様々なラベルスキュー分布設定で平均11.59\%の精度向上を達成する。

関連論文リスト

• Heterogeneous Federated Learning with Convolutional and Spiking Neural Networks [17.210940028586588]
  フェデレートラーニング(FL)は、分散データ上でモデルをトレーニングするための有望なパラダイムとして登場した。 この研究は、CNN(Convoluntional Neural Network)とSNN(Biologically more plausible Spiking Neural Network)の両方を含むFLシステムのベンチマークを行う。 CNN-SNN融合フレームワークが最高の性能を示すことを示す実験結果が得られた。
  論文  参考訳（メタデータ） (2024-06-14T03:05:05Z)
• MatchNAS: Optimizing Edge AI in Sparse-Label Data Contexts via Automating Deep Neural Network Porting for Mobile Deployment [54.77943671991863]
  MatchNASはDeep Neural Networksをモバイルデバイスに移植するための新しいスキームである。 ラベル付きデータと非ラベル付きデータの両方を用いて、大規模なネットワークファミリを最適化する。 そして、さまざまなハードウェアプラットフォーム用に調整されたネットワークを自動的に検索する。
  論文  参考訳（メタデータ） (2024-02-21T04:43:12Z)
• High-performance deep spiking neural networks with 0.3 spikes per neuron [9.01407445068455]
  バイオインスパイアされたスパイクニューラルネットワーク(SNN)を人工ニューラルネットワーク(ANN)より訓練することは困難である 深部SNNモデルのトレーニングは,ANNと全く同じ性能が得られることを示す。 我々のSNNは1ニューロンあたり0.3スパイク以下で高性能な分類を行い、エネルギー効率の良い実装に役立てる。
  論文  参考訳（メタデータ） (2023-06-14T21:01:35Z)
• Sequential three-way decisions with a single hidden layer feedforward neural network [5.943305068876161]
  単一隠れ層フィードフォワードニューラルネットワーク(SFNN)におけるネットワークトポロジ構築のための3方向決定戦略が採用されている。 本稿では、構造化データセット上でのネットワーク性能を高めるために、SFNN(STWD-SFNN)を用いたSTWDを提案する。
  論文  参考訳（メタデータ） (2023-03-14T02:26:34Z)
• Communication Trade-offs in Federated Learning of Spiking Neural Networks [0.0]
  スパイキングニューラルネットワーク(SNN)は、生物学的にインスパイアされた従来のニューラルネットワーク(ANN)の代替品である 我々は、SNNを、データを共有することなく複数のローカルモデルをクライアントから集約することで高品質なグローバルモデルを作成する、フェデレートされた学習環境とみなす。 本研究では,SHDデータセットのサブセットを用いてSNNの性能を評価する。
  論文  参考訳（メタデータ） (2023-02-27T19:12:03Z)
• Training Spiking Neural Networks with Local Tandem Learning [96.32026780517097]
  スパイキングニューラルネットワーク(SNN)は、前者よりも生物学的に可塑性でエネルギー効率が高いことが示されている。 本稿では,局所タンデム学習(Local Tandem Learning, LTL)と呼ばれる一般化学習規則を提案する。 CIFAR-10データセット上の5つのトレーニングエポック内に高速なネットワーク収束を示すとともに,計算複雑性が低い。
  論文  参考訳（メタデータ） (2022-10-10T10:05:00Z)
• Batch-Ensemble Stochastic Neural Networks for Out-of-Distribution Detection [55.028065567756066]
  Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイすることの重要性から、マシンラーニングコミュニティから注目を集めている。 本稿では,特徴量の分布をモデル化した不確実な定量化手法を提案する。 バッチアンサンブルニューラルネットワーク(BE-SNN)の構築と機能崩壊問題の克服を目的として,効率的なアンサンブル機構,すなわちバッチアンサンブルを組み込んだ。 We show that BE-SNNs yield superior performance on the Two-Moons dataset, the FashionMNIST vs MNIST dataset, FashionM。
  論文  参考訳（メタデータ） (2022-06-26T16:00:22Z)
• SlimFL: Federated Learning with Superposition Coding over Slimmable Neural Networks [56.68149211499535]
  フェデレートラーニング(FL)は、デバイスの分散コンピューティング機能を活用した効率的なコミュニケーションとコンピューティングのための重要な実現手段である。 本稿では、FLと幅調整可能なスリムブルニューラルネットワーク(SNN)を統合した新しい学習フレームワークを提案する。 局所モデル更新のためのグローバルモデル集約と重ね合わせ訓練(ST)に重ね合わせ符号化(SC)を併用した通信およびエネルギー効率の高いSNNベースFL(SlimFL)を提案する。
  論文  参考訳（メタデータ） (2022-03-26T15:06:13Z)
• Joint Superposition Coding and Training for Federated Learning over Multi-Width Neural Networks [52.93232352968347]
  本稿では,2つの相乗的技術,フェデレートラーニング(FL)と幅調整可能なスリムブルニューラルネットワーク(SNN)を統合することを目的とする。 FLは、ローカルに訓練されたモバイルデバイスのモデルを交換することによって、データのプライバシを保護している。しかしながら、SNNは、特に時間変化のあるチャネル条件との無線接続下では、非自明である。 局所モデル更新のためのグローバルモデル集約と重ね合わせ訓練(ST)に重ね合わせ符号化(SC)を併用した通信およびエネルギー効率の高いSNNベースFL(SlimFL)を提案する。
  論文  参考訳（メタデータ） (2021-12-05T11:17:17Z)
• Federated Learning with Spiking Neural Networks [13.09613811272936]
  従来のニューラルネットワーク(ANN)に代わるエネルギー効率の高い代替手段として、スパイキングニューラルネットワーク(SNN)が登場している SNNの分散・プライバシ保護トレーニングのための連合学習フレームワークを提案する。 フェデレーションにおいて,データを多数のクライアントに分散した場合,SNNが全体の精度で15%以上向上することが観察された。
  論文  参考訳（メタデータ） (2021-06-11T19:00:58Z)
• Learning to Solve the AC-OPF using Sensitivity-Informed Deep Neural Networks [52.32646357164739]
  最適な電力フロー(ACOPF)のソリューションを解決するために、ディープニューラルネットワーク(DNN)を提案します。 提案されたSIDNNは、幅広いOPFスキームと互換性がある。 他のLearning-to-OPFスキームとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-03-27T00:45:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。