論文の概要: FedLEC: Effective Federated Learning Algorithm with Spiking Neural Networks Under Label Skews

• arxiv url: http://arxiv.org/abs/2412.17305v1
• Date: Mon, 23 Dec 2024 05:52:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 19:42:48.344124
• Title: FedLEC: Effective Federated Learning Algorithm with Spiking Neural Networks Under Label Skews
• Title（参考訳）: FedLEC:ラベルスキュー下でニューラルネットワークをスパイクする効果的なフェデレーション学習アルゴリズム
• Authors: Di Yu, Xin Du, Linshan Jiang, Shunwen Bai, Wentao Tong, Shuiguang Deng,
• Abstract要約: フェデレートラーニング(FL)とスパイキングニューラルネットワーク(SNN)は、リソース制約のあるエッジデバイス間で協調学習を行うための、よりエネルギー効率の良いスキーマを提供する可能性がある。 FLシステムにおける重要な課題の1つは、異なるクライアントからのデータはしばしば非独立で、同じ分散(非IID)であることである。 この課題に対処するために、FedLECという実践的なポストホックフレームワークを提案する。 このフレームワークは、各局所モデルの一般化能力を高めるために、局所的欠落ラベルに対応する局所ロジットを罰する。
• 参考スコア（独自算出の注目度）: 18.983916650168936
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: With the advancement of neuromorphic chips, implementing Federated Learning (FL) with Spiking Neural Networks (SNNs) potentially offers a more energy-efficient schema for collaborative learning across various resource-constrained edge devices. However, one significant challenge in the FL systems is that the data from different clients are often non-independently and identically distributed (non-IID), with label skews presenting substantial difficulties in various federated SNN learning tasks. In this study, we propose a practical post-hoc framework named FedLEC to address the challenge. This framework penalizes the corresponding local logits for locally missing labels to enhance each local model's generalization ability. Additionally, it leverages the pertinent label distribution information distilled from the global model to mitigate label bias. Extensive experiments with three different structured SNNs across five datasets (i.e., three non-neuromorphic and two neuromorphic datasets) demonstrate the efficiency of FedLEC. Compared to seven state-of-the-art FL algorithms, FedLEC achieves an average accuracy improvement of approximately 11.59\% under various label skew distribution settings.
• Abstract（参考訳）: ニューロモルフィックチップの進歩により、スパイキングニューラルネットワーク(SNN)によるフェデレートラーニング(FL)の実装は、リソースに制約のあるさまざまなエッジデバイス間で協調学習を行うための、よりエネルギー効率の良いスキーマを提供する可能性がある。 しかし、FLシステムにおける重要な課題の1つは、異なるクライアントのデータはしばしば非独立で同一の分散(非IID)であり、ラベルスキューは様々なSNN学習タスクにおいて重大な困難を呈していることである。 本研究では,この課題に対処するため,FedLECという実践的なポストホックフレームワークを提案する。 このフレームワークは、各局所モデルの一般化能力を高めるために、局所的欠落ラベルに対応する局所ロジットを罰する。 さらに,グローバルモデルから抽出した関連するラベル分布情報を活用し,ラベルバイアスを軽減する。 5つのデータセット(すなわち3つの非ニューロモルフィックデータセットと2つのニューロモルフィックデータセット)にわたる3つの異なる構造化SNNによる大規模な実験は、FedLECの効率を実証している。 7つの最先端のFLアルゴリズムと比較して、FedLECは様々なラベルスキュー分布設定で平均11.59\%の精度向上を達成する。

関連論文リスト

• Continuous Contrastive Learning for Long-Tailed Semi-Supervised Recognition [50.61991746981703]
  現在の最先端のLTSSLアプローチは、大規模な未ラベルデータに対して高品質な擬似ラベルに依存している。 本稿では,長期学習における様々な提案を統一する新しい確率的枠組みを提案する。 我々は、信頼度とスムーズな擬似ラベルを用いて、我々のフレームワークをラベルなしデータに拡張する、連続的コントラスト学習手法であるCCLを導入する。
  論文  参考訳（メタデータ） (2024-10-08T15:06:10Z)
• Heterogeneous Federated Learning with Convolutional and Spiking Neural Networks [17.210940028586588]
  フェデレートラーニング(FL)は、分散データ上でモデルをトレーニングするための有望なパラダイムとして登場した。 この研究は、CNN(Convoluntional Neural Network)とSNN(Biologically more plausible Spiking Neural Network)の両方を含むFLシステムのベンチマークを行う。 CNN-SNN融合フレームワークが最高の性能を示すことを示す実験結果が得られた。
  論文  参考訳（メタデータ） (2024-06-14T03:05:05Z)
• MatchNAS: Optimizing Edge AI in Sparse-Label Data Contexts via Automating Deep Neural Network Porting for Mobile Deployment [54.77943671991863]
  MatchNASはDeep Neural Networksをモバイルデバイスに移植するための新しいスキームである。 ラベル付きデータと非ラベル付きデータの両方を用いて、大規模なネットワークファミリを最適化する。 そして、さまざまなハードウェアプラットフォーム用に調整されたネットワークを自動的に検索する。
  論文  参考訳（メタデータ） (2024-02-21T04:43:12Z)
• Federated Learning with Instance-Dependent Noisy Label [6.093214616626228]
  FedBeatはIDN遷移行列(IDNTM)を用いたグローバルな統計的一貫した分類器の構築を目指している CIFAR-10 と SVHN で行った実験により,提案手法が最先端手法を著しく上回っていることを確認した。
  論文  参考訳（メタデータ） (2023-12-16T05:08:02Z)
• Exploiting Label Skews in Federated Learning with Model Concatenation [39.38427550571378]
  Federated Learning(FL)は、生データを交換することなく、さまざまなデータオーナでディープラーニングを実行するための、有望なソリューションとして登場した。 非IID型では、ラベルスキューは困難であり、画像分類やその他のタスクで一般的である。 我々は,これらの局所モデルをグローバルモデルの基礎として分解する,シンプルで効果的なアプローチであるFedConcatを提案する。
  論文  参考訳（メタデータ） (2023-12-11T10:44:52Z)
• High-performance deep spiking neural networks with 0.3 spikes per neuron [9.01407445068455]
  バイオインスパイアされたスパイクニューラルネットワーク(SNN)を人工ニューラルネットワーク(ANN)より訓練することは困難である 深部SNNモデルのトレーニングは,ANNと全く同じ性能が得られることを示す。 我々のSNNは1ニューロンあたり0.3スパイク以下で高性能な分類を行い、エネルギー効率の良い実装に役立てる。
  論文  参考訳（メタデータ） (2023-06-14T21:01:35Z)
• FedWon: Triumphing Multi-domain Federated Learning Without Normalization [50.49210227068574]
  フェデレートラーニング(FL)は、分散クライアントでの協調的なインサイトトレーニングによって、データのプライバシを高める。 しかし、フェデレーテッド・ラーニング(FL)は、非独立で同一に分散された(非i.d)データのために困難に直面する。 本稿では,FLにおける多領域問題に対処するため,FedWon(Federated Learning Without normalizations)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-09T13:18:50Z)
• All Points Matter: Entropy-Regularized Distribution Alignment for Weakly-supervised 3D Segmentation [67.30502812804271]
  擬似ラベルは、弱い教師付き3Dセグメンテーションタスクに広く使われており、学習に使えるのはスパース・グラウンド・トラス・ラベルのみである。 本稿では,生成した擬似ラベルを正規化し,擬似ラベルとモデル予測とのギャップを効果的に狭めるための新しい学習戦略を提案する。
  論文  参考訳（メタデータ） (2023-05-25T08:19:31Z)
• Sequential three-way decisions with a single hidden layer feedforward neural network [5.943305068876161]
  単一隠れ層フィードフォワードニューラルネットワーク(SFNN)におけるネットワークトポロジ構築のための3方向決定戦略が採用されている。 本稿では、構造化データセット上でのネットワーク性能を高めるために、SFNN(STWD-SFNN)を用いたSTWDを提案する。
  論文  参考訳（メタデータ） (2023-03-14T02:26:34Z)
• Optimizing Federated Learning for Medical Image Classification on Distributed Non-iid Datasets with Partial Labels [3.6704226968275258]
  FedFBNは、事前トレーニングされたネットワークをモデルバックエンドとして使用することで、トランスファーラーニングからインスピレーションを得る、フェデレーション付き学習フレームワークである。 我々は,FedFBNと現在のFL戦略を,部分ラベルと完全ラベルを持つシナリオをまたいだ合成イド玩具データセットと大規模非イドデータセットを用いて評価した。
  論文  参考訳（メタデータ） (2023-03-10T19:23:33Z)
• Communication Trade-offs in Federated Learning of Spiking Neural Networks [0.0]
  スパイキングニューラルネットワーク(SNN)は、生物学的にインスパイアされた従来のニューラルネットワーク(ANN)の代替品である 我々は、SNNを、データを共有することなく複数のローカルモデルをクライアントから集約することで高品質なグローバルモデルを作成する、フェデレートされた学習環境とみなす。 本研究では,SHDデータセットのサブセットを用いてSNNの性能を評価する。
  論文  参考訳（メタデータ） (2023-02-27T19:12:03Z)
• Training Spiking Neural Networks with Local Tandem Learning [96.32026780517097]
  スパイキングニューラルネットワーク(SNN)は、前者よりも生物学的に可塑性でエネルギー効率が高いことが示されている。 本稿では,局所タンデム学習(Local Tandem Learning, LTL)と呼ばれる一般化学習規則を提案する。 CIFAR-10データセット上の5つのトレーニングエポック内に高速なネットワーク収束を示すとともに,計算複雑性が低い。
  論文  参考訳（メタデータ） (2022-10-10T10:05:00Z)
• Batch-Ensemble Stochastic Neural Networks for Out-of-Distribution Detection [55.028065567756066]
  Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイすることの重要性から、マシンラーニングコミュニティから注目を集めている。 本稿では,特徴量の分布をモデル化した不確実な定量化手法を提案する。 バッチアンサンブルニューラルネットワーク(BE-SNN)の構築と機能崩壊問題の克服を目的として,効率的なアンサンブル機構,すなわちバッチアンサンブルを組み込んだ。 We show that BE-SNNs yield superior performance on the Two-Moons dataset, the FashionMNIST vs MNIST dataset, FashionM。
  論文  参考訳（メタデータ） (2022-06-26T16:00:22Z)
• SlimFL: Federated Learning with Superposition Coding over Slimmable Neural Networks [56.68149211499535]
  フェデレートラーニング(FL)は、デバイスの分散コンピューティング機能を活用した効率的なコミュニケーションとコンピューティングのための重要な実現手段である。 本稿では、FLと幅調整可能なスリムブルニューラルネットワーク(SNN)を統合した新しい学習フレームワークを提案する。 局所モデル更新のためのグローバルモデル集約と重ね合わせ訓練(ST)に重ね合わせ符号化(SC)を併用した通信およびエネルギー効率の高いSNNベースFL(SlimFL)を提案する。
  論文  参考訳（メタデータ） (2022-03-26T15:06:13Z)
• Heterogeneous Federated Learning via Grouped Sequential-to-Parallel Training [60.892342868936865]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ保護のためのコラボレーション機械学習パラダイムである。 本稿では,この課題に対処するため,データヘテロジニアス・ロバストFLアプローチであるFedGSPを提案する。 その結果,FedGSPは7つの最先端アプローチと比較して平均3.7%の精度向上を実現していることがわかった。
  論文  参考訳（メタデータ） (2022-01-31T03:15:28Z)
• Joint Superposition Coding and Training for Federated Learning over Multi-Width Neural Networks [52.93232352968347]
  本稿では,2つの相乗的技術,フェデレートラーニング(FL)と幅調整可能なスリムブルニューラルネットワーク(SNN)を統合することを目的とする。 FLは、ローカルに訓練されたモバイルデバイスのモデルを交換することによって、データのプライバシを保護している。しかしながら、SNNは、特に時間変化のあるチャネル条件との無線接続下では、非自明である。 局所モデル更新のためのグローバルモデル集約と重ね合わせ訓練(ST)に重ね合わせ符号化(SC)を併用した通信およびエネルギー効率の高いSNNベースFL(SlimFL)を提案する。
  論文  参考訳（メタデータ） (2021-12-05T11:17:17Z)
• Federated Learning with Spiking Neural Networks [13.09613811272936]
  従来のニューラルネットワーク(ANN)に代わるエネルギー効率の高い代替手段として、スパイキングニューラルネットワーク(SNN)が登場している SNNの分散・プライバシ保護トレーニングのための連合学習フレームワークを提案する。 フェデレーションにおいて,データを多数のクライアントに分散した場合,SNNが全体の精度で15%以上向上することが観察された。
  論文  参考訳（メタデータ） (2021-06-11T19:00:58Z)
• Learning to Solve the AC-OPF using Sensitivity-Informed Deep Neural Networks [52.32646357164739]
  最適な電力フロー(ACOPF)のソリューションを解決するために、ディープニューラルネットワーク(DNN)を提案します。 提案されたSIDNNは、幅広いOPFスキームと互換性がある。 他のLearning-to-OPFスキームとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-03-27T00:45:23Z)
• Adversarial Feature Hallucination Networks for Few-Shot Learning [84.31660118264514]
  Adversarial Feature Hallucination Networks (AFHN) は条件付き Wasserstein Generative Adversarial Network (cWGAN) に基づいている。 合成された特徴の識別性と多様性を促進するために、2つの新規レギュレータがAFHNに組み込まれている。
  論文  参考訳（メタデータ） (2020-03-30T02:43:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。