論文の概要: Exploiting Label Skewness for Spiking Neural Networks in Federated Learning

• arxiv url: http://arxiv.org/abs/2412.17305v2
• Date: Sun, 19 Jan 2025 06:58:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 15:04:32.788572
• Title: Exploiting Label Skewness for Spiking Neural Networks in Federated Learning
• Title（参考訳）: フェデレーション学習におけるスパイクニューラルネットワークのためのラベルスキューネスの爆発
• Authors: Di Yu, Xin Du, Linshan Jiang, Huijing Zhang, Shunwen Bai, Shuiguang Deng,
• Abstract要約: FedLECは、ローカルラベル間の学習強度と、ローカルSNNモデルのバイアスを軽減するために、クライアント間知識蒸留のバランスをとるために、クライアント内ラベル量校正を取り入れている。 8つの最先端FLアルゴリズムと比較して、FedLECはグローバルSNNモデルの平均精度を約11.59%向上させる。
• 参考スコア（独自算出の注目度）: 18.846475069353364
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The energy efficiency of deep spiking neural networks (SNNs) aligns with the constraints of resource-limited edge devices, positioning SNNs as a promising foundation for intelligent applications leveraging the extensive data collected by these devices. To address data privacy concerns when deploying SNNs on edge devices, federated learning (FL) facilitates collaborative model training by leveraging data distributed across edge devices without transmitting local data to a central server. However, existing FL approaches struggle with label-skewed data across devices, which leads to drift in local SNN models and degrades the performance of the global SNN model. In this paper, we propose a novel framework called FedLEC, which incorporates intra-client label weight calibration to balance the learning intensity across local labels and inter-client knowledge distillation to mitigate local SNN model bias caused by label absence. Extensive experiments with three different structured SNNs across five datasets (i.e., three non-neuromorphic and two neuromorphic datasets) demonstrate the efficiency of FedLEC. Compared to eight state-of-the-art FL algorithms, FedLEC achieves an average accuracy improvement of approximately 11.59% for the global SNN model under various label skew distribution settings.
• Abstract（参考訳）: ディープスパイキングニューラルネットワーク(SNN)のエネルギー効率は、リソース制限されたエッジデバイスの制約と一致し、これらのデバイスによって収集された広範なデータを活用するインテリジェントなアプリケーションのための有望な基盤としてSNNを位置づけている。 エッジデバイスにSNNをデプロイする際のデータのプライバシ問題に対処するため、フェデレートラーニング(FL)は、ローカルデータを中央サーバに送信することなく、エッジデバイスに分散したデータを活用することで、協調的なモデルトレーニングを容易にする。 しかし、既存のFLアプローチは、デバイス間のラベルスキュードデータに苦しむため、ローカルSNNモデルのドリフトが発生し、グローバルSNNモデルの性能が低下する。 本稿では,ローカルラベル間の学習強度のバランスと,ラベル不在による局所的なSNNモデルバイアスを軽減するためのクライアント間知識蒸留を両立させる,FedLECと呼ばれる新しいフレームワークを提案する。 5つのデータセット(すなわち3つの非ニューロモルフィックデータセットと2つのニューロモルフィックデータセット)にわたる3つの異なる構造化SNNによる大規模な実験は、FedLECの効率を実証している。 8つの最先端FLアルゴリズムと比較して、FedLECは、様々なラベルスキュー分布設定の下で、グローバルSNNモデルの平均精度を約11.59%向上させる。

関連論文リスト

• Continuous Contrastive Learning for Long-Tailed Semi-Supervised Recognition [50.61991746981703]
  現在の最先端のLTSSLアプローチは、大規模な未ラベルデータに対して高品質な擬似ラベルに依存している。 本稿では,長期学習における様々な提案を統一する新しい確率的枠組みを提案する。 我々は、信頼度とスムーズな擬似ラベルを用いて、我々のフレームワークをラベルなしデータに拡張する、連続的コントラスト学習手法であるCCLを導入する。
  論文  参考訳（メタデータ） (2024-10-08T15:06:10Z)
• Heterogeneous Federated Learning with Convolutional and Spiking Neural Networks [17.210940028586588]
  フェデレートラーニング(FL)は、分散データ上でモデルをトレーニングするための有望なパラダイムとして登場した。 この研究は、CNN(Convoluntional Neural Network)とSNN(Biologically more plausible Spiking Neural Network)の両方を含むFLシステムのベンチマークを行う。 CNN-SNN融合フレームワークが最高の性能を示すことを示す実験結果が得られた。
  論文  参考訳（メタデータ） (2024-06-14T03:05:05Z)
• MatchNAS: Optimizing Edge AI in Sparse-Label Data Contexts via Automating Deep Neural Network Porting for Mobile Deployment [54.77943671991863]
  MatchNASはDeep Neural Networksをモバイルデバイスに移植するための新しいスキームである。 ラベル付きデータと非ラベル付きデータの両方を用いて、大規模なネットワークファミリを最適化する。 そして、さまざまなハードウェアプラットフォーム用に調整されたネットワークを自動的に検索する。
  論文  参考訳（メタデータ） (2024-02-21T04:43:12Z)
• Federated Learning with Instance-Dependent Noisy Label [6.093214616626228]
  FedBeatはIDN遷移行列(IDNTM)を用いたグローバルな統計的一貫した分類器の構築を目指している CIFAR-10 と SVHN で行った実験により,提案手法が最先端手法を著しく上回っていることを確認した。
  論文  参考訳（メタデータ） (2023-12-16T05:08:02Z)
• Exploiting Label Skews in Federated Learning with Model Concatenation [39.38427550571378]
  Federated Learning(FL)は、生データを交換することなく、さまざまなデータオーナでディープラーニングを実行するための、有望なソリューションとして登場した。 非IID型では、ラベルスキューは困難であり、画像分類やその他のタスクで一般的である。 我々は,これらの局所モデルをグローバルモデルの基礎として分解する,シンプルで効果的なアプローチであるFedConcatを提案する。
  論文  参考訳（メタデータ） (2023-12-11T10:44:52Z)
• High-performance deep spiking neural networks with 0.3 spikes per neuron [9.01407445068455]
  バイオインスパイアされたスパイクニューラルネットワーク(SNN)を人工ニューラルネットワーク(ANN)より訓練することは困難である 深部SNNモデルのトレーニングは,ANNと全く同じ性能が得られることを示す。 我々のSNNは1ニューロンあたり0.3スパイク以下で高性能な分類を行い、エネルギー効率の良い実装に役立てる。
  論文  参考訳（メタデータ） (2023-06-14T21:01:35Z)
• FedWon: Triumphing Multi-domain Federated Learning Without Normalization [50.49210227068574]
  フェデレートラーニング(FL)は、分散クライアントでの協調的なインサイトトレーニングによって、データのプライバシを高める。 しかし、フェデレーテッド・ラーニング(FL)は、非独立で同一に分散された(非i.d)データのために困難に直面する。 本稿では,FLにおける多領域問題に対処するため,FedWon(Federated Learning Without normalizations)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-09T13:18:50Z)
• All Points Matter: Entropy-Regularized Distribution Alignment for Weakly-supervised 3D Segmentation [67.30502812804271]
  擬似ラベルは、弱い教師付き3Dセグメンテーションタスクに広く使われており、学習に使えるのはスパース・グラウンド・トラス・ラベルのみである。 本稿では,生成した擬似ラベルを正規化し,擬似ラベルとモデル予測とのギャップを効果的に狭めるための新しい学習戦略を提案する。
  論文  参考訳（メタデータ） (2023-05-25T08:19:31Z)
• Sequential three-way decisions with a single hidden layer feedforward neural network [5.943305068876161]
  単一隠れ層フィードフォワードニューラルネットワーク(SFNN)におけるネットワークトポロジ構築のための3方向決定戦略が採用されている。 本稿では、構造化データセット上でのネットワーク性能を高めるために、SFNN(STWD-SFNN)を用いたSTWDを提案する。
  論文  参考訳（メタデータ） (2023-03-14T02:26:34Z)
• Optimizing Federated Learning for Medical Image Classification on Distributed Non-iid Datasets with Partial Labels [3.6704226968275258]
  FedFBNは、事前トレーニングされたネットワークをモデルバックエンドとして使用することで、トランスファーラーニングからインスピレーションを得る、フェデレーション付き学習フレームワークである。 我々は,FedFBNと現在のFL戦略を,部分ラベルと完全ラベルを持つシナリオをまたいだ合成イド玩具データセットと大規模非イドデータセットを用いて評価した。
  論文  参考訳（メタデータ） (2023-03-10T19:23:33Z)
• Communication Trade-offs in Federated Learning of Spiking Neural Networks [0.0]
  スパイキングニューラルネットワーク(SNN)は、生物学的にインスパイアされた従来のニューラルネットワーク(ANN)の代替品である 我々は、SNNを、データを共有することなく複数のローカルモデルをクライアントから集約することで高品質なグローバルモデルを作成する、フェデレートされた学習環境とみなす。 本研究では,SHDデータセットのサブセットを用いてSNNの性能を評価する。
  論文  参考訳（メタデータ） (2023-02-27T19:12:03Z)
• Training Spiking Neural Networks with Local Tandem Learning [96.32026780517097]
  スパイキングニューラルネットワーク(SNN)は、前者よりも生物学的に可塑性でエネルギー効率が高いことが示されている。 本稿では,局所タンデム学習(Local Tandem Learning, LTL)と呼ばれる一般化学習規則を提案する。 CIFAR-10データセット上の5つのトレーニングエポック内に高速なネットワーク収束を示すとともに,計算複雑性が低い。
  論文  参考訳（メタデータ） (2022-10-10T10:05:00Z)
• Batch-Ensemble Stochastic Neural Networks for Out-of-Distribution Detection [55.028065567756066]
  Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイすることの重要性から、マシンラーニングコミュニティから注目を集めている。 本稿では,特徴量の分布をモデル化した不確実な定量化手法を提案する。 バッチアンサンブルニューラルネットワーク(BE-SNN)の構築と機能崩壊問題の克服を目的として,効率的なアンサンブル機構,すなわちバッチアンサンブルを組み込んだ。 We show that BE-SNNs yield superior performance on the Two-Moons dataset, the FashionMNIST vs MNIST dataset, FashionM。
  論文  参考訳（メタデータ） (2022-06-26T16:00:22Z)
• SlimFL: Federated Learning with Superposition Coding over Slimmable Neural Networks [56.68149211499535]
  フェデレートラーニング(FL)は、デバイスの分散コンピューティング機能を活用した効率的なコミュニケーションとコンピューティングのための重要な実現手段である。 本稿では、FLと幅調整可能なスリムブルニューラルネットワーク(SNN)を統合した新しい学習フレームワークを提案する。 局所モデル更新のためのグローバルモデル集約と重ね合わせ訓練(ST)に重ね合わせ符号化(SC)を併用した通信およびエネルギー効率の高いSNNベースFL(SlimFL)を提案する。
  論文  参考訳（メタデータ） (2022-03-26T15:06:13Z)
• Heterogeneous Federated Learning via Grouped Sequential-to-Parallel Training [60.892342868936865]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ保護のためのコラボレーション機械学習パラダイムである。 本稿では,この課題に対処するため,データヘテロジニアス・ロバストFLアプローチであるFedGSPを提案する。 その結果,FedGSPは7つの最先端アプローチと比較して平均3.7%の精度向上を実現していることがわかった。
  論文  参考訳（メタデータ） (2022-01-31T03:15:28Z)
• Joint Superposition Coding and Training for Federated Learning over Multi-Width Neural Networks [52.93232352968347]
  本稿では,2つの相乗的技術,フェデレートラーニング(FL)と幅調整可能なスリムブルニューラルネットワーク(SNN)を統合することを目的とする。 FLは、ローカルに訓練されたモバイルデバイスのモデルを交換することによって、データのプライバシを保護している。しかしながら、SNNは、特に時間変化のあるチャネル条件との無線接続下では、非自明である。 局所モデル更新のためのグローバルモデル集約と重ね合わせ訓練(ST)に重ね合わせ符号化(SC)を併用した通信およびエネルギー効率の高いSNNベースFL(SlimFL)を提案する。
  論文  参考訳（メタデータ） (2021-12-05T11:17:17Z)
• Federated Learning with Spiking Neural Networks [13.09613811272936]
  従来のニューラルネットワーク(ANN)に代わるエネルギー効率の高い代替手段として、スパイキングニューラルネットワーク(SNN)が登場している SNNの分散・プライバシ保護トレーニングのための連合学習フレームワークを提案する。 フェデレーションにおいて,データを多数のクライアントに分散した場合,SNNが全体の精度で15%以上向上することが観察された。
  論文  参考訳（メタデータ） (2021-06-11T19:00:58Z)
• Learning to Solve the AC-OPF using Sensitivity-Informed Deep Neural Networks [52.32646357164739]
  最適な電力フロー(ACOPF)のソリューションを解決するために、ディープニューラルネットワーク(DNN)を提案します。 提案されたSIDNNは、幅広いOPFスキームと互換性がある。 他のLearning-to-OPFスキームとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-03-27T00:45:23Z)
• Adversarial Feature Hallucination Networks for Few-Shot Learning [84.31660118264514]
  Adversarial Feature Hallucination Networks (AFHN) は条件付き Wasserstein Generative Adversarial Network (cWGAN) に基づいている。 合成された特徴の識別性と多様性を促進するために、2つの新規レギュレータがAFHNに組み込まれている。
  論文  参考訳（メタデータ） (2020-03-30T02:43:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。