論文の概要: FedLEC: Effective Federated Learning Algorithm with Spiking Neural Networks Under Label Skews

• arxiv url: http://arxiv.org/abs/2412.17305v1
• Date: Mon, 23 Dec 2024 05:52:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 15:53:14.725130
• Title: FedLEC: Effective Federated Learning Algorithm with Spiking Neural Networks Under Label Skews
• Title（参考訳）: FedLEC:ラベルスキュー下でニューラルネットワークをスパイクする効果的なフェデレーション学習アルゴリズム
• Authors: Di Yu, Xin Du, Linshan Jiang, Shunwen Bai, Wentao Tong, Shuiguang Deng,
• Abstract要約: フェデレートラーニング(FL)とスパイキングニューラルネットワーク(SNN)は、リソース制約のあるエッジデバイス間で協調学習を行うための、よりエネルギー効率の良いスキーマを提供する可能性がある。 FLシステムにおける重要な課題の1つは、異なるクライアントからのデータはしばしば非独立で、同じ分散(非IID)であることである。 この課題に対処するために、FedLECという実践的なポストホックフレームワークを提案する。 このフレームワークは、各局所モデルの一般化能力を高めるために、局所的欠落ラベルに対応する局所ロジットを罰する。
• 参考スコア（独自算出の注目度）: 18.983916650168936
• License:
• Abstract: With the advancement of neuromorphic chips, implementing Federated Learning (FL) with Spiking Neural Networks (SNNs) potentially offers a more energy-efficient schema for collaborative learning across various resource-constrained edge devices. However, one significant challenge in the FL systems is that the data from different clients are often non-independently and identically distributed (non-IID), with label skews presenting substantial difficulties in various federated SNN learning tasks. In this study, we propose a practical post-hoc framework named FedLEC to address the challenge. This framework penalizes the corresponding local logits for locally missing labels to enhance each local model's generalization ability. Additionally, it leverages the pertinent label distribution information distilled from the global model to mitigate label bias. Extensive experiments with three different structured SNNs across five datasets (i.e., three non-neuromorphic and two neuromorphic datasets) demonstrate the efficiency of FedLEC. Compared to seven state-of-the-art FL algorithms, FedLEC achieves an average accuracy improvement of approximately 11.59\% under various label skew distribution settings.
• Abstract（参考訳）: ニューロモルフィックチップの進歩により、スパイキングニューラルネットワーク(SNN)によるフェデレートラーニング(FL)の実装は、リソースに制約のあるさまざまなエッジデバイス間で協調学習を行うための、よりエネルギー効率の良いスキーマを提供する可能性がある。 しかし、FLシステムにおける重要な課題の1つは、異なるクライアントのデータはしばしば非独立で同一の分散(非IID)であり、ラベルスキューは様々なSNN学習タスクにおいて重大な困難を呈していることである。 本研究では,この課題に対処するため,FedLECという実践的なポストホックフレームワークを提案する。 このフレームワークは、各局所モデルの一般化能力を高めるために、局所的欠落ラベルに対応する局所ロジットを罰する。 さらに,グローバルモデルから抽出した関連するラベル分布情報を活用し,ラベルバイアスを軽減する。 5つのデータセット(すなわち3つの非ニューロモルフィックデータセットと2つのニューロモルフィックデータセット)にわたる3つの異なる構造化SNNによる大規模な実験は、FedLECの効率を実証している。 7つの最先端のFLアルゴリズムと比較して、FedLECは様々なラベルスキュー分布設定で平均11.59\%の精度向上を達成する。

関連論文リスト

• Optimizing Federated Learning by Entropy-Based Client Selection [13.851391819710367]
  ディープラーニングドメインは通常、最適なパフォーマンスのために大量のデータを必要とします。 FedOptEntは、ラベル配布スキューによるパフォーマンスの問題を軽減するように設計されている。 提案手法は,最先端のアルゴリズムを最大6%の精度で高速化する。
  論文  参考訳（メタデータ） (2024-11-02T13:31:36Z)
• Continuous Contrastive Learning for Long-Tailed Semi-Supervised Recognition [50.61991746981703]
  現在の最先端のLTSSLアプローチは、大規模な未ラベルデータに対して高品質な擬似ラベルに依存している。 本稿では,長期学習における様々な提案を統一する新しい確率的枠組みを提案する。 我々は、信頼度とスムーズな擬似ラベルを用いて、我々のフレームワークをラベルなしデータに拡張する、連続的コントラスト学習手法であるCCLを導入する。
  論文  参考訳（メタデータ） (2024-10-08T15:06:10Z)
• Deep Dependency Networks and Advanced Inference Schemes for Multi-Label Classification [7.643377057724898]
  我々は、ディープ・ディペンデンス・ネットワーク(DDN)と呼ばれる統合されたフレームワークを提案する。 DDNは依存ネットワークと深層学習アーキテクチャを組み合わせてマルチラベル分類を行う。 マルコフネットワークと比較してDDNの欠点は、高度な推論スキームがないことである。
  論文  参考訳（メタデータ） (2024-04-17T18:04:37Z)
• Federated Learning with Instance-Dependent Noisy Label [6.093214616626228]
  FedBeatはIDN遷移行列(IDNTM)を用いたグローバルな統計的一貫した分類器の構築を目指している CIFAR-10 と SVHN で行った実験により,提案手法が最先端手法を著しく上回っていることを確認した。
  論文  参考訳（メタデータ） (2023-12-16T05:08:02Z)
• Exploiting Label Skews in Federated Learning with Model Concatenation [39.38427550571378]
  Federated Learning(FL)は、生データを交換することなく、さまざまなデータオーナでディープラーニングを実行するための、有望なソリューションとして登場した。 非IID型では、ラベルスキューは困難であり、画像分類やその他のタスクで一般的である。 我々は,これらの局所モデルをグローバルモデルの基礎として分解する,シンプルで効果的なアプローチであるFedConcatを提案する。
  論文  参考訳（メタデータ） (2023-12-11T10:44:52Z)
• FedWon: Triumphing Multi-domain Federated Learning Without Normalization [50.49210227068574]
  フェデレートラーニング(FL)は、分散クライアントでの協調的なインサイトトレーニングによって、データのプライバシを高める。 しかし、フェデレーテッド・ラーニング(FL)は、非独立で同一に分散された(非i.d)データのために困難に直面する。 本稿では,FLにおける多領域問題に対処するため,FedWon(Federated Learning Without normalizations)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-09T13:18:50Z)
• All Points Matter: Entropy-Regularized Distribution Alignment for Weakly-supervised 3D Segmentation [67.30502812804271]
  擬似ラベルは、弱い教師付き3Dセグメンテーションタスクに広く使われており、学習に使えるのはスパース・グラウンド・トラス・ラベルのみである。 本稿では,生成した擬似ラベルを正規化し,擬似ラベルとモデル予測とのギャップを効果的に狭めるための新しい学習戦略を提案する。
  論文  参考訳（メタデータ） (2023-05-25T08:19:31Z)
• Optimizing Federated Learning for Medical Image Classification on Distributed Non-iid Datasets with Partial Labels [3.6704226968275258]
  FedFBNは、事前トレーニングされたネットワークをモデルバックエンドとして使用することで、トランスファーラーニングからインスピレーションを得る、フェデレーション付き学習フレームワークである。 我々は,FedFBNと現在のFL戦略を,部分ラベルと完全ラベルを持つシナリオをまたいだ合成イド玩具データセットと大規模非イドデータセットを用いて評価した。
  論文  参考訳（メタデータ） (2023-03-10T19:23:33Z)
• Heterogeneous Federated Learning via Grouped Sequential-to-Parallel Training [60.892342868936865]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ保護のためのコラボレーション機械学習パラダイムである。 本稿では,この課題に対処するため,データヘテロジニアス・ロバストFLアプローチであるFedGSPを提案する。 その結果,FedGSPは7つの最先端アプローチと比較して平均3.7%の精度向上を実現していることがわかった。
  論文  参考訳（メタデータ） (2022-01-31T03:15:28Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• Adversarial Feature Hallucination Networks for Few-Shot Learning [84.31660118264514]
  Adversarial Feature Hallucination Networks (AFHN) は条件付き Wasserstein Generative Adversarial Network (cWGAN) に基づいている。 合成された特徴の識別性と多様性を促進するために、2つの新規レギュレータがAFHNに組み込まれている。
  論文  参考訳（メタデータ） (2020-03-30T02:43:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。