Fugu-MT 論文翻訳(概要): KoReA-SFL: Knowledge Replay-based Split Federated Learning Against Catastrophic Forgetting

論文の概要: KoReA-SFL: Knowledge Replay-based Split Federated Learning Against Catastrophic Forgetting

arxiv url: http://arxiv.org/abs/2404.12846v1
Date: Fri, 19 Apr 2024 12:26:45 GMT
ステータス: 処理完了
システム内更新日: 2024-04-22 15:07:01.792598
Title: KoReA-SFL: Knowledge Replay-based Split Federated Learning Against Catastrophic Forgetting
Title（参考訳）: KoReA-SFL: ナレッジ・リプレイに基づく破滅的フォーミングに対する分割学習
Authors: Zeke Xia, Ming Hu, Dengke Yan, Ruixuan Liu, Anran Li, Xiaofei Xie, Mingsong Chen,
Abstract要約: Split Federated Learning (SFL) は、リソース制約のあるクライアント間で知識を共有するのに長けているが、訓練精度の低い問題に悩まされている。異種データによる勾配のばらつきを軽減するために,多モデルアグリゲーション機構を採用した新しいSFL手法KoReA-SFLを提案する。非IIDおよびIDシナリオから得られた実験結果から,KoReA-SFLは従来のSFL法よりも有意に優れていた。
参考スコア（独自算出の注目度）: 22.361884733942965
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Although Split Federated Learning (SFL) is good at enabling knowledge sharing among resource-constrained clients, it suffers from the problem of low training accuracy due to the neglect of data heterogeneity and catastrophic forgetting. To address this issue, we propose a novel SFL approach named KoReA-SFL, which adopts a multi-model aggregation mechanism to alleviate gradient divergence caused by heterogeneous data and a knowledge replay strategy to deal with catastrophic forgetting. Specifically, in KoReA-SFL cloud servers (i.e., fed server and main server) maintain multiple branch model portions rather than a global portion for local training and an aggregated master-model portion for knowledge sharing among branch portions. To avoid catastrophic forgetting, the main server of KoReA-SFL selects multiple assistant devices for knowledge replay according to the training data distribution of each server-side branch-model portion. Experimental results obtained from non-IID and IID scenarios demonstrate that KoReA-SFL significantly outperforms conventional SFL methods (by up to 23.25\% test accuracy improvement).
Abstract（参考訳）: スプリット・フェデレート・ラーニング(SFL)は、リソース制約のあるクライアント間での知識共有に長けているが、データの不均一性や破滅的な忘れ込みの欠如による訓練精度の低下に悩まされている。この問題に対処するために,不均一なデータによる勾配のばらつきを軽減するため,マルチモデルアグリゲーション機構を採用したKoReA-SFLという新しいSFL手法と,破滅的な忘れを解消するための知識再生戦略を提案する。具体的には、KoReA-SFLクラウドサーバ(すなわち、フィードサーバとメインサーバ)では、ローカルトレーニングのグローバル部分よりも複数のブランチモデル部分と、ブランチ間の知識共有のための集約されたマスタモデル部分を維持している。破滅的な忘れ物を避けるため、KoReA-SFLのメインサーバは、各サーバ側ブランチモデル部のトレーニングデータ分布に応じて、知識再生のための複数のアシスタント装置を選択する。非IIDおよびIDシナリオから得られた実験結果は、KoReA-SFLが従来のSFL法(最大23.25倍の精度向上)よりも大幅に優れていたことを示している。

関連論文リスト

R-SFLLM: Jamming Resilient Framework for Split Federated Learning with Large Language Models [83.77114091471822]
Split Federated Learning (SFL)は、分散機械学習(ML)における計算効率のパラダイムである。 SFLの課題は、特に無線チャネル上に展開する場合、送信されたモデルパラメータが相手のジャミングに感受性を持つことである。これは、言語理解に不可欠である大規模言語モデル(LLM)における単語埋め込みパラメータに対して特に顕著である。無線ネットワーク上でのLLM(R-SFLLM)を用いたレジリエンスSFLのための物理層フレームワークを開発した。
論文参考訳（メタデータ） (2024-07-16T12:21:29Z)
Communication Efficient ConFederated Learning: An Event-Triggered SAGA Approach [67.27031215756121]
Federated Learning(FL)は、さまざまなデータソース上のローカルデータを収集することなく、モデルトレーニングをターゲットとする機械学習パラダイムである。単一のサーバを使用するStandard FLは、限られた数のユーザしかサポートできないため、学習能力の低下につながる。本研究では,多数のユーザに対応するために,emphConfederated Learning(CFL)と呼ばれるマルチサーバFLフレームワークを検討する。
論文参考訳（メタデータ） (2024-02-28T03:27:10Z)
Have Your Cake and Eat It Too: Toward Efficient and Accurate Split Federated Learning [25.47111107054497]
Split Federated Learning (SFL)は、AIoTシステムで有望である。 SFLは低い推測精度と低い効率の課題に悩まされている。本稿では,Sliding Split Federated Learning (S$2$FL) という新しいSFL手法を提案する。
論文参考訳（メタデータ） (2023-11-22T05:09:50Z)
SemiSFL: Split Federated Learning on Unlabeled and Non-IID Data [34.49090830845118]
フェデレートラーニング(FL)は、複数のクライアントがネットワークエッジでプライベートデータ上で機械学習モデルを協調的にトレーニングできるようにするためのものだ。クラスタリング正規化を取り入れて,ラベルなしおよび非IIDクライアントデータでSFLを実行する,Semi-supervised SFLシステムを提案する。本システムは,訓練時間の3.8倍の高速化を実現し,目標精度を達成しつつ通信コストを約70.3%削減し,非IIDシナリオで最大5.8%の精度向上を実現する。
論文参考訳（メタデータ） (2023-07-29T02:35:37Z)
SplitFed resilience to packet loss: Where to split, that is the question [27.29876880765472]
Split Federated Learning (SFL)は、FLにおける各クライアントに必要な計算パワーを削減し、プライバシを維持しながらSLを並列化することを目的としている。本稿では,SFLの通信リンクにおけるパケット損失に対する堅牢性について検討する。ヒト胚画像のセグメンテーションモデルを用いて実験を行い、より深い分割点の統計的に有意な利点を示す。
論文参考訳（メタデータ） (2023-07-25T22:54:47Z)
Adaptive Federated Pruning in Hierarchical Wireless Networks [69.6417645730093]
Federated Learning(FL)は、サーバがプライベートデータセットにアクセスすることなく、複数のデバイスによって更新されたモデルを集約する、プライバシ保護の分散学習フレームワークである。本稿では,無線ネットワークにおけるHFLのモデルプルーニングを導入し,ニューラルネットワークの規模を小さくする。提案するHFLは,モデルプルーニングを伴わないHFLと比較して学習精度が良く,通信コストが約50%削減できることを示す。
論文参考訳（メタデータ） (2023-05-15T22:04:49Z)
Hierarchical Personalized Federated Learning Over Massive Mobile Edge Computing Networks [95.39148209543175]
大規模MECネットワーク上でPFLをデプロイするアルゴリズムである階層型PFL(HPFL)を提案する。 HPFLは、最適帯域割り当てを共同で決定しながら、トレーニング損失最小化とラウンドレイテンシ最小化の目的を組み合わせる。
論文参考訳（メタデータ） (2023-03-19T06:00:05Z)
FedABC: Targeting Fair Competition in Personalized Federated Learning [76.9646903596757]
フェデレートラーニングは、クライアントのローカルプライベートデータにアクセスすることなく、モデルを協調的にトレーニングすることを目的としている。我々はFedABCと呼ばれるバイナリ分類によるFederated Averagingと呼ばれる新規で汎用的なPFLフレームワークを提案する。特に、各クライアントに1対1のトレーニング戦略を採用して、クラス間の不公平な競争を軽減する。
論文参考訳（メタデータ） (2023-02-15T03:42:59Z)
Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文参考訳（メタデータ） (2022-03-05T02:31:32Z)
Splitfed learning without client-side synchronization: Analyzing client-side split network portion size to overall performance [4.689140226545214]
Federated Learning (FL)、Split Learning (SL)、SplitFed Learning (SFL)は、分散機械学習における最近の3つの発展である。本稿では,クライアント側モデル同期を必要としないSFLについて検討する。 MNISTテストセットでのMulti-head Split Learningよりも1%-2%の精度しか得られない。
論文参考訳（メタデータ） (2021-09-19T22:57:23Z)
TiFL: A Tier-based Federated Learning System [17.74678728280232]
フェデレートラーニング(FL)は、プライバシ要件に違反することなく、多くのクライアント間で共有モデルを学ぶことを可能にする。従来のFLシステムのトレーニング時間とモデル精度に,資源とデータの不均一性が大きな影響を与えることを示すケーススタディを実施している。我々は,TiFLを提案する。TiFLは,クライアントをトレーニングパフォーマンスに基づいて階層に分割し,トレーニングラウンド毎に同一階層から選択する,階層ベースのフェデレートラーニングシステムである。
論文参考訳（メタデータ） (2020-01-25T01:40:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。