論文の概要: Data Heterogeneity and Forgotten Labels in Split Federated Learning

• arxiv url: http://arxiv.org/abs/2511.09736v1
• Date: Fri, 14 Nov 2025 01:07:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-14 22:53:22.450986
• Title: Data Heterogeneity and Forgotten Labels in Split Federated Learning
• Title（参考訳）: 分断フェデレーション学習におけるデータ不均一性とフォーゴッテンラベル
• Authors: Joana Tirana, Dimitra Tsigkari, David Solans Noguero, Nicolas Kourtellis,
• Abstract要約: スプリット・フェデレート・ラーニング(SFL)における破滅的忘れ(CF)現象について検討する。 我々は,マルチヘッドニューラルネットワークにインスパイアされた新しい緩和手法であるHydraを提案し,SFLの設定に適応する。
• 参考スコア（独自算出の注目度）: 4.776823105565284
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In Split Federated Learning (SFL), the clients collaboratively train a model with the help of a server by splitting the model into two parts. Part-1 is trained locally at each client and aggregated by the aggregator at the end of each round. Part-2 is trained at a server that sequentially processes the intermediate activations received from each client. We study the phenomenon of catastrophic forgetting (CF) in SFL in the presence of data heterogeneity. In detail, due to the nature of SFL, local updates of part-1 may drift away from global optima, while part-2 is sensitive to the processing sequence, similar to forgetting in continual learning (CL). Specifically, we observe that the trained model performs better in classes (labels) seen at the end of the sequence. We investigate this phenomenon with emphasis on key aspects of SFL, such as the processing order at the server and the cut layer. Based on our findings, we propose Hydra, a novel mitigation method inspired by multi-head neural networks and adapted for the SFL's setting. Extensive numerical evaluations show that Hydra outperforms baselines and methods from the literature.
• Abstract（参考訳）: Split Federated Learning (SFL)では、クライアントはモデルを2つに分割することで、サーバの助けを借りてモデルを協調的にトレーニングする。 Part-1は各クライアントでローカルにトレーニングされ、各ラウンドの最後にアグリゲータによって集約される。 Part-2は、各クライアントから受信した中間アクティベーションを順次処理するサーバでトレーニングされる。 本研究では,SFLにおけるデータ不均一性の存在下での破滅的忘れ(CF)現象について検討した。 詳細は、SFLの性質から、Part-1の局所的な更新はグローバルな最適状態から逸脱し、Part-2は連続学習(CL)における忘れのような処理シーケンスに敏感である。 具体的には、トレーニングされたモデルが、シーケンスの最後に見られるクラス(ラベル)において、より良いパフォーマンスを発揮することを観察する。 本稿では,サーバの処理順序やカット層など,SFLの重要な側面に注目して,この現象を考察する。 そこで本研究では,マルチヘッドニューラルネットワークにインスパイアされた新しい緩和手法であるHydraを提案し,SFLの設定に適応した。 大規模な数値評価の結果,Hydraは文献のベースラインや手法よりも優れていた。

関連論文リスト

• Collaborative Split Federated Learning with Parallel Training and Aggregation [5.361319869898578]
  コラボレーティブ・スプリット・フェデレート・ラーニング(Collaborative-Split Federated Learning, C-SFL)は、モデルを3つの部分に分割する新しいスキームである。 C-SFLは、クライアントおよびサーバにおけるモデルのパーツの並列トレーニングとアグリゲーションを可能にします。
  論文  参考訳（メタデータ） (2025-04-22T09:18:57Z)
• The Impact of Cut Layer Selection in Split Federated Learning [6.481423646861632]
  Split Federated Learning (SFL)は、フェデレートラーニングとスプリットラーニングを組み合わせた分散機械学習パラダイムである。 SFLでは、ニューラルネットワークをカット層に分割し、最初のレイヤをクライアントにデプロイし、残りのレイヤをトレーニングサーバに配置する。
  論文  参考訳（メタデータ） (2024-12-20T03:52:54Z)
• PFL-GAN: When Client Heterogeneity Meets Generative Models in Personalized Federated Learning [55.930403371398114]
  パーソナライズドラーニング(PFL)のための新しいGAN(Generative Adversarial Network)の共有と集約戦略を提案する。 PFL-GANは、異なるシナリオにおけるクライアントの不均一性に対処する。より具体的には、まずクライアント間の類似性を学び、次に重み付けされた協調データアグリゲーションを開発する。 いくつかのよく知られたデータセットに対する厳密な実験による実験結果は、PFL-GANの有効性を示している。
  論文  参考訳（メタデータ） (2023-08-23T22:38:35Z)
• Accelerating Hybrid Federated Learning Convergence under Partial Participation [14.427308569399957]
  フェデレートラーニング(FL)には、共通のモデルを学ぶために協力する分散型データを持つクライアントのグループが含まれる。 現実的なシナリオでは、サーバは人口分布を概ね模倣した少量のデータを集めることができるかもしれない。 我々は、ハイブリッドFLにおけるサーバの2倍の役割を調査するFedCLGと呼ばれる新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-04-10T19:13:14Z)
• Subspace based Federated Unlearning [75.90552823500633]
  フェデレート・アンラーニング(FL)は、ユーザが忘れられる権利を満たすために、特定のターゲットクライアントのFLへの貢献を取り除くことを目的としている。 既存のフェデレートされた未学習アルゴリズムでは、パラメータの更新履歴をサーバに格納する必要がある。 そこで我々は,SFUと呼ばれる,単純なyet効率のサブスペースに基づくフェデレーションアンラーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-02-24T04:29:44Z)
• Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。 本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-20T10:49:22Z)
• Optimizing Server-side Aggregation For Robust Federated Learning via Subspace Training [80.03567604524268]
  クライアント間の非IIDデータ分散と中毒攻撃は、現実世界のフェデレーション学習システムにおける2つの大きな課題である。 サーバ側集約プロセスを最適化する汎用的なアプローチであるSmartFLを提案する。 本稿では,SmartFLの収束と一般化能力に関する理論的解析を行う。
  論文  参考訳（メタデータ） (2022-11-10T13:20:56Z)
• Multi-Edge Server-Assisted Dynamic Federated Learning with an Optimized Floating Aggregation Point [51.47520726446029]
  協調エッジ学習(CE-FL)は、分散機械学習アーキテクチャである。 CE-FLの過程をモデル化し,分析訓練を行った。 実世界のテストベッドから収集したデータを用いて,本フレームワークの有効性を示す。
  論文  参考訳（メタデータ） (2022-03-26T00:41:57Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• Splitfed learning without client-side synchronization: Analyzing client-side split network portion size to overall performance [4.689140226545214]
  Federated Learning (FL)、Split Learning (SL)、SplitFed Learning (SFL)は、分散機械学習における最近の3つの発展である。 本稿では,クライアント側モデル同期を必要としないSFLについて検討する。 MNISTテストセットでのMulti-head Split Learningよりも1%-2%の精度しか得られない。
  論文  参考訳（メタデータ） (2021-09-19T22:57:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。