論文の概要: FSL-SAGE: Accelerating Federated Split Learning via Smashed Activation Gradient Estimation

• arxiv url: http://arxiv.org/abs/2505.23182v1
• Date: Thu, 29 May 2025 07:18:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-30 18:14:07.733688
• Title: FSL-SAGE: Accelerating Federated Split Learning via Smashed Activation Gradient Estimation
• Title（参考訳）: FSL-SAGE: Smashed Activation Gradient EstimationによるFederated Split Learningの高速化
• Authors: Srijith Nair, Michael Lin, Amirreza Talebi, Peizhong Ju, Elizabeth Bentley, Jia Liu,
• Abstract要約: フェデレートラーニング(FL)やスプリットラーニング(SL)のような協調学習手法は、生データを共有せずに分散機械学習を可能にする。 補助モデルを用いてサーバ側勾配フィードバックを推定する新しいフェデレーション分割学習アルゴリズムであるFSL-SAGEを提案する。
• 参考スコア（独自算出の注目度）: 9.954829000696927
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Collaborative training methods like Federated Learning (FL) and Split Learning (SL) enable distributed machine learning without sharing raw data. However, FL assumes clients can train entire models, which is infeasible for large-scale models. In contrast, while SL alleviates the client memory constraint in FL by offloading most training to the server, it increases network latency due to its sequential nature. Other methods address the conundrum by using local loss functions for parallel client-side training to improve efficiency, but they lack server feedback and potentially suffer poor accuracy. We propose FSL-SAGE (Federated Split Learning via Smashed Activation Gradient Estimation), a new federated split learning algorithm that estimates server-side gradient feedback via auxiliary models. These auxiliary models periodically adapt to emulate server behavior on local datasets. We show that FSL-SAGE achieves a convergence rate of $\mathcal{O}(1/\sqrt{T})$, where $T$ is the number of communication rounds. This result matches FedAvg, while significantly reducing communication costs and client memory requirements. Our empirical results also verify that it outperforms existing state-of-the-art FSL methods, offering both communication efficiency and accuracy.
• Abstract（参考訳）: フェデレートラーニング(FL)やスプリットラーニング(SL)のような協調学習手法は、生データを共有せずに分散機械学習を可能にする。 しかし、FLはクライアントがモデル全体を訓練できると仮定しており、これは大規模モデルでは不可能である。 対照的に、SLは、ほとんどのトレーニングをサーバにオフロードすることで、FLのクライアントメモリ制約を緩和するが、シーケンシャルな性質のため、ネットワーク遅延を増大させる。 他の手法では、並列クライアントサイドのトレーニングにローカル損失関数を使用して効率を向上するが、サーバからのフィードバックが不足し、精度が低下する可能性がある。 本稿では,FSL-SAGE(Federated Split Learning via Smashed Activation Gradient Estimation)を提案する。 これらの補助モデルは、定期的にローカルデータセット上のサーバーの振る舞いをエミュレートするように適応する。 FSL-SAGEは$\mathcal{O}(1/\sqrt{T})$の収束率を達成でき、$T$は通信ラウンドの数である。 この結果はFedAvgと一致し、通信コストとクライアントメモリの要求を大幅に削減します。 実験の結果、既存のFSL法よりも優れており、通信効率と精度が優れていることが確認された。

関連論文リスト

• CELLM: An Efficient Communication in Large Language Models Training for Federated Learning [0.0]
  本論文は,フェデレートラーニング(FL)における大規模言語モデル(LLM)の効率的な学習手法の開発を目的とする。 まず,ローランク適応(LoRA)を用いて局所モデルトレーニングの計算負荷を削減する。 第2に、コミュニケーションコストを大幅に削減するために、トレーニング全体を通してスパース更新を通信します。
  論文  参考訳（メタデータ） (2024-07-30T05:24:08Z)
• Sparse-ProxSkip: Accelerated Sparse-to-Sparse Training in Federated Learning [56.21666819468249]
  FL(Federated Learning)では、クライアントリソースの制約と通信コストの両方が、大規模モデルのトレーニングに大きな問題を引き起こします。 最近の研究によると、局所的な訓練は加速によってコミュニケーションの複雑さを確実に改善する。 Sparse-ProxSkipを導入し、その課題に対処し、Sparse Training に展開する Straight-Through Estorimat の効率的な手法を実装した。
  論文  参考訳（メタデータ） (2024-05-31T05:21:12Z)
• Communication Efficient ConFederated Learning: An Event-Triggered SAGA Approach [67.27031215756121]
  Federated Learning(FL)は、さまざまなデータソース上のローカルデータを収集することなく、モデルトレーニングをターゲットとする機械学習パラダイムである。 単一のサーバを使用するStandard FLは、限られた数のユーザしかサポートできないため、学習能力の低下につながる。 本研究では,多数のユーザに対応するために,emphConfederated Learning(CFL)と呼ばれるマルチサーバFLフレームワークを検討する。
  論文  参考訳（メタデータ） (2024-02-28T03:27:10Z)
• LW-FedSSL: Resource-efficient Layer-wise Federated Self-supervised Learning [14.937324556028548]
  本稿では、エッジデバイスがモデルの一部を段階的にトレーニングできるLayer-Wise Federated Self-Supervised Learningアプローチを提案する。 LW-FedSSLは、モデルの一部だけが任意のタイミングでトレーニングに有効であるため、計算要求を大幅に削減する。 最大でメモリ使用量の3.34ドルの削減、GFLOPの4.20ドルの削減、通信コストの5.07ドルの削減を実現している。
  論文  参考訳（メタデータ） (2024-01-22T01:57:31Z)
• Subspace based Federated Unlearning [75.90552823500633]
  フェデレート・アンラーニング(FL)は、ユーザが忘れられる権利を満たすために、特定のターゲットクライアントのFLへの貢献を取り除くことを目的としている。 既存のフェデレートされた未学習アルゴリズムでは、パラメータの更新履歴をサーバに格納する必要がある。 そこで我々は,SFUと呼ばれる,単純なyet効率のサブスペースに基づくフェデレーションアンラーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-02-24T04:29:44Z)
• Communication and Storage Efficient Federated Split Learning [19.369076939064904]
  Federated Split LearningはFLの並列モデルトレーニング原則を保存する。 サーバはクライアントごとに別々のモデルをメンテナンスしなければなりません。 本稿では,コミュニケーションと記憶の効率的なフェデレーションと分割学習戦略を提案する。
  論文  参考訳（メタデータ） (2023-02-11T04:44:29Z)
• Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。 本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-20T10:49:22Z)
• Federated Learning with Server Learning: Enhancing Performance for Non-IID Data [5.070289965695956]
  フェデレートラーニング(FL)は、クライアントに格納されたローカルデータを協調サーバで分散学習する手段として登場した。 近年の研究では、クライアントでのトレーニングデータが独立で、同一に分散されていない場合、FLは性能が悪く、収束が遅いことが示されている。 ここでは、サーバが小さなデータセットから補助学習を行うことにより、この性能劣化を軽減するための新たな補完的アプローチを検討する。
  論文  参考訳（メタデータ） (2022-10-06T00:27:16Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• Server-Side Local Gradient Averaging and Learning Rate Acceleration for Scalable Split Learning [82.06357027523262]
  フェデレーテッド・ラーニング(FL)とスプリット・ラーニング(SL)は、その長所と短所を持つ2つの先駆者であり、多くのユーザ・クライアントや大規模モデルに適している。 本研究では,まずSLの基本ボトルネックを特定し,SGLRという拡張性のあるSLフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-12-11T08:33:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。