論文の概要: Reviving Stale Updates: Data-Free Knowledge Distillation for Asynchronous Federated Learning

• arxiv url: http://arxiv.org/abs/2511.00655v1
• Date: Sat, 01 Nov 2025 18:35:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-05 16:37:26.880681
• Title: Reviving Stale Updates: Data-Free Knowledge Distillation for Asynchronous Federated Learning
• Title（参考訳）: Reviving Stale Updates: 非同期フェデレーション学習のためのデータフリー知識蒸留
• Authors: Baris Askin, Holger R. Roth, Zhenyu Sun, Carlee Joe-Wong, Gauri Joshi, Ziyue Xu,
• Abstract要約: Federated Learning (FL)は、生データを共有せずに、分散クライアント間で協調的なモデルトレーニングを可能にする。 AFL(Asynchronous Federated Learning)は、クライアントが独立して通信できるようにすることによってこの問題を軽減する。 我々は、データフリー知識蒸留(DFKD)を通じて古い更新を復活させる非同期FLフレームワークであるFedReviveを提案する。
• 参考スコア（独自算出の注目度）: 28.983471880773305
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated Learning (FL) enables collaborative model training across distributed clients without sharing raw data, yet its scalability is limited by synchronization overhead. Asynchronous Federated Learning (AFL) alleviates this issue by allowing clients to communicate independently, thereby improving wall-clock efficiency in large-scale, heterogeneous environments. However, this asynchrony introduces stale updates (client updates computed on outdated global models) that can destabilize optimization and hinder convergence. We propose FedRevive, an asynchronous FL framework that revives stale updates through data-free knowledge distillation (DFKD). FedRevive integrates parameter-space aggregation with a lightweight, server-side DFKD process that transfers knowledge from stale client models to the current global model without access to real or public data. A meta-learned generator synthesizes pseudo-samples, which enables multi-teacher distillation. A hybrid aggregation scheme that combines raw updates with DFKD updates effectively mitigates staleness while retaining the scalability of AFL. Experiments on various vision and text benchmarks show that FedRevive achieves faster training up to 32.1% and higher final accuracy up to 21.5% compared to asynchronous baselines.
• Abstract（参考訳）: Federated Learning (FL)は、生データを共有せずに分散クライアント間で協調的なモデルトレーニングを可能にするが、そのスケーラビリティは同期オーバーヘッドによって制限される。 AFL(Asynchronous Federated Learning)は、クライアントが独立して通信できるようにすることで、大規模な異種環境におけるウォールクロック効率を向上することで、この問題を軽減する。 しかし、この非同期性は、最適化の安定化と収束の妨げとなる古い更新(時代遅れのグローバルモデルで計算されたクライアント更新)を導入している。 我々は,データフリーな知識蒸留(DFKD)によって古い更新を復活させる非同期FLフレームワークであるFedReviveを提案する。 FedReviveはパラメータ空間アグリゲーションとサーバサイドのDFKDプロセスを統合することで、古いクライアントモデルから実際のデータや公開データにアクセスすることなく、現在のグローバルモデルに知識を転送する。 メタ学習ジェネレータは、マルチティーチンガー蒸留を可能にする擬似サンプルを合成する。 生更新とDFKD更新を併用したハイブリッドアグリゲーション方式は, AFLのスケーラビリティを維持しつつ, 安定性を効果的に軽減する。 さまざまなビジョンとテキストベンチマークの実験では、FedReviveは、非同期ベースラインと比較して32.1%の高速なトレーニングと21.5%の最終的な精度を実現している。

関連論文リスト

• CO-PFL: Contribution-Oriented Personalized Federated Learning for Heterogeneous Networks [51.43780477302533]
  コントリビューション指向型PFL(CO-PFL)は,グローバルアグリゲーションに対する各クライアントのコントリビューションを動的に推定するアルゴリズムである。 CO-PFLは、パーソナライズ精度、堅牢性、スケーラビリティ、収束安定性において、最先端の手法を一貫して超越している。
  論文  参考訳（メタデータ） (2025-10-23T05:10:06Z)
• Asynchronous Federated Learning with non-convex client objective functions and heterogeneous dataset [0.9208007322096533]
  Tosampling Federated Learning (FL)は、不安定なデータのプライバシを保持しながら、分散デバイス間のコラボレーティブモデルを可能にする。 非同期学習(AFL)は、クライアントが独立して更新できるようにし、スケーラビリティを改善し、同期を遅くすることで、これらの問題に対処する。 我々のフレームワークは、データパワー、分散、通信のバリエーションに対応しており、現実世界のアプリケーションに実用的です。
  論文  参考訳（メタデータ） (2025-08-03T09:06:42Z)
• Adaptive Deadline and Batch Layered Synchronized Federated Learning [66.93447103966439]
  フェデレートラーニング(FL)は、データプライバシを保持しながら、分散エッジデバイス間で協調的なモデルトレーニングを可能にする。 我々は,レイヤワイドアグリゲーションのために,ラウンド単位の期限とユーザ固有のバッチサイズを共同で最適化する新しいフレームワークADEL-FLを提案する。
  論文  参考訳（メタデータ） (2025-05-29T19:59:18Z)
• FRAIN to Train: A Fast-and-Reliable Solution for Decentralized Federated Learning [1.1510009152620668]
  非同期学習(FL)は、データの局所性を維持しながら、分散クライアント間で協調的なモデルトレーニングを可能にする。 我々は、2つの重要なアイデアを取り入れることでこれらの制限を緩和する新しいFL手法であるFRAIN(Fast-and-Reliable AI Network)を導入する。 CNNイメージ分類モデルとTransformerベースの言語モデルによる実験では、FRAINはFedAvg、FedAsync、BRAINよりも安定的で堅牢な収束を実現している。
  論文  参考訳（メタデータ） (2025-05-07T08:20:23Z)
• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
  同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。 一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。 本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
  論文  参考訳（メタデータ） (2024-03-27T09:14:36Z)
• Enhancing Convergence in Federated Learning: A Contribution-Aware Asynchronous Approach [0.0]
  Federated Learning(FL)は、クライアントがプライバシを保持しながらデータ上でモデルをトレーニングできる分散機械学習パラダイムである。 フェデレート平均化(FedAvg)やその変種などのFLアルゴリズムは、多くのシナリオにおいてよく収束することが示されている。 しかし、これらの手法ではクライアントがローカル更新を同期的にサーバにアップロードする必要があるため、現実的なFL設定では遅くて信頼性が低い。 本稿では、受信した更新の安定性と統計的不均一性を考慮に入れたコントリビューション対応非同期FL法を提案する。
  論文  参考訳（メタデータ） (2024-02-16T12:10:53Z)
• AEDFL: Efficient Asynchronous Decentralized Federated Learning with Heterogeneous Devices [61.66943750584406]
  異種環境におけるAEDFL(Asynchronous Efficient Decentralized FL framework)を提案する。 まず、FL収束を改善するための効率的なモデル集約手法を用いた非同期FLシステムモデルを提案する。 次に,より優れた精度を実現するために,動的安定化を考慮したモデル更新手法を提案する。 第3に,通信コストと計算コストを大幅に削減する適応スパース学習法を提案する。
  論文  参考訳（メタデータ） (2023-12-18T05:18:17Z)
• Over-the-Air Federated Learning from Heterogeneous Data [107.05618009955094]
  フェデレートラーニング(Federated Learning、FL)は、集中型モデルの分散ラーニングのためのフレームワークである。 我々は,共通局所勾配勾配勾配(SGD)FLアルゴリズムを強化するコンバージェント OTA FL (COTAF) アルゴリズムを開発した。 我々は,COTAFにより誘導されるプリコーディングが,OTA FLを用いて訓練されたモデルの収束率と精度を顕著に向上させることを示す。
  論文  参考訳（メタデータ） (2020-09-27T08:28:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。