論文の概要: Stragglers Can Contribute More: Uncertainty-Aware Distillation for Asynchronous Federated Learning

• arxiv url: http://arxiv.org/abs/2511.19966v1
• Date: Tue, 25 Nov 2025 06:25:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-26 17:37:04.301199
• Title: Stragglers Can Contribute More: Uncertainty-Aware Distillation for Asynchronous Federated Learning
• Title（参考訳）: ストラグラーはより貢献できる: 非同期フェデレーション学習のための不確かさを意識した蒸留
• Authors: Yujia Wang, Fenglong Ma, Jinghui Chen,
• Abstract要約: Asynchronous Federated Learning (FL)は、その効率性とスケーラビリティの向上に注目されている。 我々は,不確実性を考慮した蒸留を組み込んだ新しいフレームワークであるFedEchoを提案し,非同期FL性能を向上する。 FedEchoが既存の非同期フェデレーション学習ベースラインを一貫して上回っていることを実証する。
• 参考スコア（独自算出の注目度）: 61.249748418757946
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Asynchronous federated learning (FL) has recently gained attention for its enhanced efficiency and scalability, enabling local clients to send model updates to the server at their own pace without waiting for slower participants. However, such a design encounters significant challenges, such as the risk of outdated updates from straggler clients degrading the overall model performance and the potential bias introduced by faster clients dominating the learning process, especially under heterogeneous data distributions. Existing methods typically address only one of these issues, creating a conflict where mitigating the impact of outdated updates can exacerbate the bias created by faster clients, and vice versa. To address these challenges, we propose FedEcho, a novel framework that incorporates uncertainty-aware distillation to enhance the asynchronous FL performances under large asynchronous delays and data heterogeneity. Specifically, uncertainty-aware distillation enables the server to assess the reliability of predictions made by straggler clients, dynamically adjusting the influence of these predictions based on their estimated uncertainty. By prioritizing more certain predictions while still leveraging the diverse information from all clients, FedEcho effectively mitigates the negative impacts of outdated updates and data heterogeneity. Through extensive experiments, we demonstrate that FedEcho consistently outperforms existing asynchronous federated learning baselines, achieving robust performance without requiring access to private client data.
• Abstract（参考訳）: Asynchronous Federated Learning (FL)は、その効率性とスケーラビリティの向上に注目されており、ローカルクライアントは、参加者が遅いのを待たずに、自身のペースでモデル更新をサーバに送ることができる。 しかし、このような設計は、トラグラークライアントからの古いアップデートのリスクや、学習プロセス、特に異種データ分散において、より高速なクライアントによって導入された潜在的なバイアスなど、大きな課題に直面している。 既存のメソッドは通常、これらの問題の1つだけに対処し、古い更新の影響を緩和することで、より高速なクライアントによって生成されるバイアスがさらに悪化し、その逆も発生します。 これらの課題に対処するために,不確実性を考慮した蒸留を組み込んだ新しいフレームワークであるFedEchoを提案する。 具体的には、不確実性を考慮した蒸留により、サーバはストラグラークライアントによる予測の信頼性を評価し、予測の不確実性に基づいてこれらの予測の影響を動的に調整することができる。 より特定の予測を優先順位付けし、すべてのクライアントからの多様な情報を活用することにより、FedEchoは、時代遅れの更新とデータの異質性による負の影響を効果的に軽減する。 大規模な実験を通じて、FedEchoは既存の非同期フェデレーション学習ベースラインを一貫して上回り、プライベートクライアントデータへのアクセスを必要とせず、堅牢なパフォーマンスを達成することを実証した。

関連論文リスト

• FRAIN to Train: A Fast-and-Reliable Solution for Decentralized Federated Learning [1.1510009152620668]
  非同期学習(FL)は、データの局所性を維持しながら、分散クライアント間で協調的なモデルトレーニングを可能にする。 我々は、2つの重要なアイデアを取り入れることでこれらの制限を緩和する新しいFL手法であるFRAIN(Fast-and-Reliable AI Network)を導入する。 CNNイメージ分類モデルとTransformerベースの言語モデルによる実験では、FRAINはFedAvg、FedAsync、BRAINよりも安定的で堅牢な収束を実現している。
  論文  参考訳（メタデータ） (2025-05-07T08:20:23Z)
• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• FLASH: Federated Learning Across Simultaneous Heterogeneities [55.0981921695672]
  FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。 ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。 最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
  論文  参考訳（メタデータ） (2024-02-13T20:04:39Z)
• Risk-Aware Accelerated Wireless Federated Learning with Heterogeneous Clients [21.104752782245257]
  Wireless Federated Learning (FL)は、分散機械学習のパラダイムである。 本稿では,クライアントが保有するデータ量の不均一性を考慮したリスク認識型FLフレームワークを提案する。 提案されたスキームは、保守的なスキーム(すなわち、信頼できるデバイスのみを許可する)と攻撃的なスキーム(すなわち、信頼度を無視する)に対してベンチマークされる。
  論文  参考訳（メタデータ） (2024-01-17T15:15:52Z)
• Momentum Benefits Non-IID Federated Learning Simply and Provably [22.800862422479913]
  フェデレートラーニングは大規模機械学習の強力なパラダイムである。 FedAvgとSCAFFOLDは、これらの課題に対処する2つの顕著なアルゴリズムである。 本稿では,FedAvgとSCAFFOLDの性能向上のための運動量の利用について検討する。
  論文  参考訳（メタデータ） (2023-06-28T18:52:27Z)
• FedSkip: Combatting Statistical Heterogeneity with Federated Skip Aggregation [95.85026305874824]
  我々はFedSkipと呼ばれるデータ駆動型アプローチを導入し、フェデレーション平均化を定期的にスキップし、ローカルモデルをクロスデバイスに分散することで、クライアントの最適化を改善する。 我々は、FedSkipがはるかに高い精度、より良いアグリゲーション効率、競合する通信効率を達成することを示すために、さまざまなデータセットに関する広範な実験を行う。
  論文  参考訳（メタデータ） (2022-12-14T13:57:01Z)
• Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
  フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。 本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。 Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
  論文  参考訳（メタデータ） (2021-04-27T18:23:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。