論文の概要: On the Push-Based Asynchronous Federated Learning: A Bias-Correction Aggregation Approach
- arxiv url: http://arxiv.org/abs/2605.26162v1
- Date: Sun, 24 May 2026 15:56:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-27 17:51:41.207836
- Title: On the Push-Based Asynchronous Federated Learning: A Bias-Correction Aggregation Approach
- Title(参考訳): プッシュに基づく非同期フェデレーション学習について:バイアス補正アグリゲーションアプローチ
- Authors: Jiahui Bai, Hai Dong, A. K. Qin,
- Abstract要約: Asynchronous decentralized Federated Learning (ADFL) は、集中協調とグローバル同期を排除し、大規模および異種システムにとって魅力的である。
通信効率のよいADFLフレームワークであるPushCen-ADFLを提案する。
ビジョンデータセットの実験によると、PushCen-ADFLは、プッシュ間通信コストを80%以上削減しながら、データの均一性の下での精度を最大6%向上する。
- 参考スコア(独自算出の注目度): 2.4214594180459366
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Asynchronous decentralized federated learning (ADFL) eliminates central coordination and global synchronization, making it attractive for large-scale and heterogeneous systems. However, frequent peer-to-peer communication, asynchronous updates on directed topologies, and non-IID data jointly lead to excessive communication overhead, biased aggregation and severe model drift. We propose PushCen-ADFL, a communication-efficient ADFL framework that enables stable training under asymmetric communication and delayed client participation. PushCen-ADFL couples communication, aggregation, and local stabilization in a shared centroid representation space, forming a closed loop between compression and optimization. Clients exchange centroid-form messages, apply average-preserving push-sum mixing to correct aggregation bias, and use a lightweight centroid regularization anchored in the same centroid space to mitigate drift under heterogeneity and staleness. A bounded, sender-deduplicated buffer further improves robustness under irregular asynchronous arrivals. Experiments on vision datasets demonstrate that PushCen-ADFL improves accuracy under data heterogeneity by up to 6\% while reducing per-push communication cost by more than 80\%, achieving a favorable accuracy-communication trade-off.
- Abstract(参考訳): Asynchronous decentralized Federated Learning (ADFL) は、中央協調とグローバル同期を排除し、大規模および異種システムにとって魅力的である。
しかし、頻繁なピアツーピア通信、指示トポロジの非同期更新、非IIDデータの共同処理は、過剰な通信オーバヘッド、バイアスドアグリゲーション、重度のモデルドリフトにつながる。
通信効率のよいADFLフレームワークであるPushCen-ADFLを提案する。
PushCen-ADFLは共有セントロイド表現空間における通信、アグリゲーション、局所安定化を結合し、圧縮と最適化の間に閉じたループを形成する。
クライアントは、セントロイド形式のメッセージを交換し、平均保存プッシュサムミキシングを適用してアグリゲーションバイアスを補正し、同じセントロイド空間に固定された軽量のセントロイド正規化を使用して、不均一で不安定なドリフトを緩和する。
境界付き送信同期バッファは、不規則な非同期到着時のロバスト性をさらに向上する。
ビジョンデータセットの実験では、PushCen-ADFLは、データの不均一性の下での精度を最大6\%向上し、プッシュ間通信コストを80\%以上削減し、良好な精度通信トレードオフを実現している。
関連論文リスト
- Event-Triggered Gossip for Distributed Learning [61.70659996356528]
我々は,ノード間通信を減らすために,分散学習のためのイベントトリガー型ゴシップフレームワークを開発した。
従来のフルテキスト・オブ・ザ・アート分散学習法と比較して,bf71.61%を限界性能損失のみで分析する。
論文 参考訳(メタデータ) (2026-02-22T10:13:43Z) - Accelerating Decentralized Optimization via Overlapping Local Steps [6.713278402701195]
本稿では,理論的な保証を犠牲にすることなく分散計算を高速化する新しい手法を提案する。
OLDSGD は局部分散 SGDOLDD と同じイテレーションを維持しつつ,通信遅延の異なるレベルにおいて,各項目の収束性を改善していることを示す。
論文 参考訳(メタデータ) (2026-01-04T11:40:22Z) - OptiVote: Non-Coherent FSO Over-the-Air Majority Vote for Communication-Efficient Distributed Federated Learning in Space Data Centers [68.73273027298625]
メガコンステレーションは、宇宙データセンター(SDC)の長期的なビジョンを推進している
AirCompはフリースペース(FSO)を学習するためのネットワーク内集約フレームワーク
AirVoteは符号勾配(SGD)と多数符号変調(PPM)を統合し、各衛星はPPMタイムスロットを活性化することで局所勾配を伝達する。
OptiVoteは位相依存性電場重ね合わせを位相非依存光強度結合に緩和する。
論文 参考訳(メタデータ) (2025-12-30T16:40:02Z) - Soft-Label Caching and Sharpening for Communication-Efficient Federated Distillation [2.1617267802631366]
フェデレートラーニング(FL)は、分散クライアント間のコラボレーティブモデルトレーニングを可能にし、データをローカルに保つことでプライバシを向上する。
同期ソフトラベルキャッシングと拡張エントロピー削減アグリゲーション(Enhanced ERA)機構を統合した新しいフレームワークであるSCARLETを提案する。
SCARLETはキャッシュされたソフトラベルを再利用することで冗長な通信を最小化し、既存の方法と比較して最大50%の通信コスト削減を実現している。
論文 参考訳(メタデータ) (2025-04-28T09:04:30Z) - Communication Efficient Federated Learning with Linear Convergence on Heterogeneous Data [4.8305656901807055]
我々はFedCETと呼ばれるフェデレーション学習アルゴリズムを提案し、不均一なデータ分布下での正確な収束を保証する。
適切な学習率で、FedCETは正確な解に線形収束を保証できることを示す。
論文 参考訳(メタデータ) (2025-03-20T02:43:02Z) - Boosting the Performance of Decentralized Federated Learning via Catalyst Acceleration [66.43954501171292]
本稿では,Catalytics Accelerationを導入し,DFedCataと呼ばれる促進型分散フェデレート学習アルゴリズムを提案する。
DFedCataは、パラメータの不整合に対処するMoreauエンベロープ関数と、アグリゲーションフェーズを加速するNesterovの外挿ステップの2つの主要コンポーネントで構成されている。
実験により, CIFAR10/100における収束速度と一般化性能の両面において, 提案アルゴリズムの利点を実証した。
論文 参考訳(メタデータ) (2024-10-09T06:17:16Z) - Asynchronous Federated Stochastic Optimization for Heterogeneous Objectives Under Arbitrary Delays [1.9766522384767224]
underlineAsynchunderlineRonous underlineExact underlineAveraging (textscAREA)
textscAREAは勾配推定よりもモデル残差を通信し、勾配反転への露出を減らす。
最初は、最低または最大ではなく、平均的なクライアント更新頻度でスケールするレートを取得しました。
論文 参考訳(メタデータ) (2024-05-16T14:22:49Z) - FedComLoc: Communication-Efficient Distributed Training of Sparse and Quantized Models [52.13056951033747]
フェデレートラーニング(FL)は、異種クライアントがローカルにプライベートデータを処理し、中央サーバーと対話できるというユニークな特徴から、注目を集めている。
FLにおける重要なボトルネックは通信コストです。
我々の研究は、FLにおける通信複雑性の低減を推進した革新的なScaffnewアルゴリズムにインスパイアされている。
我々はFedComLocを導入し、実用的で効果的な圧縮をScaffnewに統合し、通信効率をさらに高める。
論文 参考訳(メタデータ) (2024-03-14T22:29:59Z) - DisPFL: Towards Communication-Efficient Personalized Federated Learning
via Decentralized Sparse Training [84.81043932706375]
本稿では,分散型(ピアツーピア)通信プロトコルであるDis-PFLにおいて,新たな個人化フェデレーション学習フレームワークを提案する。
Dis-PFLはパーソナライズされたスパースマスクを使用して、エッジ上のスパースローカルモデルをカスタマイズする。
本手法は,計算複雑性の異なる異種ローカルクライアントに容易に適応できることを実証する。
論文 参考訳(メタデータ) (2022-06-01T02:20:57Z) - Robust Federated Learning with Connectivity Failures: A
Semi-Decentralized Framework with Collaborative Relaying [27.120495678791883]
断続的なクライアント接続は、集中型フェデレーションエッジ学習フレームワークにおける大きな課題の1つです。
協調リレーに基づく半分散型エッジ学習フレームワークを提案する。
論文 参考訳(メタデータ) (2022-02-24T01:06:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。