論文の概要: Heterogeneity-Aware Client Sampling: A Unified Solution for Consistent Federated Learning

• arxiv url: http://arxiv.org/abs/2505.11304v1
• Date: Fri, 16 May 2025 14:31:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-19 14:36:15.275166
• Title: Heterogeneity-Aware Client Sampling: A Unified Solution for Consistent Federated Learning
• Title（参考訳）: 不均一性を考慮したクライアントサンプリング:一貫性のあるフェデレーション学習のための統一ソリューション
• Authors: Shudi Weng, Chao Ren, Ming Xiao, Mikael Skoglund,
• Abstract要約: フェデレートラーニング(FL)は通常、多様なコミュニケーションと計算能力を持つクライアントを伴います。 FLにおける異種通信と計算が不整合を駆動するメカニズムを根本的に明らかにする。 汎用手法としてフェデレーテッド・ヘテロジニティ・アウェア・クライアントサンプリング(FedACS)を提案する。
• 参考スコア（独自算出の注目度）: 31.50593149242509
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning (FL) commonly involves clients with diverse communication and computational capabilities. Such heterogeneity can significantly distort the optimization dynamics and lead to objective inconsistency, where the global model converges to an incorrect stationary point potentially far from the pursued optimum. Despite its critical impact, the joint effect of communication and computation heterogeneity has remained largely unexplored, due to the intrinsic complexity of their interaction. In this paper, we reveal the fundamentally distinct mechanisms through which heterogeneous communication and computation drive inconsistency in FL. To the best of our knowledge, this is the first unified theoretical analysis of general heterogeneous FL, offering a principled understanding of how these two forms of heterogeneity jointly distort the optimization trajectory under arbitrary choices of local solvers. Motivated by these insights, we propose Federated Heterogeneity-Aware Client Sampling, FedACS, a universal method to eliminate all types of objective inconsistency. We theoretically prove that FedACS converges to the correct optimum at a rate of $O(1/\sqrt{R})$, even in dynamic heterogeneous environments. Extensive experiments across multiple datasets show that FedACS outperforms state-of-the-art and category-specific baselines by 4.3%-36%, while reducing communication costs by 22%-89% and computation loads by 14%-105%, respectively.
• Abstract（参考訳）: フェデレートラーニング(FL)は通常、多様なコミュニケーションと計算能力を持つクライアントを伴います。 このような不均一性は最適化力学を著しく歪め、大域的モデルが追求された最適点から潜在的に遠い不正確な定常点に収束する客観的不整合をもたらす。 その重大な影響にもかかわらず、通信と計算の不均一性の結合効果は、その相互作用の固有の複雑さのために、ほとんど未解明のままである。 本稿では,不均一な通信と計算がFLにおける不整合を駆動するメカニズムを根本的に明らかにする。 我々の知る限り、これは一般不均一FLの統一的な理論解析であり、この2つの形の不均一性が局所解の任意の選択の下でどのように最適化軌道を歪曲するかを原理的に理解するものである。 これらの知見に触発されたフェデレート・ヘテロジニティ・アウェア・クライアントサンプリング(Federated Heterogeneity-Aware Client Smpling, FedACS)を提案する。 理論的には、FedACSは動的不均一環境においても$O(1/\sqrt{R})$の速度で正しい最適値に収束することを証明している。 複数のデータセットにわたる大規模な実験により、FedACSは最先端のベースラインとカテゴリ固有のベースラインを4.3%-36%上回り、通信コストを22%-89%、計算負荷を14%-105%削減している。

関連論文リスト

• Client-Centric Federated Adaptive Optimization [78.30827455292827]
  Federated Learning(FL)は、クライアントが独自のデータをプライベートに保ちながら、協調的にモデルをトレーニングする分散学習パラダイムである。 本稿では,新しいフェデレーション最適化手法のクラスであるフェデレーション中心適応最適化を提案する。
  論文  参考訳（メタデータ） (2025-01-17T04:00:50Z)
• Single-Loop Federated Actor-Critic across Heterogeneous Environments [9.276123988094698]
  エージェントが2段階のフェデレート方式でアクター・クリティカル・ラーニングを行うためのテキストサイトSingle-loop Federated Actor Critic (SFAC) について検討する。 SFACの収束誤差は環境に比例してほぼ定常点に収束することを示す。
  論文  参考訳（メタデータ） (2024-12-19T06:13:59Z)
• FedDUAL: A Dual-Strategy with Adaptive Loss and Dynamic Aggregation for Mitigating Data Heterogeneity in Federated Learning [12.307490659840845]
  フェデレートラーニング(FL)は、様々なクライアントからローカルに最適化されたモデルと、統一されたグローバルモデルを組み合わせる。 FLは、性能劣化、収束の遅さ、グローバルモデルの堅牢性低下など、重大な課題に直面している。 これらの問題を効果的に解決するために、革新的なデュアルストラテジーアプローチを導入する。
  論文  参考訳（メタデータ） (2024-12-05T18:42:29Z)
• Boosting the Performance of Decentralized Federated Learning via Catalyst Acceleration [66.43954501171292]
  本稿では,Catalytics Accelerationを導入し,DFedCataと呼ばれる促進型分散フェデレート学習アルゴリズムを提案する。 DFedCataは、パラメータの不整合に対処するMoreauエンベロープ関数と、アグリゲーションフェーズを加速するNesterovの外挿ステップの2つの主要コンポーネントで構成されている。 実験により, CIFAR10/100における収束速度と一般化性能の両面において, 提案アルゴリズムの利点を実証した。
  論文  参考訳（メタデータ） (2024-10-09T06:17:16Z)
• Every Parameter Matters: Ensuring the Convergence of Federated Learning with Dynamic Heterogeneous Models Reduction [22.567754688492414]
  クロスデバイス・フェデレーション・ラーニング(FL)は、ユニークなコントリビューションを行う可能性のあるローエンドのクライアントが、リソースのボトルネックのため、大規模なモデルのトレーニングから除外されるという、大きな課題に直面します。 近年,グローバルモデルから縮小サイズのモデルを抽出し,それに応じてローカルクライアントに適用することによって,モデル不均一FLに焦点を当てている。 本稿では,オンラインモデル抽出を用いた不均一FLアルゴリズムの一元化フレームワークを提案し,一般収束解析を初めて提供する。
  論文  参考訳（メタデータ） (2023-10-12T19:07:58Z)
• Generalizable Heterogeneous Federated Cross-Correlation and Instance Similarity Learning [60.058083574671834]
  本稿では,新しいFCCL+,フェデレーション相関と非ターゲット蒸留との類似性学習を提案する。 不均一な問題に対しては、無関係な公開データを通信に活用する。 局所的な更新段階における破滅的な忘れ物として、FCCL+はFederated Non Target Distillationを導入している。
  論文  参考訳（メタデータ） (2023-09-28T09:32:27Z)
• Adaptive Federated Learning via New Entropy Approach [14.595709494370372]
  Federated Learning (FL) は、分散機械学習フレームワークとして注目されている。 本稿では,不均一クライアント間のパラメータ偏差を軽減するために,entropy理論(FedEnt)に基づく適応型FEDerated Learningアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-03-27T07:57:04Z)
• Disentangled Federated Learning for Tackling Attributes Skew via Invariant Aggregation and Diversity Transferring [104.19414150171472]
  属性は、クライアント間の一貫した最適化方向から、現在の連邦学習(FL)フレームワークを歪めます。 本稿では,ドメイン固有属性とクロス不変属性を2つの補足枝に分離するために,非絡み付きフェデレーション学習(DFL)を提案する。 実験により、DFLはSOTA FL法と比較して高い性能、より良い解釈可能性、より高速な収束率でFLを促進することが確認された。
  論文  参考訳（メタデータ） (2022-06-14T13:12:12Z)
• DRFLM: Distributionally Robust Federated Learning with Inter-client Noise via Local Mixup [58.894901088797376]
  連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。 上記の2つの課題を同時に解決するための一般的な枠組みを提案する。 我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
  論文  参考訳（メタデータ） (2022-04-16T08:08:29Z)
• Tackling the Objective Inconsistency Problem in Heterogeneous Federated Optimization [93.78811018928583]
  本稿では、フェデレートされた異種最適化アルゴリズムの収束性を分析するためのフレームワークを提供する。 我々は,高速な誤差収束を保ちながら,客観的な矛盾を解消する正規化平均化手法であるFedNovaを提案する。
  論文  参考訳（メタデータ） (2020-07-15T05:01:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。