論文の概要: Adaptive Coded Federated Learning: Privacy Preservation and Straggler Mitigation
- arxiv url: http://arxiv.org/abs/2403.14905v1
- Date: Fri, 22 Mar 2024 01:51:48 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-25 18:47:18.228321
- Title: Adaptive Coded Federated Learning: Privacy Preservation and Straggler Mitigation
- Title(参考訳): Adaptive Coded Federated Learning: プライバシ保護とストラグラー緩和
- Authors: Chengxi Li, Ming Xiao, Mikael Skoglund,
- Abstract要約: トラグラーの負の影響を軽減するために、符号化された連合学習フレームワークが提案されている。
本稿では,この欠点を克服するために,適応符号化フェデレーション学習(ACFL)という新しい手法を提案する。
- 参考スコア(独自算出の注目度): 33.56146654796337
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this article, we address the problem of federated learning in the presence of stragglers. For this problem, a coded federated learning framework has been proposed, where the central server aggregates gradients received from the non-stragglers and gradient computed from a privacy-preservation global coded dataset to mitigate the negative impact of the stragglers. However, when aggregating these gradients, fixed weights are consistently applied across iterations, neglecting the generation process of the global coded dataset and the dynamic nature of the trained model over iterations. This oversight may result in diminished learning performance. To overcome this drawback, we propose a new method named adaptive coded federated learning (ACFL). In ACFL, before the training, each device uploads a coded local dataset with additive noise to the central server to generate a global coded dataset under privacy preservation requirements. During each iteration of the training, the central server aggregates the gradients received from the non-stragglers and the gradient computed from the global coded dataset, where an adaptive policy for varying the aggregation weights is designed. Under this policy, we optimize the performance in terms of privacy and learning, where the learning performance is analyzed through convergence analysis and the privacy performance is characterized via mutual information differential privacy. Finally, we perform simulations to demonstrate the superiority of ACFL compared with the non-adaptive methods.
- Abstract(参考訳): 本稿では,トラグラーの存在下でのフェデレーション学習の問題に対処する。
この問題に対して、中央サーバが非ストラグラーからのグラデーションを集約し、プライバシ保存グローバルコード化されたデータセットから計算した勾配を集約して、トラグラーの負の影響を緩和する、コード付きフェデレーション学習フレームワークが提案されている。
しかしながら、これらの勾配を集約する場合、固定重み付けはイテレーション間で一貫して適用され、グローバルコード化されたデータセットの生成プロセスや、反復よりもトレーニングされたモデルのダイナミックな性質を無視する。
この監視は学習性能を低下させる可能性がある。
この欠点を克服するために,適応符号化フェデレーション学習(ACFL)と呼ばれる新しい手法を提案する。
ACFLでは、トレーニング前、各デバイスが中央サーバに付加ノイズのあるコード付きローカルデータセットをアップロードし、プライバシー保護要件の下でグローバルコード付きデータセットを生成する。
トレーニングの各イテレーションにおいて、中央サーバは、非ストラグラーから受け取った勾配と、グローバルコード化されたデータセットから計算された勾配を集約する。
本ポリシーでは,学習性能を収束解析により分析し,相互情報差分プライバシを介してプライバシ性能を特徴付ける。
最後に, 適応的でない手法と比較してACFLの優位性を示すシミュレーションを行う。
関連論文リスト
- Gradient-Congruity Guided Federated Sparse Training [31.793271982853188]
Federated Learning(FL)は、データプライバシを保持しながら、このプロセスを容易にする分散機械学習技術である。
FLはまた、リソース制約のあるデバイスに関する高い計算コストや通信コストといった課題に直面している。
本研究では,動的スパーストレーニングと勾配一致検査を統合したFedSGC(Gradient-Congruity Guided Federated Sparse Training)を提案する。
論文 参考訳(メタデータ) (2024-05-02T11:29:48Z) - An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。
従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。
我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文 参考訳(メタデータ) (2024-04-29T05:55:23Z) - Fake It Till Make It: Federated Learning with Consensus-Oriented
Generation [52.82176415223988]
コンセンサス指向生成による連合学習(FedCOG)を提案する。
FedCOGは、補完的なデータ生成と知識蒸留に基づくモデルトレーニングという、クライアント側の2つの重要なコンポーネントで構成されています。
古典的および実世界のFLデータセットの実験は、FedCOGが一貫して最先端の手法より優れていることを示している。
論文 参考訳(メタデータ) (2023-12-10T18:49:59Z) - Personalized Graph Federated Learning with Differential Privacy [6.282767337715445]
本稿では、分散接続されたサーバとそのエッジデバイスが協調してデバイスやクラスタ固有のモデルを学習する、パーソナライズされたグラフフェデレーション学習(PGFL)フレームワークを提案する。
本稿では、差分プライバシー、特にノイズシーケンスがモデル交換を行うゼロ集中差分プライバシーを利用するPGFL実装の変種について検討する。
分析の結果,このアルゴリズムは,ゼロ集中型差分プライバシーの観点から,全クライアントの局所的な差分プライバシを保証することがわかった。
論文 参考訳(メタデータ) (2023-06-10T09:52:01Z) - Personalized Federated Learning via Gradient Modulation for
Heterogeneous Text Summarization [21.825321314169642]
本研究では,グローバルモデルを生データを共有せずに協調学習方法で共有することのできる,連合学習テキスト要約方式を提案する。
FedSUMMはタスク固有テキスト要約のためのPFLアルゴリズム上でより高速なモデル収束を実現することができる。
論文 参考訳(メタデータ) (2023-04-23T03:18:46Z) - MAPS: A Noise-Robust Progressive Learning Approach for Source-Free
Domain Adaptive Keypoint Detection [76.97324120775475]
クロスドメインキーポイント検出方法は、常に適応中にソースデータにアクセスする必要がある。
本稿では、ターゲット領域に十分に訓練されたソースモデルのみを提供する、ソースフリーなドメイン適応キーポイント検出について考察する。
論文 参考訳(メタデータ) (2023-02-09T12:06:08Z) - Integrating Local Real Data with Global Gradient Prototypes for
Classifier Re-Balancing in Federated Long-Tailed Learning [60.41501515192088]
フェデレートラーニング(FL)は、グローバルモデルを協調的にトレーニングする複数のクライアントを含む、人気のある分散ラーニングパラダイムになっています。
データサンプルは通常、現実世界の長い尾の分布に従っており、分散化された長い尾のデータのFLは、貧弱なグローバルモデルをもたらす。
本研究では、局所的な実データとグローバルな勾配のプロトタイプを統合し、局所的なバランスの取れたデータセットを形成する。
論文 参考訳(メタデータ) (2023-01-25T03:18:10Z) - Stochastic Coded Federated Learning: Theoretical Analysis and Incentive
Mechanism Design [18.675244280002428]
我々は、コード化されたコンピューティング技術を活用する新しいFLフレームワーク、コード付きフェデレーションラーニング(SCFL)を提案する。
SCFLでは、各エッジデバイスがプライバシを保存するコード化されたデータセットをサーバにアップロードする。
SCFLは、与えられた時間内でより良いモデルを学び、ベースライン方式よりも優れたプライバシーとパフォーマンスのトレードオフを実現する。
論文 参考訳(メタデータ) (2022-11-08T09:58:36Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳(メタデータ) (2022-03-05T02:31:32Z) - Stochastic Coded Federated Learning with Convergence and Privacy
Guarantees [8.2189389638822]
フェデレートラーニング(FL)は、プライバシを保存する分散機械学習フレームワークとして多くの注目を集めている。
本稿では、トラグラー問題を緩和するために、SCFL(Coded Federated Learning)というコード付きフェデレーション学習フレームワークを提案する。
我々は、相互情報差分プライバシー(MI-DP)によるプライバシー保証を特徴付け、連合学習における収束性能を分析する。
論文 参考訳(メタデータ) (2022-01-25T04:43:29Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳(メタデータ) (2021-11-28T19:03:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。