論文の概要: Adaptive Coded Federated Learning: Privacy Preservation and Straggler Mitigation
- arxiv url: http://arxiv.org/abs/2403.14905v1
- Date: Fri, 22 Mar 2024 01:51:48 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-25 18:47:18.228321
- Title: Adaptive Coded Federated Learning: Privacy Preservation and Straggler Mitigation
- Title（参考訳）: Adaptive Coded Federated Learning: プライバシ保護とストラグラー緩和
- Authors: Chengxi Li, Ming Xiao, Mikael Skoglund,
- Abstract要約: トラグラーの負の影響を軽減するために、符号化された連合学習フレームワークが提案されている。
本稿では,この欠点を克服するために,適応符号化フェデレーション学習(ACFL)という新しい手法を提案する。
- 参考スコア（独自算出の注目度）: 33.56146654796337
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this article, we address the problem of federated learning in the presence of stragglers. For this problem, a coded federated learning framework has been proposed, where the central server aggregates gradients received from the non-stragglers and gradient computed from a privacy-preservation global coded dataset to mitigate the negative impact of the stragglers. However, when aggregating these gradients, fixed weights are consistently applied across iterations, neglecting the generation process of the global coded dataset and the dynamic nature of the trained model over iterations. This oversight may result in diminished learning performance. To overcome this drawback, we propose a new method named adaptive coded federated learning (ACFL). In ACFL, before the training, each device uploads a coded local dataset with additive noise to the central server to generate a global coded dataset under privacy preservation requirements. During each iteration of the training, the central server aggregates the gradients received from the non-stragglers and the gradient computed from the global coded dataset, where an adaptive policy for varying the aggregation weights is designed. Under this policy, we optimize the performance in terms of privacy and learning, where the learning performance is analyzed through convergence analysis and the privacy performance is characterized via mutual information differential privacy. Finally, we perform simulations to demonstrate the superiority of ACFL compared with the non-adaptive methods.
- Abstract（参考訳）: 本稿では,トラグラーの存在下でのフェデレーション学習の問題に対処する。
この問題に対して、中央サーバが非ストラグラーからのグラデーションを集約し、プライバシ保存グローバルコード化されたデータセットから計算した勾配を集約して、トラグラーの負の影響を緩和する、コード付きフェデレーション学習フレームワークが提案されている。
しかしながら、これらの勾配を集約する場合、固定重み付けはイテレーション間で一貫して適用され、グローバルコード化されたデータセットの生成プロセスや、反復よりもトレーニングされたモデルのダイナミックな性質を無視する。
この監視は学習性能を低下させる可能性がある。
この欠点を克服するために,適応符号化フェデレーション学習(ACFL)と呼ばれる新しい手法を提案する。
ACFLでは、トレーニング前、各デバイスが中央サーバに付加ノイズのあるコード付きローカルデータセットをアップロードし、プライバシー保護要件の下でグローバルコード付きデータセットを生成する。
トレーニングの各イテレーションにおいて、中央サーバは、非ストラグラーから受け取った勾配と、グローバルコード化されたデータセットから計算された勾配を集約する。
本ポリシーでは,学習性能を収束解析により分析し,相互情報差分プライバシを介してプライバシ性能を特徴付ける。
最後に, 適応的でない手法と比較してACFLの優位性を示すシミュレーションを行う。
関連論文リスト
- On the Convergence of Continual Federated Learning Using Incrementally Aggregated Gradients [2.2530496464901106]
機械学習の聖杯は、連続的フェデレーション学習(CFL)によって、ストリーミングデータから学習しながら、AIシステムの効率、プライバシ、スケーラビリティを高めることである。
本稿では、エッジベースのメモリ勾配更新と、現在のデータに対する集約勾配からなる新しいリプレイメモリベースのフェデレーション戦略を提案する。
我々は,C-FLAGが,タスクとクラスインクリメンタル設定の両方において,精度や忘れなどの指標に関して,最先端のベースラインを上回っていることを実証的に示す。
論文 参考訳（メタデータ） (2024-11-12T17:36:20Z) - On Homomorphic Encryption Based Strategies for Class Imbalance in Federated Learning [4.322339935902437]
トレーニングデータセットにおけるクラス不均衡は、機械学習モデルにおけるバイアスと一般化の欠如につながる可能性がある。
フェデレート学習におけるグローバルクラス不均衡に関連する問題に対処するプライバシー保護フレームワークであるFLICKERを提案する。
論文 参考訳（メタデータ） (2024-10-28T16:35:40Z) - FedCAda: Adaptive Client-Side Optimization for Accelerated and Stable Federated Learning [57.38427653043984]
フェデレートラーニング(FL)は、分散クライアント間の機械学習モデルの協調トレーニングにおいて、顕著なアプローチとして登場した。
我々は,この課題に対処するために設計された,革新的なクライアント適応アルゴリズムであるFedCAdaを紹介する。
我々はFedCAdaが適応性、収束性、安定性、全体的な性能の点で最先端の手法より優れていることを実証する。
論文 参考訳（メタデータ） (2024-05-20T06:12:33Z) - An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。
従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。
我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文 参考訳（メタデータ） (2024-04-29T05:55:23Z) - Personalized Federated Learning via Gradient Modulation for
Heterogeneous Text Summarization [21.825321314169642]
本研究では,グローバルモデルを生データを共有せずに協調学習方法で共有することのできる,連合学習テキスト要約方式を提案する。
FedSUMMはタスク固有テキスト要約のためのPFLアルゴリズム上でより高速なモデル収束を実現することができる。
論文 参考訳（メタデータ） (2023-04-23T03:18:46Z) - MAPS: A Noise-Robust Progressive Learning Approach for Source-Free
Domain Adaptive Keypoint Detection [76.97324120775475]
クロスドメインキーポイント検出方法は、常に適応中にソースデータにアクセスする必要がある。
本稿では、ターゲット領域に十分に訓練されたソースモデルのみを提供する、ソースフリーなドメイン適応キーポイント検出について考察する。
論文 参考訳（メタデータ） (2023-02-09T12:06:08Z) - Integrating Local Real Data with Global Gradient Prototypes for
Classifier Re-Balancing in Federated Long-Tailed Learning [60.41501515192088]
フェデレートラーニング(FL)は、グローバルモデルを協調的にトレーニングする複数のクライアントを含む、人気のある分散ラーニングパラダイムになっています。
データサンプルは通常、現実世界の長い尾の分布に従っており、分散化された長い尾のデータのFLは、貧弱なグローバルモデルをもたらす。
本研究では、局所的な実データとグローバルな勾配のプロトタイプを統合し、局所的なバランスの取れたデータセットを形成する。
論文 参考訳（メタデータ） (2023-01-25T03:18:10Z) - Stochastic Coded Federated Learning: Theoretical Analysis and Incentive
Mechanism Design [18.675244280002428]
我々は、コード化されたコンピューティング技術を活用する新しいFLフレームワーク、コード付きフェデレーションラーニング(SCFL)を提案する。
SCFLでは、各エッジデバイスがプライバシを保存するコード化されたデータセットをサーバにアップロードする。
SCFLは、与えられた時間内でより良いモデルを学び、ベースライン方式よりも優れたプライバシーとパフォーマンスのトレードオフを実現する。
論文 参考訳（メタデータ） (2022-11-08T09:58:36Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳（メタデータ） (2022-03-05T02:31:32Z) - Stochastic Coded Federated Learning with Convergence and Privacy
Guarantees [8.2189389638822]
フェデレートラーニング(FL)は、プライバシを保存する分散機械学習フレームワークとして多くの注目を集めている。
本稿では、トラグラー問題を緩和するために、SCFL(Coded Federated Learning)というコード付きフェデレーション学習フレームワークを提案する。
我々は、相互情報差分プライバシー(MI-DP)によるプライバシー保証を特徴付け、連合学習における収束性能を分析する。
論文 参考訳（メタデータ） (2022-01-25T04:43:29Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳（メタデータ） (2021-11-28T19:03:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。