論文の概要: Stochastic Coded Federated Learning: Theoretical Analysis and Incentive
Mechanism Design
- arxiv url: http://arxiv.org/abs/2211.04132v1
- Date: Tue, 8 Nov 2022 09:58:36 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-09 17:31:35.969068
- Title: Stochastic Coded Federated Learning: Theoretical Analysis and Incentive
Mechanism Design
- Title(参考訳): 確率符号化連合学習--理論的解析とインセンティブ機構設計
- Authors: Yuchang Sun and Jiawei Shao and Yuyi Mao and Songze Li and Jun Zhang
- Abstract要約: 我々は、コード化されたコンピューティング技術を活用する新しいFLフレームワーク、コード付きフェデレーションラーニング(SCFL)を提案する。
SCFLでは、各エッジデバイスがプライバシを保存するコード化されたデータセットをサーバにアップロードする。
SCFLは、与えられた時間内でより良いモデルを学び、ベースライン方式よりも優れたプライバシーとパフォーマンスのトレードオフを実現する。
- 参考スコア(独自算出の注目度): 8.2189389638822
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) has achieved great success as a privacy-preserving
distributed training paradigm, where many edge devices collaboratively train a
machine learning model by sharing the model updates instead of the raw data
with a server. However, the heterogeneous computational and communication
resources of edge devices give rise to stragglers that significantly decelerate
the training process. To mitigate this issue, we propose a novel FL framework
named stochastic coded federated learning (SCFL) that leverages coded computing
techniques. In SCFL, before the training process starts, each edge device
uploads a privacy-preserving coded dataset to the server, which is generated by
adding Gaussian noise to the projected local dataset. During training, the
server computes gradients on the global coded dataset to compensate for the
missing model updates of the straggling devices. We design a gradient
aggregation scheme to ensure that the aggregated model update is an unbiased
estimate of the desired global update. Moreover, this aggregation scheme
enables periodical model averaging to improve the training efficiency. We
characterize the tradeoff between the convergence performance and privacy
guarantee of SCFL. In particular, a more noisy coded dataset provides stronger
privacy protection for edge devices but results in learning performance
degradation. We further develop a contract-based incentive mechanism to
coordinate such a conflict. The simulation results show that SCFL learns a
better model within the given time and achieves a better privacy-performance
tradeoff than the baseline methods. In addition, the proposed incentive
mechanism grants better training performance than the conventional Stackelberg
game approach.
- Abstract(参考訳): フェデレートラーニング(FL)は、多くのエッジデバイスが、生のデータではなくモデルの更新をサーバと共有することによって、機械学習モデルを協調的にトレーニングする、プライバシ保護分散トレーニングパラダイムとして大きな成功を収めています。
しかし、エッジデバイスの不均一な計算および通信資源は、トレーニングプロセスを著しく減速させるストラグラーを生み出す。
この問題を軽減するために,SCFL(Stochastic Coded Federated Learning)と呼ばれる新しいFLフレームワークを提案する。
SCFLでは、トレーニングプロセスが始まる前に、各エッジデバイスがプライバシを保存するコード化されたデータセットをサーバにアップロードする。
トレーニング中、サーバはグローバルコード化されたデータセットの勾配を計算し、ストラグリングデバイスのモデル更新の欠如を補う。
我々は,集約モデル更新が望ましいグローバル更新の偏りのない推定であることを保証するために,勾配集約スキームを設計する。
さらに、この集約方式により、定期的なモデル平均化により、トレーニング効率が向上する。
SCFLの収束性能とプライバシー保証のトレードオフを特徴付ける。
特に、ノイズの多い符号化データセットは、エッジデバイスに対してより強力なプライバシ保護を提供するが、結果としてパフォーマンス劣化を学習する。
我々は、このような紛争を調整するための契約に基づくインセンティブメカニズムを更に開発する。
シミュレーション結果から,scflは与えられた時間内によりよいモデルを学び,ベースラインメソッドよりも高いプライバシー性能のトレードオフを実現することが示された。
さらに、提案されたインセンティブ機構は、従来のstackelbergゲームアプローチよりも優れたトレーニングパフォーマンスを提供する。
関連論文リスト
- HierSFL: Local Differential Privacy-aided Split Federated Learning in
Mobile Edge Computing [7.180235086275924]
フェデレートラーニング(Federated Learning)は、データのプライバシを維持しながらユーザデータから学ぶための、有望なアプローチである。
Split Federated Learningは、クライアントが中間モデルトレーニング結果をクラウドサーバにアップロードして、協調的なサーバ-クライアントモデルのトレーニングを行う。
この手法は、モデルトレーニングへのリソース制約のあるクライアントの参加を促進するだけでなく、トレーニング時間と通信オーバーヘッドも増大させる。
我々は,階層的分割フェデレート学習(HierSFL)と呼ばれる新しいアルゴリズムを提案し,エッジとクラウドのフェーズでアマルガメートをモデル化する。
論文 参考訳(メタデータ) (2024-01-16T09:34:10Z) - Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-22T02:12:08Z) - Adaptive Model Pruning and Personalization for Federated Learning over
Wireless Networks [72.59891661768177]
フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。
これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。
このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
論文 参考訳(メタデータ) (2023-09-04T21:10:45Z) - Multi-Edge Server-Assisted Dynamic Federated Learning with an Optimized
Floating Aggregation Point [51.47520726446029]
協調エッジ学習(CE-FL)は、分散機械学習アーキテクチャである。
CE-FLの過程をモデル化し,分析訓練を行った。
実世界のテストベッドから収集したデータを用いて,本フレームワークの有効性を示す。
論文 参考訳(メタデータ) (2022-03-26T00:41:57Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳(メタデータ) (2022-03-05T02:31:32Z) - Parallel Successive Learning for Dynamic Distributed Model Training over
Heterogeneous Wireless Networks [50.68446003616802]
フェデレートラーニング(Federated Learning, FedL)は、一連の無線デバイスにモデルトレーニングを配布する一般的なテクニックとして登場した。
我々は,FedLアーキテクチャを3次元に拡張した並列逐次学習(PSL)を開発した。
我々の分析は、分散機械学習におけるコールド対ウォームアップモデルの概念とモデル慣性について光を当てている。
論文 参考訳(メタデータ) (2022-02-07T05:11:01Z) - Stochastic Coded Federated Learning with Convergence and Privacy
Guarantees [8.2189389638822]
フェデレートラーニング(FL)は、プライバシを保存する分散機械学習フレームワークとして多くの注目を集めている。
本稿では、トラグラー問題を緩和するために、SCFL(Coded Federated Learning)というコード付きフェデレーション学習フレームワークを提案する。
我々は、相互情報差分プライバシー(MI-DP)によるプライバシー保証を特徴付け、連合学習における収束性能を分析する。
論文 参考訳(メタデータ) (2022-01-25T04:43:29Z) - Fast-Convergent Federated Learning [82.32029953209542]
フェデレーション学習は、モバイルデバイスの現代的なネットワークを介して機械学習タスクを分散するための、有望なソリューションである。
本稿では,FOLBと呼ばれる高速収束型フェデレーション学習アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-07-26T14:37:51Z) - Coded Computing for Federated Learning at the Edge [3.385874614913973]
フェデレートラーニング(FL)は、クライアントデータを集中サーバに移行することなく、クライアントノードでローカルに生成されたデータからグローバルモデルをトレーニングすることを可能にする。
最近の研究は、MECサーバに冗長な計算を割り当てることで、トラグラーを緩和し、線形回帰タスクのトレーニングを高速化することを提案する。
我々は、CFLを分散非線形回帰および多出力ラベルによる分類問題に拡張する難題に対処するCodedFedLを開発した。
論文 参考訳(メタデータ) (2020-07-07T08:20:47Z) - Coded Federated Learning [5.375775284252717]
フェデレートラーニング(Federated Learning)とは、クライアントデバイスに分散した分散データからグローバルモデルをトレーニングする手法である。
この結果から,CFLでは,符号化されていない手法に比べて,大域的モデルを約4倍の速度で収束させることができることがわかった。
論文 参考訳(メタデータ) (2020-02-21T23:06:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。