Fugu-MT 論文翻訳(概要): MimiC: Combating Client Dropouts in Federated Learning by Mimicking Central Updates

論文の概要: MimiC: Combating Client Dropouts in Federated Learning by Mimicking Central Updates

arxiv url: http://arxiv.org/abs/2306.12212v4
Date: Mon, 8 Apr 2024 08:00:42 GMT
ステータス: 処理完了
システム内更新日: 2024-04-10 05:17:18.030200
Title: MimiC: Combating Client Dropouts in Federated Learning by Mimicking Central Updates
Title（参考訳）: MimiC: 中央アップデートのミスによるフェデレートラーニングでクライアントのドロップアウトを回避
Authors: Yuchang Sun, Yuyi Mao, Jun Zhang,
Abstract要約: フェデレートラーニング(FL)は、プライバシー保護のための協調学習のための有望なフレームワークである。本稿では、任意のクライアントドロップアウトを持つ古典的FedAvgアルゴリズムの収束性について検討する。次に,MimiCという新しいトレーニングアルゴリズムを設計し,サーバが各モデル更新を前回のモデルに基づいて変更する。
参考スコア（独自算出の注目度）: 8.363640358539605
License: http://creativecommons.org/publicdomain/zero/1.0/
Abstract: Federated learning (FL) is a promising framework for privacy-preserving collaborative learning, where model training tasks are distributed to clients and only the model updates need to be collected at a server. However, when being deployed at mobile edge networks, clients may have unpredictable availability and drop out of the training process, which hinders the convergence of FL. This paper tackles such a critical challenge. Specifically, we first investigate the convergence of the classical FedAvg algorithm with arbitrary client dropouts. We find that with the common choice of a decaying learning rate, FedAvg oscillates around a stationary point of the global loss function, which is caused by the divergence between the aggregated and desired central update. Motivated by this new observation, we then design a novel training algorithm named MimiC, where the server modifies each received model update based on the previous ones. The proposed modification of the received model updates mimics the imaginary central update irrespective of dropout clients. The theoretical analysis of MimiC shows that divergence between the aggregated and central update diminishes with proper learning rates, leading to its convergence. Simulation results further demonstrate that MimiC maintains stable convergence performance and learns better models than the baseline methods.
Abstract（参考訳）: フェデレーション学習(FL)は、モデルトレーニングタスクをクライアントに分散させ、モデル更新のみをサーバで収集する、プライバシー保護協調学習のための有望なフレームワークである。しかし、モバイルエッジネットワークにデプロイされる場合、クライアントは予測不可能な可用性を持ち、トレーニングプロセスから抜け出し、FLの収束を妨げる可能性がある。この論文はそのような批判的な課題に取り組む。具体的には、任意のクライアントドロップアウトを持つ古典的FedAvgアルゴリズムの収束性について検討する。崩壊する学習率の共通の選択により、FedAvgは、集約された中央更新と所望の中央更新のばらつきによって引き起こされる、グローバル損失関数の定常点の周りに振動することがわかった。この新たな観測に触発されて、我々はMimiCという新しいトレーニングアルゴリズムを設計し、サーバは、受信した各モデル更新を以前のモデルに基づいて変更する。受信したモデル更新の修正提案は、ドロップアウトクライアントに関係なく、想像上の中央更新を模倣する。 MimiCの理論解析は、集約された更新と中央更新のばらつきが適切な学習率によって減少し、収束することを示している。さらにシミュレーションの結果、MimiCは安定収束性能を維持し、ベースライン法よりも優れたモデルを学ぶことを示した。

関連論文リスト

Client-side Gradient Inversion Against Federated Learning from Poisoning [59.74484221875662]
フェデレートラーニング(FL)により、分散参加者は、データを中央サーバに直接共有することなく、グローバルモデルをトレーニングできる。近年の研究では、FLは元のトレーニングサンプルの再構築を目的とした勾配反転攻撃(GIA)に弱いことが判明している。本稿では,クライアント側から起動可能な新たな攻撃手法であるクライアント側中毒性グレーディエント・インバージョン(CGI)を提案する。
論文参考訳（メタデータ） (2023-09-14T03:48:27Z)
Federated Adversarial Learning: A Framework with Convergence Analysis [28.136498729360504]
フェデレートラーニング(Federated Learning、FL)は、分散トレーニングデータを活用するためのトレンドトレーニングパラダイムである。 FLは、クライアントがいくつかのエポックでモデルパラメータをローカルに更新し、アグリゲーションのためのグローバルモデルと共有することを可能にする。このトレーニングパラダイムは、アグリゲーションの前に複数のローカルステップを更新することで、敵の攻撃に対してユニークな脆弱性を露呈する。
論文参考訳（メタデータ） (2022-08-07T04:17:34Z)
Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文参考訳（メタデータ） (2022-03-05T02:31:32Z)
RoFL: Attestable Robustness for Secure Federated Learning [59.63865074749391]
フェデレートラーニング(Federated Learning)により、多数のクライアントが、プライベートデータを共有することなく、ジョイントモデルをトレーニングできる。クライアントのアップデートの機密性を保証するため、フェデレートラーニングシステムはセキュアなアグリゲーションを採用している。悪意のあるクライアントに対する堅牢性を向上させるセキュアなフェデレート学習システムであるRoFLを提案する。
論文参考訳（メタデータ） (2021-07-07T15:42:49Z)
Byzantine-robust Federated Learning through Spatial-temporal Analysis of Local Model Updates [6.758334200305236]
フェデレートラーニング(FL)は、複数の分散クライアント(モバイルデバイスなど)が、クライアントにローカルにトレーニングデータを保持しながら、協調的に集中的なモデルをトレーニングすることを可能にする。本稿では,これらの障害と攻撃を空間的・時間的観点から緩和することを提案する。具体的には、パラメータ空間におけるそれらの幾何学的性質を活用することにより、不正な更新を検出し、排除するためにクラスタリングに基づく手法を用いる。
論文参考訳（メタデータ） (2021-07-03T18:48:11Z)
Separation of Powers in Federated Learning [5.966064140042439]
フェデレーテッド・ラーニング(FL)は、相互不信者間の協調的なトレーニングを可能にする。最近の攻撃は、明らかに"衛生化"されたモデル更新から大量のトレーニングデータを再構築した。我々は,信頼性の高い分散集約アーキテクチャを用いた新しいクロスサイロFLシステムであるTRUDAを紹介する。
論文参考訳（メタデータ） (2021-05-19T21:00:44Z)
Federated Learning with Unreliable Clients: Performance Analysis and Mechanism Design [76.29738151117583]
Federated Learning(FL)は、分散クライアント間で効果的な機械学習モデルをトレーニングするための有望なツールとなっている。しかし、低品質のモデルは信頼性の低いクライアントによってアグリゲータサーバにアップロードすることができ、劣化やトレーニングの崩壊につながる。クライアントの信頼できない振る舞いをモデル化し、このようなセキュリティリスクを軽減するための防御メカニズムを提案する。
論文参考訳（メタデータ） (2021-05-10T08:02:27Z)
Slashing Communication Traffic in Federated Learning by Transmitting Clustered Model Updates [12.660500431713336]
Federated Learning(FL)は、複数のクライアントが共同で学習モデルをトレーニングできる、新たな分散型学習フレームワークである。クライアントとパラメータサーバ間のインターネットを介してモデル更新を交換することで、通信トラフィックが増大する可能性がある。本研究では,ソフトウェアクラスタリング(MUCSC)によるモデル更新圧縮を考案し,クライアントとPS間で送信されるモデル更新を圧縮する。
論文参考訳（メタデータ） (2021-05-10T07:15:49Z)
Blockchain Assisted Decentralized Federated Learning (BLADE-FL): Performance Analysis and Resource Allocation [119.19061102064497]
ブロックチェーンをFL、すなわちブロックチェーン支援分散学習(BLADE-FL)に統合することで、分散FLフレームワークを提案する。提案されたBLADE-FLのラウンドでは、各クライアントはトレーニング済みモデルを他のクライアントにブロードキャストし、受信したモデルに基づいてブロックを生成し、次のラウンドのローカルトレーニングの前に生成されたブロックからモデルを集約します。遅延クライアントがblade-flの学習性能に与える影響を調査し,最適なk,学習パラメータ,遅延クライアントの割合の関係を特徴付ける。
論文参考訳（メタデータ） (2021-01-18T07:19:08Z)
Over-the-Air Federated Learning from Heterogeneous Data [107.05618009955094]
フェデレートラーニング(Federated Learning、FL)は、集中型モデルの分散ラーニングのためのフレームワークである。我々は,共通局所勾配勾配勾配(SGD)FLアルゴリズムを強化するコンバージェント OTA FL (COTAF) アルゴリズムを開発した。我々は,COTAFにより誘導されるプリコーディングが,OTA FLを用いて訓練されたモデルの収束率と精度を顕著に向上させることを示す。
論文参考訳（メタデータ） (2020-09-27T08:28:25Z)
Adversarial Robustness through Bias Variance Decomposition: A New Perspective for Federated Learning [41.525434598682764]
フェデレーション学習は、プライバシ保護制約の下で分散クライアントのグループからの知識を集約することで、ニューラルネットワークモデルを学ぶ。このパラダイムは、集中型ニューラルネットワークの敵対的脆弱性を継承する可能性がある。本稿では,サーバとクライアントの更新機構を改善したFed_BVAという,対角的に堅牢なフェデレーション学習フレームワークを提案する。
論文参考訳（メタデータ） (2020-09-18T18:58:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。