論文の概要: MimiC: Combating Client Dropouts in Federated Learning by Mimicking Central Updates

• arxiv url: http://arxiv.org/abs/2306.12212v1
• Date: Wed, 21 Jun 2023 12:11:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-22 13:27:08.078093
• Title: MimiC: Combating Client Dropouts in Federated Learning by Mimicking Central Updates
• Title（参考訳）: MimiC: 中央アップデートのミスによるフェデレーション学習でクライアントのドロップアウトを回避
• Authors: Yuchang Sun and Yuyi Mao and Jun Zhang
• Abstract要約: フェデレートラーニング(FL)は、プライバシー保護のための協調学習のための有望なフレームワークである。 本稿では、任意のクライアントドロップアウトを持つ古典的FedAvgアルゴリズムの収束性について検討する。 次に,MimiCという新しいトレーニングアルゴリズムを設計し,サーバが各モデル更新を前回のモデルに基づいて変更する。
• 参考スコア（独自算出の注目度）: 5.060405696893342
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Federated learning (FL) is a promising framework for privacy-preserving collaborative learning. In FL, the model training tasks are distributed to clients and only the model updates need to be collected at a central server. However, when being deployed at the mobile edge network, clients (e.g., smartphones and wearables) may have unpredictable availability and randomly drop out of any training iteration, which hinders FL from achieving the convergence. This paper tackles such a critical challenge of FL. In particular, we first investigate the convergence of the classical FedAvg algorithm with arbitrary client dropouts. We find that with the common choice of a decaying learning rate, FedAvg can only oscillate within the neighborhood of a stationary point of the global loss function, which is caused by the divergence between the aggregated update and the desired central update. Motivated by this new observation, we then design a novel training algorithm named MimiC, where the server modifies each received model update based on the previous ones. The proposed modification of the received model updates is able to mimic the imaginary central update irrespective of the dropout clients. The theoretical analysis of MimiC shows that the divergence between the aggregated update and the central update diminishes with a proper choice of the learning rates, leading to its convergence. Simulation results further demonstrate that MimiC maintains stable convergence performance in the presence of client dropouts and learns better models than the baseline methods.
• Abstract（参考訳）: フェデレートラーニング(FL)は、プライバシー保護のための協調学習のための有望なフレームワークである。 FLでは、モデルのトレーニングタスクはクライアントに分散され、モデルの更新のみを中央サーバで収集する必要があります。 しかし、モバイルエッジネットワークにデプロイされた場合、クライアント(スマートフォンやウェアラブルなど)は予測不能な可用性を持ち、トレーニングイテレーションからランダムに外れる可能性があるため、flの収束が妨げられる。 本稿ではFLのこのような批判的課題に取り組む。 特に,従来のFedAvgアルゴリズムの任意のクライアントドロップアウトによる収束について検討する。 崩壊する学習率の共通選択により、FedAvgは、集約された更新と所望の中央更新とのばらつきによって引き起こされる、グローバル損失関数の定常点の近傍でしか発振できないことがわかった。 この新たな観察に動機づけられ、サーバが受信した各モデル更新を前のものに基づいて修正するミイムと呼ばれる新しいトレーニングアルゴリズムを設計した。 受信したモデル更新の修正提案は、ドロップアウトクライアントに関係なく、想像上の中央更新を模倣することができる。 MimiCの理論分析は、集約された更新と中央更新のばらつきが学習率の適切な選択によって減少し、収束することを示している。 さらにシミュレーションの結果、MimiCはクライアントのドロップアウトの有無で安定した収束性能を維持し、ベースライン法よりも優れたモデルを学ぶことを示した。

関連論文リスト

• Client-side Gradient Inversion Against Federated Learning from Poisoning [59.74484221875662]
  フェデレートラーニング(FL)により、分散参加者は、データを中央サーバに直接共有することなく、グローバルモデルをトレーニングできる。 近年の研究では、FLは元のトレーニングサンプルの再構築を目的とした勾配反転攻撃(GIA)に弱いことが判明している。 本稿では,クライアント側から起動可能な新たな攻撃手法であるクライアント側中毒性グレーディエント・インバージョン(CGI)を提案する。
  論文  参考訳（メタデータ） (2023-09-14T03:48:27Z)
• Federated Adversarial Learning: A Framework with Convergence Analysis [28.136498729360504]
  フェデレートラーニング(Federated Learning、FL)は、分散トレーニングデータを活用するためのトレンドトレーニングパラダイムである。 FLは、クライアントがいくつかのエポックでモデルパラメータをローカルに更新し、アグリゲーションのためのグローバルモデルと共有することを可能にする。 このトレーニングパラダイムは、アグリゲーションの前に複数のローカルステップを更新することで、敵の攻撃に対してユニークな脆弱性を露呈する。
  論文  参考訳（メタデータ） (2022-08-07T04:17:34Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• RoFL: Attestable Robustness for Secure Federated Learning [59.63865074749391]
  フェデレートラーニング(Federated Learning)により、多数のクライアントが、プライベートデータを共有することなく、ジョイントモデルをトレーニングできる。 クライアントのアップデートの機密性を保証するため、フェデレートラーニングシステムはセキュアなアグリゲーションを採用している。 悪意のあるクライアントに対する堅牢性を向上させるセキュアなフェデレート学習システムであるRoFLを提案する。
  論文  参考訳（メタデータ） (2021-07-07T15:42:49Z)
• Byzantine-robust Federated Learning through Spatial-temporal Analysis of Local Model Updates [6.758334200305236]
  フェデレートラーニング(FL)は、複数の分散クライアント(モバイルデバイスなど)が、クライアントにローカルにトレーニングデータを保持しながら、協調的に集中的なモデルをトレーニングすることを可能にする。 本稿では,これらの障害と攻撃を空間的・時間的観点から緩和することを提案する。 具体的には、パラメータ空間におけるそれらの幾何学的性質を活用することにより、不正な更新を検出し、排除するためにクラスタリングに基づく手法を用いる。
  論文  参考訳（メタデータ） (2021-07-03T18:48:11Z)
• Separation of Powers in Federated Learning [5.966064140042439]
  フェデレーテッド・ラーニング(FL)は、相互不信者間の協調的なトレーニングを可能にする。 最近の攻撃は、明らかに"衛生化"されたモデル更新から大量のトレーニングデータを再構築した。 我々は,信頼性の高い分散集約アーキテクチャを用いた新しいクロスサイロFLシステムであるTRUDAを紹介する。
  論文  参考訳（メタデータ） (2021-05-19T21:00:44Z)
• Federated Learning with Unreliable Clients: Performance Analysis and Mechanism Design [76.29738151117583]
  Federated Learning(FL)は、分散クライアント間で効果的な機械学習モデルをトレーニングするための有望なツールとなっている。 しかし、低品質のモデルは信頼性の低いクライアントによってアグリゲータサーバにアップロードすることができ、劣化やトレーニングの崩壊につながる。 クライアントの信頼できない振る舞いをモデル化し、このようなセキュリティリスクを軽減するための防御メカニズムを提案する。
  論文  参考訳（メタデータ） (2021-05-10T08:02:27Z)
• Slashing Communication Traffic in Federated Learning by Transmitting Clustered Model Updates [12.660500431713336]
  Federated Learning(FL)は、複数のクライアントが共同で学習モデルをトレーニングできる、新たな分散型学習フレームワークである。 クライアントとパラメータサーバ間のインターネットを介してモデル更新を交換することで、通信トラフィックが増大する可能性がある。 本研究では,ソフトウェアクラスタリング(MUCSC)によるモデル更新圧縮を考案し,クライアントとPS間で送信されるモデル更新を圧縮する。
  論文  参考訳（メタデータ） (2021-05-10T07:15:49Z)
• Blockchain Assisted Decentralized Federated Learning (BLADE-FL): Performance Analysis and Resource Allocation [119.19061102064497]
  ブロックチェーンをFL、すなわちブロックチェーン支援分散学習(BLADE-FL)に統合することで、分散FLフレームワークを提案する。 提案されたBLADE-FLのラウンドでは、各クライアントはトレーニング済みモデルを他のクライアントにブロードキャストし、受信したモデルに基づいてブロックを生成し、次のラウンドのローカルトレーニングの前に生成されたブロックからモデルを集約します。 遅延クライアントがblade-flの学習性能に与える影響を調査し,最適なk,学習パラメータ,遅延クライアントの割合の関係を特徴付ける。
  論文  参考訳（メタデータ） (2021-01-18T07:19:08Z)
• Over-the-Air Federated Learning from Heterogeneous Data [107.05618009955094]
  フェデレートラーニング(Federated Learning、FL)は、集中型モデルの分散ラーニングのためのフレームワークである。 我々は,共通局所勾配勾配勾配(SGD)FLアルゴリズムを強化するコンバージェント OTA FL (COTAF) アルゴリズムを開発した。 我々は,COTAFにより誘導されるプリコーディングが,OTA FLを用いて訓練されたモデルの収束率と精度を顕著に向上させることを示す。
  論文  参考訳（メタデータ） (2020-09-27T08:28:25Z)
• Adversarial Robustness through Bias Variance Decomposition: A New Perspective for Federated Learning [41.525434598682764]
  フェデレーション学習は、プライバシ保護制約の下で分散クライアントのグループからの知識を集約することで、ニューラルネットワークモデルを学ぶ。 このパラダイムは、集中型ニューラルネットワークの敵対的脆弱性を継承する可能性がある。 本稿では,サーバとクライアントの更新機構を改善したFed_BVAという,対角的に堅牢なフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-09-18T18:58:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。