論文の概要: Coding for Straggler Mitigation in Federated Learning

• arxiv url: http://arxiv.org/abs/2109.15226v1
• Date: Thu, 30 Sep 2021 15:53:35 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-01 14:31:02.934767
• Title: Coding for Straggler Mitigation in Federated Learning
• Title（参考訳）: フェデレーション学習におけるストラグラー緩和のためのコーディング
• Authors: Siddhartha Kumar, Reent Schlegel, Eirik Rosnes, Alexandre Graell i Amat
• Abstract要約: 提案手法は,プライバシと勾配コードを保存するために1回パディングを組み合わせることで,ストラグラーに対する抵抗性を向上する。 提案手法は,MNISTデータセットとFashion-MNISTデータセットのトレーニングスピードアップ係数が6.6ドルと9.2ドルであり,それぞれ95%と85%であることを示す。
• 参考スコア（独自算出の注目度）: 86.98177890676077
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a novel coded federated learning (FL) scheme for linear regression that mitigates the effect of straggling devices while retaining the privacy level of conventional FL. The proposed scheme combines one-time padding to preserve privacy and gradient codes to yield resiliency against stragglers and consists of two phases. In the first phase, the devices share a one-time padded version of their local data with a subset of other devices. In the second phase, the devices and the central server collaboratively and iteratively train a global linear model using gradient codes on the one-time padded local data. To apply one-time padding to real data, our scheme exploits a fixed-point arithmetic representation of the data. Unlike the coded FL scheme recently introduced by Prakash et al., the proposed scheme maintains the same level of privacy as conventional FL while achieving a similar training time. Compared to conventional FL, we show that the proposed scheme achieves a training speed-up factor of $6.6$ and $9.2$ on the MNIST and Fashion-MNIST datasets for an accuracy of $95\%$ and $85\%$, respectively.
• Abstract（参考訳）: 本稿では,従来のFLのプライバシレベルを維持しつつ,ストラグリングデバイスの効果を緩和する線形回帰のための新しい符号化されたフェデレーション学習手法を提案する。 提案手法は,プライバシと勾配コードを保存するために1回のパディングを組み合わせることで,ストラグラーに対する回復力を得る。 第1フェーズでは、デバイスは他のデバイスのサブセットと、ローカルデータのワンタイムパッド付きバージョンを共有する。 第2フェーズでは,デバイスと中央サーバが協調的かつ反復的に,ワンタイムパッドドローカルデータの勾配コードを用いてグローバル線形モデルを訓練する。 実データにワンタイムパディングを適用するため,本方式ではデータの固定点算術表現を利用する。 prakashらが最近導入したcoded flスキームとは異なり、提案されたスキームは従来のflと同じレベルのプライバシを維持しながら、同様のトレーニング時間を達成する。 従来のFLと比較して,提案手法はMNISTデータセットとFashion-MNISTデータセットにおいて,それぞれ9,5\%と8,5\%の精度で6.6$と9.2$のトレーニングスピードアップ係数を達成した。

関連論文リスト

• FLea: Addressing Data Scarcity and Label Skew in Federated Learning via Privacy-preserving Feature Augmentation [15.298650496155508]
  フェデレートラーニング(FL)は、ローカルデータを中央サーバに転送することなく、多数のエッジデバイスに分散したデータを活用することによって、モデル開発を可能にする。 既存のFLメソッドは、デバイス間の不足やラベルスキュードデータを扱う際に問題に直面し、結果としてローカルモデルが過度に適合し、ドリフトする。 我々はFLeaと呼ばれる先駆的なフレームワークを提案し、以下のキーコンポーネントを取り入れた。
  論文  参考訳（メタデータ） (2024-06-13T19:28:08Z)
• Federated Learning with Reduced Information Leakage and Computation [17.069452700698047]
  フェデレートラーニング(Federated Learning, FL)は、分散学習パラダイムであり、複数の分散クライアントが、ローカルデータを共有せずに共通のモデルを共同で学習することを可能にする。 本稿では,モデル更新毎に一階近似を適用する手法であるUpcycled-FLを紹介する。 この戦略の下では、FL更新の半分は情報漏洩を伴わず、計算と送信のコストを大幅に削減する。
  論文  参考訳（メタデータ） (2023-10-10T06:22:06Z)
• Semi-Federated Learning: Convergence Analysis and Optimization of A Hybrid Learning Framework [70.83511997272457]
  本稿では,ベースステーション(BS)とデバイスの両方を活用するセミフェデレーション学習(SemiFL)パラダイムを提案し,中央集権学習(CL)とFLのハイブリッド実装を提案する。 我々はこの難解な問題を解くための2段階のアルゴリズムを提案し、ビームフォーマに閉形式解を提供する。
  論文  参考訳（メタデータ） (2023-10-04T03:32:39Z)
• Online Data Selection for Federated Learning with Limited Storage [53.46789303416799]
  ネットワークデバイス間での分散機械学習を実現するために、フェデレートラーニング(FL)が提案されている。 デバイス上のストレージがFLの性能に与える影響はまだ調査されていない。 本研究では,デバイス上のストレージを限定したFLのオンラインデータ選択について検討する。
  論文  参考訳（メタデータ） (2022-09-01T03:27:33Z)
• Sparse Federated Learning with Hierarchical Personalized Models [24.763028713043468]
  フェデレートラーニング(FL)は、ユーザのプライベートデータを収集することなく、プライバシセーフで信頼性の高い協調トレーニングを実現する。 階層型パーソナライズされたモデルを用いたスパースフェデレーション学習(sFedHP)という,モロー包絡に基づく階層型近位写像を用いたパーソナライズされたFLアルゴリズムを提案する。 また、連続的に微分可能な近似L1ノルムをスパース制約として使用して通信コストを低減させる。
  論文  参考訳（メタデータ） (2022-03-25T09:06:42Z)
• Achieving Personalized Federated Learning with Sparse Local Models [75.76854544460981]
  フェデレートラーニング(FL)は異種分散データに対して脆弱である。 この問題に対処するため、個人ごとに専用のローカルモデルを作成するためにパーソナライズされたFL(PFL)が提案された。 既存のPFLソリューションは、異なるモデルアーキテクチャに対する不満足な一般化を示すか、あるいは膨大な余分な計算とメモリを犠牲にするかのどちらかである。 我々は、パーソナライズされたスパースマスクを用いて、エッジ上のスパースローカルモデルをカスタマイズする新しいPFLスキームFedSpaを提案する。
  論文  参考訳（メタデータ） (2022-01-27T08:43:11Z)
• CodedPaddedFL and CodedSecAgg: Straggler Mitigation and Secure Aggregation in Federated Learning [86.98177890676077]
  本稿では, 階層化デバイスの効果を緩和する線形回帰のための2つの新しい符号付きフェデレーションラーニング手法を提案する。 最初のスキームであるCodedPaddedFLは、従来のFLのプライバシレベルを維持しながら、ストラグリングデバイスの効果を緩和する。 第2のスキームであるCodedSecAggは、モデル反転攻撃に対するストラグラーレジリエンスと堅牢性を提供する。
  論文  参考訳（メタデータ） (2021-12-16T14:26:30Z)
• Hybrid Federated Learning: Algorithms and Implementation [61.0640216394349]
  Federated Learning(FL)は、分散データセットとプライベートデータセットを扱う分散機械学習パラダイムである。 ハイブリッドFLのためのモデルマッチングに基づく新しい問題定式化を提案する。 次に,グローバルモデルとローカルモデルを協調して学習し,完全かつ部分的な特徴量を扱う効率的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-12-22T23:56:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。