論文の概要: SAFARI: Sparsity enabled Federated Learning with Limited and Unreliable Communications

• arxiv url: http://arxiv.org/abs/2204.02321v1
• Date: Tue, 5 Apr 2022 16:26:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-06 14:40:12.516690
• Title: SAFARI: Sparsity enabled Federated Learning with Limited and Unreliable Communications
• Title（参考訳）: SAFARI: 限られたコミュニケーションと信頼できないコミュニケーションによるフェデレーション学習の実現
• Authors: Yuzhu Mao, Zihao Zhao, Meilin Yang, Le Liang, Yang Liu, Wenbo Ding, Tian Lan, Xiao-Ping Zhang
• Abstract要約: フェデレートラーニング(FL)は、エッジデバイスが分散形式でモデルを協調的に学習することを可能にする。 そこで本稿では,SAFARIと呼ばれる通信効率とバイアス低減の両面を兼ね備えたFLフレームワークを提案する。 信頼性の低い通信によって生じるバイアスを補正し、補償するために、クライアントモデル間に新しい類似性を利用する。
• 参考スコア（独自算出の注目度）: 23.78596067797334
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning (FL) enables edge devices to collaboratively learn a model in a distributed fashion. Many existing researches have focused on improving communication efficiency of high-dimensional models and addressing bias caused by local updates. However, most of FL algorithms are either based on reliable communications or assume fixed and known unreliability characteristics. In practice, networks could suffer from dynamic channel conditions and non-deterministic disruptions, with time-varying and unknown characteristics. To this end, in this paper we propose a sparsity enabled FL framework with both communication efficiency and bias reduction, termed as SAFARI. It makes novel use of a similarity among client models to rectify and compensate for bias that is resulted from unreliable communications. More precisely, sparse learning is implemented on local clients to mitigate communication overhead, while to cope with unreliable communications, a similarity-based compensation method is proposed to provide surrogates for missing model updates. We analyze SAFARI under bounded dissimilarity and with respect to sparse models. It is demonstrated that SAFARI under unreliable communications is guaranteed to converge at the same rate as the standard FedAvg with perfect communications. Implementations and evaluations on CIFAR-10 dataset validate the effectiveness of SAFARI by showing that it can achieve the same convergence speed and accuracy as FedAvg with perfect communications, with up to 80% of the model weights being pruned and a high percentage of client updates missing in each round.
• Abstract（参考訳）: フェデレーション学習(fl)は、エッジデバイスが分散形式で協調的にモデルを学習することを可能にする。 多くの既存研究は、高次元モデルの通信効率の向上と局所的な更新によるバイアスへの対処に重点を置いている。 しかし、ほとんどのFLアルゴリズムは信頼性の高い通信に基づくか、固定性と既知の信頼性の低い特性を仮定する。 実際には、ネットワークは動的チャネル条件と非決定論的破壊に悩まされ、時間的および未知の特性を持つ。 そこで本稿では,SAFARIと呼ばれる通信効率とバイアス低減の両面を兼ね備えたFLフレームワークを提案する。 信頼できない通信から生じるバイアスの修正と補償のために、クライアントモデル間の類似性を新規に使用します。 より正確には、信頼できない通信に対処しながら、通信オーバーヘッドを軽減するために、ローカルクライアントにスパースラーニングを実装し、類似性に基づく補償手法を提案し、モデル更新を欠くサロゲートを提供する。 境界相似性とスパースモデルに関するSAFARIの解析を行う。 信頼できない通信におけるSAFARIは、完全通信の標準FedAvgと同じ速度で収束することが保証されている。 CIFAR-10データセットの実装と評価は、完全な通信でFedAvgと同じ収束速度と精度を達成できることを示すことでSAFARIの有効性を検証する。

関連論文リスト

• Efficient and Robust Regularized Federated Recommendation [52.24782464815489]
  推薦システム(RSRS)は、ユーザの好みとプライバシの両方に対処する。 通信効率を向上させるために,非一様勾配勾配勾配を取り入れた新しい手法を提案する。 RFRecFの強靭性は、多様なベースラインに比べて優れている。
  論文  参考訳（メタデータ） (2024-11-03T12:10:20Z)
• Parametric Feature Transfer: One-shot Federated Learning with Foundation Models [14.97955440815159]
  ワンショットのフェデレーション学習では、クライアントは単一のコミュニケーションでグローバルモデルを協調的にトレーニングする。 本稿では,基礎モデルの転送可能性を利用してワンショットFLの精度と通信効率を向上させる手法であるFedPFTを紹介する。
  論文  参考訳（メタデータ） (2024-02-02T19:34:46Z)
• Over-the-Air Federated Learning and Optimization [52.5188988624998]
  エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。 本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。 エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。 さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
  論文  参考訳（メタデータ） (2023-10-16T05:49:28Z)
• FedET: A Communication-Efficient Federated Class-Incremental Learning Framework Based on Enhanced Transformer [42.19443600254834]
  本稿では,FedET(Federated Enhanced Transformer)という新しいフレームワークを提案する。 FedETは、小さなモジュールであるEnhancerを使って、新しい知識を吸収し、伝達する。 代表的なベンチマークデータセットにおけるFedETの平均精度は、最先端の手法よりも14.1%高い。
  論文  参考訳（メタデータ） (2023-06-27T10:00:06Z)
• Asynchronous Online Federated Learning with Reduced Communication Requirements [6.282767337715445]
  通信効率のよい非同期オンライン連合学習(PAO-Fed)戦略を提案する。 参加者のコミュニケーションオーバーヘッドを減らすことで,学習課題への参加をよりアクセスしやすく,効率的に行うことができる。 提案手法の総合シミュレーションを行い,提案手法の有効性について検討した。
  論文  参考訳（メタデータ） (2023-03-27T14:06:05Z)
• Magnitude Matters: Fixing SIGNSGD Through Magnitude-Aware Sparsification in the Presence of Data Heterogeneity [60.791736094073]
  通信オーバーヘッドは、ディープニューラルネットワークの分散トレーニングにおいて、大きなボトルネックのひとつになっています。 本稿では,SIGNSGDの非収束問題に対処する等級化方式を提案する。 提案手法は,Fashion-MNIST, CIFAR-10, CIFAR-100データセットを用いて検証した。
  論文  参考訳（メタデータ） (2023-02-19T17:42:35Z)
• Reliable Federated Disentangling Network for Non-IID Domain Feature [62.73267904147804]
  本稿では、RFedDisと呼ばれる新しい信頼性のあるフェデレーション・ディエンタングリング・ネットワークを提案する。 我々の知る限り、提案するRFedDisは、明らかな不確実性と特徴の混在に基づくFLアプローチを開発する最初の試みである。 提案するRFedDisは,他の最先端FL手法と比較して信頼性の高い優れた性能を提供する。
  論文  参考訳（メタデータ） (2023-01-30T11:46:34Z)
• FedFM: Anchor-based Feature Matching for Data Heterogeneity in Federated Learning [91.74206675452888]
  本稿では,各クライアントの特徴を共有カテゴリーのアンカーにマッチさせる新しいFedFM法を提案する。 効率と柔軟性を向上させるため,FedFM-Liteと呼ばれるFedFM変種を提案し,クライアントは同期時間と通信帯域幅のコストを少なくしてサーバと通信する。
  論文  参考訳（メタデータ） (2022-10-14T08:11:34Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• RC-SSFL: Towards Robust and Communication-efficient Semi-supervised Federated Learning System [25.84191221776459]
  Federated Learning(FL)は、新たな分散型人工知能パラダイムである。 現在のシステムは、強い前提に大きく依存している: すべてのクライアントは、豊富な真実をラベル付けしたデータを持っている。 実用的ロバスト・コミュニケーション効率の高い半監視FL(RC-SSFL)システム設計を紹介します。
  論文  参考訳（メタデータ） (2020-12-08T14:02:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。