論文の概要: Byzantine-Resilient Federated Learning at Edge

• arxiv url: http://arxiv.org/abs/2303.10434v1
• Date: Sat, 18 Mar 2023 15:14:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-21 19:17:01.077752
• Title: Byzantine-Resilient Federated Learning at Edge
• Title（参考訳）: エッジでのビザンチン耐性連合学習
• Authors: Youming Tao, Sijia Cui, Wenlu Xu, Haofei Yin, Dongxiao Yu, Weifa Liang, Xiuzhen Cheng
• Abstract要約: 重み付きデータを処理できるビザンチン耐性降下アルゴリズムを提案する。 また,学習過程におけるコストを考慮したアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 20.742023657098525
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Both Byzantine resilience and communication efficiency have attracted tremendous attention recently for their significance in edge federated learning. However, most existing algorithms may fail when dealing with real-world irregular data that behaves in a heavy-tailed manner. To address this issue, we study the stochastic convex and non-convex optimization problem for federated learning at edge and show how to handle heavy-tailed data while retaining the Byzantine resilience, communication efficiency and the optimal statistical error rates simultaneously. Specifically, we first present a Byzantine-resilient distributed gradient descent algorithm that can handle the heavy-tailed data and meanwhile converge under the standard assumptions. To reduce the communication overhead, we further propose another algorithm that incorporates gradient compression techniques to save communication costs during the learning process. Theoretical analysis shows that our algorithms achieve order-optimal statistical error rate in presence of Byzantine devices. Finally, we conduct extensive experiments on both synthetic and real-world datasets to verify the efficacy of our algorithms.
• Abstract（参考訳）: ビザンチンのレジリエンスとコミュニケーションの効率は、エッジフェデレーション学習におけるその重要性から、近年大きな注目を集めている。 しかし、既存のアルゴリズムの多くは、ヘビーテールで振る舞う現実世界の不規則なデータを扱う場合に失敗する可能性がある。 この問題に対処するために,エッジでのフェデレート学習における確率凸および非凸最適化問題を調査し,ビザンチンの反発性,通信効率,最適統計誤差率を同時に保持しながら重み付きデータを扱う方法を示す。 具体的には, 重み付きデータを扱うことができ, かつ標準仮定の下で収束するビザンチン耐性分散勾配降下アルゴリズムを提案する。 通信オーバヘッドを低減するため,学習過程における通信コストを削減するため,勾配圧縮手法を取り入れた別のアルゴリズムを提案する。 理論的解析により,ビザンチンデバイスの存在下での最適統計誤差率をアルゴリズムが達成できることが示されている。 最後に,合成データと実世界データの両方について広範な実験を行い,アルゴリズムの有効性を検証する。

関連論文リスト

• Byzantine-Robust and Communication-Efficient Distributed Learning via Compressed Momentum Filtering [17.446431849022346]
  分散学習は、プライベートデータサイロにわたる大規模機械学習モデルをトレーニングするための標準アプローチとなっている。 堅牢性とコミュニケーションの保存に関する重要な課題に直面している。 本稿では,ビザンチン・ロバスト・コミュニケーション効率の高い分散学習手法を提案する。
  論文  参考訳（メタデータ） (2024-09-13T08:53:10Z)
• Communication Efficient and Provable Federated Unlearning [43.178460522012934]
  我々は、フェデレーション・アンラーニング(フェデレーション・アンラーニング)という、特定のクライアントやデータポイントが、フェデレーション・ラーニング(FL)を通じて学習したグローバルモデルに与える影響をなくすための新しい問題について研究する。 この問題は、忘れられる権利とFLのプライバシー問題によって引き起こされる。 我々は,テキストコミュニケーション効率とテキストテキサクト・アンラーニング性という2つの重要な基準を満たす,正確な非ラーニングのための新しいフレームワークを導入する。
  論文  参考訳（メタデータ） (2024-01-19T20:35:02Z)
• Can Decentralized Stochastic Minimax Optimization Algorithms Converge Linearly for Finite-Sum Nonconvex-Nonconcave Problems? [56.62372517641597]
  分散化されたミニマックス最適化は、幅広い機械学習に応用されているため、ここ数年で活発に研究されている。 本稿では,非コンカブ問題に対する2つの新しい分散化ミニマックス最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-04-24T02:19:39Z)
• Faster Adaptive Federated Learning [84.38913517122619]
  フェデレートラーニングは分散データの出現に伴って注目を集めている。 本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
  論文  参考訳（メタデータ） (2022-12-02T05:07:50Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• Resource-constrained Federated Edge Learning with Heterogeneous Data: Formulation and Analysis [8.863089484787835]
  ヘテロジニアスデータによる不均一な統計的課題を解決するために, 分散されたニュートン型ニュートン型トレーニングスキームであるFedOVAを提案する。 FedOVAはマルチクラス分類問題をより単純なバイナリ分類問題に分解し、アンサンブル学習を用いてそれぞれの出力を結合する。
  論文  参考訳（メタデータ） (2021-10-14T17:35:24Z)
• Communication-efficient Byzantine-robust distributed learning with statistical guarantee [2.8407238889624877]
  コミュニケーション効率と堅牢性は、現代の分散学習フレームワークにおける2つの大きな問題である。 本論文では,凸問題に対するコミュニケーション効率とロバストな分散学習アルゴリズムを2つ開発する。
  論文  参考訳（メタデータ） (2021-02-28T01:38:37Z)
• Straggler-Resilient Federated Learning: Leveraging the Interplay Between Statistical Accuracy and System Heterogeneity [57.275753974812666]
  フェデレーション学習は、データをローカルに保持しながら、クライアントのネットワークに分散したデータサンプルから学習する。 本稿では,学習手順を高速化するために,クライアントデータの統計的特徴を取り入れてクライアントを適応的に選択する,ストラグラー・レジリエントなフェデレーション学習手法を提案する。
  論文  参考訳（メタデータ） (2020-12-28T19:21:14Z)
• Semi-Supervised Learning with Meta-Gradient [123.26748223837802]
  半教師付き学習における簡単なメタ学習アルゴリズムを提案する。 その結果,提案アルゴリズムは最先端の手法に対して良好に動作することがわかった。
  論文  参考訳（メタデータ） (2020-07-08T08:48:56Z)
• Learning while Respecting Privacy and Robustness to Distributional Uncertainties and Adversarial Data [66.78671826743884]
  分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。 目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。 提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
  論文  参考訳（メタデータ） (2020-07-07T18:25:25Z)
• Communication-efficient Variance-reduced Stochastic Gradient Descent [0.0]
  通信効率のよい分散最適化の問題を考える。 特に、分散還元勾配に着目し、通信効率を高めるための新しいアプローチを提案する。 実データセットの包括的理論的および数値解析により、我々のアルゴリズムは通信の複雑さを95%減らし、ほとんど顕著なペナルティを伴わないことが明らかとなった。
  論文  参考訳（メタデータ） (2020-03-10T13:22:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。