論文の概要: Robust Aggregation for Federated Learning

• arxiv url: http://arxiv.org/abs/1912.13445v2
• Date: Mon, 17 Jan 2022 05:25:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-16 20:34:00.456839
• Title: Robust Aggregation for Federated Learning
• Title（参考訳）: 連合学習のためのロバストアグリゲーション
• Authors: Krishna Pillutla, Sham M. Kakade, Zaid Harchaoui
• Abstract要約: フェデレートラーニング(Federated Learning)とは、モバイルデバイス上の分散データから統計モデルの集中的なトレーニングである。 本稿では,一部のデバイスがサーバに不正な更新を送信している場合に,フェデレーション学習を堅牢にするために,ロバストアグリゲーションアプローチを提案する。
• 参考スコア（独自算出の注目度）: 37.47208810846432
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning is the centralized training of statistical models from decentralized data on mobile devices while preserving the privacy of each device. We present a robust aggregation approach to make federated learning robust to settings when a fraction of the devices may be sending corrupted updates to the server. The approach relies on a robust aggregation oracle based on the geometric median, which returns a robust aggregate using a constant number of iterations of a regular non-robust averaging oracle. The robust aggregation oracle is privacy-preserving, similar to the non-robust secure average oracle it builds upon. We establish its convergence for least squares estimation of additive models. We provide experimental results with linear models and deep networks for three tasks in computer vision and natural language processing. The robust aggregation approach is agnostic to the level of corruption; it outperforms the classical aggregation approach in terms of robustness when the level of corruption is high, while being competitive in the regime of low corruption. Two variants, a faster one with one-step robust aggregation and another one with on-device personalization, round off the paper.
• Abstract（参考訳）: フェデレートラーニング(Federated Learning)とは、モバイルデバイス上の分散データから統計モデルの集中的なトレーニングである。 我々は,デバイスの一部がサーバに不正なアップデートを送信している場合,フェデレーション学習を設定に堅牢にするためのロバストアグリゲーション手法を提案する。 このアプローチは、幾何学的中央値に基づくロバスト集約オラクルに依存しており、通常の非ロバスト平均オラクルの一定数のイテレーションを使用してロバスト集約を返す。 堅牢なアグリゲーション oracleはプライバシ保護であり、robustのセキュアな平均的なoracleと似ています。 加法モデルの最小二乗推定に対する収束性を確立する。 コンピュータビジョンと自然言語処理の3つのタスクに対して線形モデルとディープネットワークを用いた実験結果を提供する。 堅牢な集約アプローチは汚職のレベルに非依存であり、汚職のレベルが高い場合の堅牢性の観点から古典的な集約アプローチよりも優れ、低汚職の時代に競争力がある。 2つのバリエーションは、1段階の頑健なアグリゲーションと、デバイス上のパーソナライゼーションを備えた高速なアグリゲーションである。

関連論文リスト

• PriRoAgg: Achieving Robust Model Aggregation with Minimum Privacy Leakage for Federated Learning [49.916365792036636]
  フェデレートラーニング(FL)は、大規模分散ユーザデータを活用する可能性から、最近大きな勢いを増している。 送信されたモデル更新は、センシティブなユーザ情報をリークする可能性があり、ローカルなトレーニングプロセスの集中的な制御の欠如は、モデル更新に対する悪意のある操作の影響を受けやすいグローバルモデルを残します。 我々は、Lagrange符号化計算と分散ゼロ知識証明を利用した汎用フレームワークPriRoAggを開発し、集約されたプライバシを満たすとともに、幅広いロバストな集約アルゴリズムを実行する。
  論文  参考訳（メタデータ） (2024-07-12T03:18:08Z)
• FedMPQ: Secure and Communication-Efficient Federated Learning with Multi-codebook Product Quantization [12.83265009728818]
  本稿では,フェデレート学習のための新しいアップリンク通信圧縮手法であるFedMPQを提案する。 従来の研究とは対照的に,本手法では,データが独立かつ同一に分散されていないシナリオにおいて,より堅牢性を示す。 LEAFデータセットを用いて実験を行った結果,提案手法はベースラインの最終精度の99%を達成できた。
  論文  参考訳（メタデータ） (2024-04-21T08:27:36Z)
• Near-Optimal Resilient Aggregation Rules for Distributed Learning Using 1-Center and 1-Mean Clustering with Outliers [24.88026399458157]
  ビザンティンの機械学習は、予測不可能な欠陥によってかなりの注目を集めている。 分散学習におけるマシンのセキュア化の鍵は、レジリエントな集約メカニズムである。
  論文  参考訳（メタデータ） (2023-12-20T08:36:55Z)
• BRFL: A Blockchain-based Byzantine-Robust Federated Learning Model [8.19957400564017]
  分散ノードにデータを格納し、モデルパラメータのみを共有するフェデレーション学習は、この問題に対処するために大きな注目を集めている。 悪質なローカルモデルが集約中のグローバルモデルのパフォーマンスを損なうという、ビザンティン攻撃問題(英語版)によるフェデレートラーニング(英語版)において、課題が生じる。 本稿では、フェデレートラーニングとブロックチェーン技術を組み合わせたByzantine-Robust Federated Learning(BRLF)モデルの統合を提案する。
  論文  参考訳（メタデータ） (2023-10-20T10:21:50Z)
• FedSkip: Combatting Statistical Heterogeneity with Federated Skip Aggregation [95.85026305874824]
  我々はFedSkipと呼ばれるデータ駆動型アプローチを導入し、フェデレーション平均化を定期的にスキップし、ローカルモデルをクロスデバイスに分散することで、クライアントの最適化を改善する。 我々は、FedSkipがはるかに高い精度、より良いアグリゲーション効率、競合する通信効率を達成することを示すために、さまざまなデータセットに関する広範な実験を行う。
  論文  参考訳（メタデータ） (2022-12-14T13:57:01Z)
• FedHiSyn: A Hierarchical Synchronous Federated Learning Framework for Resource and Data Heterogeneity [56.82825745165945]
  フェデレートラーニング(FL)は、データプライバシを保護するために複数のデバイスに格納された分散生データを共有することなく、グローバルモデルのトレーニングを可能にする。 本稿では,階層型同期FLフレームワークであるFedHiSynを提案し,トラグラー効果や時代遅れモデルの問題に対処する。 提案手法は,MNIST,EMNIST,CIFAR10,CIFAR100のデータセットと多種多様なデバイス設定に基づいて評価する。
  論文  参考訳（メタデータ） (2022-06-21T17:23:06Z)
• Performance Weighting for Robust Federated Learning Against Corrupted Sources [1.76179873429447]
  分散機械学習の計算パラダイムとしてフェデレートラーニングが登場している。 現実世界のアプリケーションでは、フェデレーションされた環境は、好意的なクライアントと悪意のあるクライアントの混在によって構成される。 局所重みの標準的グローバルアグリゲーション方式は, クライアントの破損の有無で非効率であることを示す。
  論文  参考訳（メタデータ） (2022-05-02T20:01:44Z)
• Meta Clustering Learning for Large-scale Unsupervised Person Re-identification [124.54749810371986]
  メタクラスタリング学習(MCL)と呼ばれる「大規模タスクのための小さなデータ」パラダイムを提案する。 MCLは、第1フェーズのトレーニングのためにコンピューティングを節約するためにクラスタリングを介して、未ラベルデータのサブセットを擬似ラベル付けするのみである。 提案手法は計算コストを大幅に削減すると同時に,従来よりも優れた性能を実現している。
  論文  参考訳（メタデータ） (2021-11-19T04:10:18Z)
• Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge Computing [113.52575069030192]
  セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。 通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。 分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。 分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
  論文  参考訳（メタデータ） (2020-10-02T10:41:59Z)
• Device Heterogeneity in Federated Learning: A Superquantile Approach [0.0]
  人口データ分布に適合しない異種クライアントデバイスを扱うためのフレームワークを提案する。 最適化アルゴリズムを提案し、定常点への収束を確立する。 ニューラルネットワークとコンピュータビジョンと自然言語処理のタスクの線形モデルに関する数値実験で結論付ける。
  論文  参考訳（メタデータ） (2020-02-25T23:37:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。