論文の概要: Robust and Efficient Aggregation for Distributed Learning
- arxiv url: http://arxiv.org/abs/2204.00586v1
- Date: Fri, 1 Apr 2022 17:17:41 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-04 13:47:06.645800
- Title: Robust and Efficient Aggregation for Distributed Learning
- Title(参考訳): 分散学習におけるロバストかつ効率的な集約
- Authors: Stefan Vlaski, Christian Schroth, Michael Muma, Abdelhak M. Zoubir
- Abstract要約: 平均化に基づく分散学習スキームは、外れ値に影響を受けやすいことが知られている。
単一の悪意のあるエージェントは、平均的な分散学習アルゴリズムを任意に貧弱なモデルに駆動することができる。
これは、中央値とトリミング平均の変動に基づくロバストアグリゲーションスキームの発展を動機付けている。
- 参考スコア(独自算出の注目度): 37.203175053625245
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Distributed learning paradigms, such as federated and decentralized learning,
allow for the coordination of models across a collection of agents, and without
the need to exchange raw data. Instead, agents compute model updates locally
based on their available data, and subsequently share the update model with a
parameter server or their peers. This is followed by an aggregation step, which
traditionally takes the form of a (weighted) average. Distributed learning
schemes based on averaging are known to be susceptible to outliers. A single
malicious agent is able to drive an averaging-based distributed learning
algorithm to an arbitrarily poor model. This has motivated the development of
robust aggregation schemes, which are based on variations of the median and
trimmed mean. While such procedures ensure robustness to outliers and malicious
behavior, they come at the cost of significantly reduced sample efficiency.
This means that current robust aggregation schemes require significantly higher
agent participation rates to achieve a given level of performance than their
mean-based counterparts in non-contaminated settings. In this work we remedy
this drawback by developing statistically efficient and robust aggregation
schemes for distributed learning.
- Abstract(参考訳): 連合学習や分散学習のような分散学習パラダイムは、エージェントの集合全体にわたってモデルの協調を可能にし、生データを交換する必要がない。
その代わり、エージェントは利用可能なデータに基づいてモデル更新をローカルに計算し、その後、更新モデルをパラメータサーバや仲間と共有する。
これに続き、伝統的に(重み付けされた)平均の形をとる集約ステップが続く。
平均化に基づく分散学習スキームは、外れ値に影響を受けやすいことが知られている。
1つの悪意のあるエージェントは平均ベースの分散学習アルゴリズムを任意に貧弱なモデルに駆動することができる。
これは、中央値とトリミング平均のバリエーションに基づくロバストな集約スキームの開発を動機付けた。
このような手順は、異常値や悪意のある振る舞いに対する堅牢性を保証するが、サンプル効率を大幅に低下させるコストがかかる。
これは、現在のロバストなアグリゲーションスキームは、非汚染環境における平均ベースのアグリゲーションよりも、与えられたレベルのパフォーマンスを達成するために、エージェントの参加率を著しく高くする必要があることを意味する。
本研究では,分散学習のための統計的に効率的でロバストなアグリゲーションスキームを開発することで,この欠点を解消する。
関連論文リスト
- Deep Ensembles Meets Quantile Regression: Uncertainty-aware Imputation
for Time Series [49.992908221544624]
時系列データは、しばしば多くの欠落した値を示し、これは時系列計算タスクである。
従来の深層学習法は時系列計算に有効であることが示されている。
本研究では,不確実性のある高精度な計算を行う非生成時系列計算法を提案する。
論文 参考訳(メタデータ) (2023-12-03T05:52:30Z) - Attacks on Robust Distributed Learning Schemes via Sensitivity Curve
Maximization [37.464005524259356]
曲線の感度(SCM)に基づく新たな攻撃法を提案する。
我々は, 従来の頑健なアグリゲーションスキームを, 小さいが効果的な摂動を注入することで破壊できることを実証した。
論文 参考訳(メタデータ) (2023-04-27T08:41:57Z) - Federated Learning Aggregation: New Robust Algorithms with Guarantees [63.96013144017572]
エッジでの分散モデルトレーニングのために、フェデレートラーニングが最近提案されている。
本稿では,連合学習フレームワークにおける集約戦略を評価するために,完全な数学的収束解析を提案する。
損失の値に応じてクライアントのコントリビューションを差別化することで、モデルアーキテクチャを変更できる新しい集約アルゴリズムを導出する。
論文 参考訳(メタデータ) (2022-05-22T16:37:53Z) - Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。
パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
論文 参考訳(メタデータ) (2022-04-13T12:43:12Z) - FedRAD: Federated Robust Adaptive Distillation [7.775374800382709]
一般的にモデルの更新を集約するコラボレーション学習フレームワークは、敵のクライアントによる毒殺攻撃のモデルに対して脆弱である。
本稿では,新たなロバスト適応蒸留法 (FedRAD) を提案する。
その結果,FedRADは敵の存在や異種データ分布において,他のアグリゲータよりも優れていた。
論文 参考訳(メタデータ) (2021-12-02T16:50:57Z) - Evaluating Model Robustness and Stability to Dataset Shift [7.369475193451259]
機械学習モデルの安定性を解析するためのフレームワークを提案する。
本手法では,アルゴリズムが性能の悪い分布を決定するために,元の評価データを用いる。
我々は,アルゴリズムの性能を"Worst-case"分布で推定する。
論文 参考訳(メタデータ) (2020-10-28T17:35:39Z) - Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge
Computing [113.52575069030192]
セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。
通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。
分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。
分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
論文 参考訳(メタデータ) (2020-10-02T10:41:59Z) - Learning Diverse Representations for Fast Adaptation to Distribution
Shift [78.83747601814669]
本稿では,複数のモデルを学習する手法を提案する。
分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
論文 参考訳(メタデータ) (2020-06-12T12:23:50Z) - Cluster-Based Social Reinforcement Learning [16.821802372973004]
ソーシャル強化学習法は、偽ニュースの緩和、パーソナライズされた教育・医療、バイラルマーケティングに有用である。
ネットワークサイズと疎結合データのために、エージェント間の依存関係をモデルに効果的に組み込むことは困難である。
従来のソーシャルRLアプローチは、エージェント依存を無視したり、計算集約的な方法でそれらをモデル化する。
論文 参考訳(メタデータ) (2020-03-02T01:55:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。