論文の概要: Robust and Efficient Aggregation for Distributed Learning

• arxiv url: http://arxiv.org/abs/2204.00586v1
• Date: Fri, 1 Apr 2022 17:17:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-04 13:47:06.645800
• Title: Robust and Efficient Aggregation for Distributed Learning
• Title（参考訳）: 分散学習におけるロバストかつ効率的な集約
• Authors: Stefan Vlaski, Christian Schroth, Michael Muma, Abdelhak M. Zoubir
• Abstract要約: 平均化に基づく分散学習スキームは、外れ値に影響を受けやすいことが知られている。 単一の悪意のあるエージェントは、平均的な分散学習アルゴリズムを任意に貧弱なモデルに駆動することができる。 これは、中央値とトリミング平均の変動に基づくロバストアグリゲーションスキームの発展を動機付けている。
• 参考スコア（独自算出の注目度）: 37.203175053625245
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Distributed learning paradigms, such as federated and decentralized learning, allow for the coordination of models across a collection of agents, and without the need to exchange raw data. Instead, agents compute model updates locally based on their available data, and subsequently share the update model with a parameter server or their peers. This is followed by an aggregation step, which traditionally takes the form of a (weighted) average. Distributed learning schemes based on averaging are known to be susceptible to outliers. A single malicious agent is able to drive an averaging-based distributed learning algorithm to an arbitrarily poor model. This has motivated the development of robust aggregation schemes, which are based on variations of the median and trimmed mean. While such procedures ensure robustness to outliers and malicious behavior, they come at the cost of significantly reduced sample efficiency. This means that current robust aggregation schemes require significantly higher agent participation rates to achieve a given level of performance than their mean-based counterparts in non-contaminated settings. In this work we remedy this drawback by developing statistically efficient and robust aggregation schemes for distributed learning.
• Abstract（参考訳）: 連合学習や分散学習のような分散学習パラダイムは、エージェントの集合全体にわたってモデルの協調を可能にし、生データを交換する必要がない。 その代わり、エージェントは利用可能なデータに基づいてモデル更新をローカルに計算し、その後、更新モデルをパラメータサーバや仲間と共有する。 これに続き、伝統的に(重み付けされた)平均の形をとる集約ステップが続く。 平均化に基づく分散学習スキームは、外れ値に影響を受けやすいことが知られている。 1つの悪意のあるエージェントは平均ベースの分散学習アルゴリズムを任意に貧弱なモデルに駆動することができる。 これは、中央値とトリミング平均のバリエーションに基づくロバストな集約スキームの開発を動機付けた。 このような手順は、異常値や悪意のある振る舞いに対する堅牢性を保証するが、サンプル効率を大幅に低下させるコストがかかる。 これは、現在のロバストなアグリゲーションスキームは、非汚染環境における平均ベースのアグリゲーションよりも、与えられたレベルのパフォーマンスを達成するために、エージェントの参加率を著しく高くする必要があることを意味する。 本研究では,分散学習のための統計的に効率的でロバストなアグリゲーションスキームを開発することで,この欠点を解消する。

関連論文リスト

• WASH: Train your Ensemble with Communication-Efficient Weight Shuffling, then Average [21.029085451757368]
  ウェイト平均化手法は、アンサンブルの一般化と単一モデルの推論速度のバランスをとることを目的としている。 WASHは,最新の画像分類精度を実現するために,平均化のためのモデルアンサンブルを学習するための新しい分散手法である。
  論文  参考訳（メタデータ） (2024-05-27T09:02:57Z)
• Vanishing Variance Problem in Fully Decentralized Neural-Network Systems [0.8212195887472242]
  フェデレートラーニングとゴシップラーニングは、データプライバシの懸念を軽減するために考案された方法論だ。 本研究では,分散補正モデル平均化アルゴリズムを提案する。 シミュレーションの結果,Gossip学習は,フェデレート学習に匹敵する収束効率を実現することができることがわかった。
  論文  参考訳（メタデータ） (2024-04-06T12:49:20Z)
• Attacks on Robust Distributed Learning Schemes via Sensitivity Curve Maximization [37.464005524259356]
  曲線の感度(SCM)に基づく新たな攻撃法を提案する。 我々は, 従来の頑健なアグリゲーションスキームを, 小さいが効果的な摂動を注入することで破壊できることを実証した。
  論文  参考訳（メタデータ） (2023-04-27T08:41:57Z)
• Federated Learning Aggregation: New Robust Algorithms with Guarantees [63.96013144017572]
  エッジでの分散モデルトレーニングのために、フェデレートラーニングが最近提案されている。 本稿では,連合学習フレームワークにおける集約戦略を評価するために,完全な数学的収束解析を提案する。 損失の値に応じてクライアントのコントリビューションを差別化することで、モデルアーキテクチャを変更できる新しい集約アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2022-05-22T16:37:53Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Examining and Combating Spurious Features under Distribution Shift [94.31956965507085]
  我々は、最小限の統計量という情報理論の概念を用いて、ロバストで刺激的な表現を定義し、分析する。 入力分布のバイアスしか持たない場合でも、モデルはトレーニングデータから急激な特徴を拾い上げることができることを証明しています。 分析から着想を得た結果,グループDROは,グループ同士の相関関係を直接考慮しない場合に失敗する可能性が示唆された。
  論文  参考訳（メタデータ） (2021-06-14T05:39:09Z)
• Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge Computing [113.52575069030192]
  セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。 通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。 分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。 分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
  論文  参考訳（メタデータ） (2020-10-02T10:41:59Z)
• Learning Diverse Representations for Fast Adaptation to Distribution Shift [78.83747601814669]
  本稿では,複数のモデルを学習する手法を提案する。 分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
  論文  参考訳（メタデータ） (2020-06-12T12:23:50Z)
• Cluster-Based Social Reinforcement Learning [16.821802372973004]
  ソーシャル強化学習法は、偽ニュースの緩和、パーソナライズされた教育・医療、バイラルマーケティングに有用である。 ネットワークサイズと疎結合データのために、エージェント間の依存関係をモデルに効果的に組み込むことは困難である。 従来のソーシャルRLアプローチは、エージェント依存を無視したり、計算集約的な方法でそれらをモデル化する。
  論文  参考訳（メタデータ） (2020-03-02T01:55:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。