論文の概要: Improving Accuracy of Federated Learning in Non-IID Settings

• arxiv url: http://arxiv.org/abs/2010.15582v1
• Date: Wed, 14 Oct 2020 21:02:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-07 13:03:01.937235
• Title: Improving Accuracy of Federated Learning in Non-IID Settings
• Title（参考訳）: 非IID環境におけるフェデレート学習の精度向上
• Authors: Mustafa Safa Ozdayi, Murat Kantarcioglu, Rishabh Iyer
• Abstract要約: Federated Learning(FL)は、データを共有することなく、参加するエージェントのセットが協力してモデルをトレーニングできる、分散機械学習プロトコルである。 FLの性能はエージェントの局所的なデータ分布と密接に関連していることが観察されている。 本研究では,FLに付加的な通信オーバーヘッドを発生させることなく,訓練されたモデルの性能を向上させるための4つの簡単な手法を同定する。
• 参考スコア（独自算出の注目度）: 11.908715869667445
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated Learning (FL) is a decentralized machine learning protocol that allows a set of participating agents to collaboratively train a model without sharing their data. This makes FL particularly suitable for settings where data privacy is desired. However, it has been observed that the performance of FL is closely tied with the local data distributions of agents. Particularly, in settings where local data distributions vastly differ among agents, FL performs rather poorly with respect to the centralized training. To address this problem, we hypothesize the reasons behind the performance degradation, and develop some techniques to address these reasons accordingly. In this work, we identify four simple techniques that can improve the performance of trained models without incurring any additional communication overhead to FL, but rather, some light computation overhead either on the client, or the server-side. In our experimental analysis, combination of our techniques improved the validation accuracy of a model trained via FL by more than 12% with respect to our baseline. This is about 5% less than the accuracy of the model trained on centralized data.
• Abstract（参考訳）: Federated Learning(FL)は、データを共有することなく、参加するエージェントのセットが協力してモデルをトレーニングできる、分散機械学習プロトコルである。 これにより、FLは特にデータのプライバシが求められる設定に適している。 しかし、flの性能はエージェントのローカルデータ分布と密接に関連していることが観察されている。 特に、ローカルなデータ分布がエージェント間で大きく異なる環境では、FLは集中的なトレーニングに関してかなりパフォーマンスが悪い。 この問題に対処するため,性能劣化の原因を仮説化し,それに応じていくつかの手法を開発する。 本研究では,flに対する通信オーバーヘッドを発生させることなく,クライアント側,サーバ側いずれにおいても軽量な計算オーバーヘッドを発生させることなく,トレーニングモデルの性能を向上させるための4つの簡単な手法を特定する。 実験分析では,本手法の組み合わせにより,flでトレーニングしたモデルの検証精度がベースラインに対して12%以上向上した。 これは集中型データでトレーニングされたモデルの精度よりも約5%低い。

関連論文リスト

• Towards More Suitable Personalization in Federated Learning via Decentralized Partial Model Training [67.67045085186797]
  既存のシステムのほとんどは、中央のFLサーバが失敗した場合、大きな通信負荷に直面しなければならない。 共有パラメータと個人パラメータを交互に更新することで、ディープモデルの「右」をパーソナライズする。 共有パラメータアグリゲーションプロセスをさらに促進するために、ローカルシャープネス最小化を統合するDFedを提案する。
  論文  参考訳（メタデータ） (2023-05-24T13:52:18Z)
• Federated Learning for Predictive Maintenance and Quality Inspection in Industrial Applications [0.36855408155998204]
  フェデレーション・ラーニング(FL)は、複数の参加者がデータのプライバシと機密性を損なうことなく、機械学習モデルを開発することを可能にする。 FLアグリゲーション法の性能評価を行い,それらを中央および局所的な訓練手法と比較した。 実世界の品質検査環境から新しいフェデレーション学習データセットを導入する。
  論文  参考訳（メタデータ） (2023-04-21T16:11:09Z)
• Federated Learning with Privacy-Preserving Ensemble Attention Distillation [63.39442596910485]
  Federated Learning(FL)は、多くのローカルノードがトレーニングデータを分散化しながら、中央モデルを協調的にトレーニングする機械学習パラダイムである。 本稿では,未ラベル公開データを利用した一方向オフライン知識蒸留のためのプライバシー保護FLフレームワークを提案する。 我々の技術は、既存のFLアプローチのような分散的で異質なローカルデータを使用するが、より重要なのは、プライバシー漏洩のリスクを著しく低減することです。
  論文  参考訳（メタデータ） (2022-10-16T06:44:46Z)
• Preserving Privacy in Federated Learning with Ensemble Cross-Domain Knowledge Distillation [22.151404603413752]
  Federated Learning(FL)は、ローカルノードが中央モデルを協調的にトレーニングする機械学習パラダイムである。 既存のFLメソッドはモデルパラメータを共有したり、不均衡なデータ分散の問題に対処するために共蒸留を用いるのが一般的である。 我々は,一発のオフライン知識蒸留を用いたFLフレームワークにおいて,プライバシ保護と通信効率のよい手法を開発した。
  論文  参考訳（メタデータ） (2022-09-10T05:20:31Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• Do Gradient Inversion Attacks Make Federated Learning Unsafe? [70.0231254112197]
  フェデレートラーニング(FL)は、生データを共有することなく、AIモデルの協調トレーニングを可能にする。 モデル勾配からのディープニューラルネットワークの反転に関する最近の研究は、トレーニングデータの漏洩を防止するためのFLの安全性に関する懸念を提起した。 本研究では,本論文で提示されたこれらの攻撃が実際のFLユースケースでは実行不可能であることを示し,新たなベースライン攻撃を提供する。
  論文  参考訳（メタデータ） (2022-02-14T18:33:12Z)
• The Impact of Data Distribution on Fairness and Robustness in Federated Learning [7.209240273742224]
  Federated Learning(FL)は、エージェントの集合がデータセットを共有することなく、協調的にモデルをトレーニングできる分散機械学習プロトコルである。 本研究では、局所的なデータ分布の変化が、訓練されたモデルの公平性と特性にどのように影響するかを検討する。
  論文  参考訳（メタデータ） (2021-11-29T22:04:50Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• Blockchain Assisted Decentralized Federated Learning (BLADE-FL): Performance Analysis and Resource Allocation [119.19061102064497]
  ブロックチェーンをFL、すなわちブロックチェーン支援分散学習(BLADE-FL)に統合することで、分散FLフレームワークを提案する。 提案されたBLADE-FLのラウンドでは、各クライアントはトレーニング済みモデルを他のクライアントにブロードキャストし、受信したモデルに基づいてブロックを生成し、次のラウンドのローカルトレーニングの前に生成されたブロックからモデルを集約します。 遅延クライアントがblade-flの学習性能に与える影響を調査し,最適なk,学習パラメータ,遅延クライアントの割合の関係を特徴付ける。
  論文  参考訳（メタデータ） (2021-01-18T07:19:08Z)
• Federated learning with hierarchical clustering of local updates to improve training on non-IID data [3.3517146652431378]
  一つのジョイントモデルを学ぶことは、特定の種類の非IDデータが存在する場合に最適ではないことがよく示される。 階層的クラスタリングステップ(FL+HC)を導入することでFLに修正を加える。 FL+HCは,クラスタリングを伴わないFLに比べて,より少ない通信ラウンドでモデルトレーニングを収束させることができることを示す。
  論文  参考訳（メタデータ） (2020-04-24T15:16:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。