論文の概要: When to Trust Aggregated Gradients: Addressing Negative Client Sampling in Federated Learning

• arxiv url: http://arxiv.org/abs/2301.10400v1
• Date: Wed, 25 Jan 2023 03:52:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-26 16:08:06.986894
• Title: When to Trust Aggregated Gradients: Addressing Negative Client Sampling in Federated Learning
• Title（参考訳）: 集約的グラディエントを信頼する時--フェデレートラーニングにおける否定的クライアントサンプリングへの対応
• Authors: Wenkai Yang, Yankai Lin, Guangxiang Zhao, Peng Li, Jie Zhou, Xu Sun
• Abstract要約: 本稿では,各ラウンドにおける集約勾配に対するサーバ学習率を調整するための新しい学習率適応機構を提案する。 我々は、最適なサーバ学習率に肯定的な有意義で堅牢な指標を見つけるために、理論的な推論を行う。
• 参考スコア（独自算出の注目度）: 41.51682329500003
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated Learning has become a widely-used framework which allows learning a global model on decentralized local datasets under the condition of protecting local data privacy. However, federated learning faces severe optimization difficulty when training samples are not independently and identically distributed (non-i.i.d.). In this paper, we point out that the client sampling practice plays a decisive role in the aforementioned optimization difficulty. We find that the negative client sampling will cause the merged data distribution of currently sampled clients heavily inconsistent with that of all available clients, and further make the aggregated gradient unreliable. To address this issue, we propose a novel learning rate adaptation mechanism to adaptively adjust the server learning rate for the aggregated gradient in each round, according to the consistency between the merged data distribution of currently sampled clients and that of all available clients. Specifically, we make theoretical deductions to find a meaningful and robust indicator that is positively related to the optimal server learning rate and can effectively reflect the merged data distribution of sampled clients, and we utilize it for the server learning rate adaptation. Extensive experiments on multiple image and text classification tasks validate the great effectiveness of our method.
• Abstract（参考訳）: フェデレートラーニング(Federated Learning)は、ローカルデータのプライバシ保護の条件下で、分散化されたローカルデータセットのグローバルモデル学習を可能にする、広く使用されているフレームワークである。 しかし、サンプルのトレーニングが独立かつ同一に分散されていない場合(非i.i.d.)、連合学習は厳しい最適化困難に直面している。 本稿では,上記の最適化課題において,クライアントサンプリングが決定的な役割を果たすことを指摘する。 負のクライアントサンプリングは、現在サンプリングされているクライアントのマージしたデータ分布を、利用可能なすべてのクライアントと大きく矛盾させ、さらに集約された勾配を信頼できないものにする。 そこで本研究では,各ラウンドにおける集約勾配に対するサーバの学習率を,現在のサンプルクライアントと利用可能な全クライアントの合計データ分布との整合性に応じて適応的に調整する,新たな学習率適応機構を提案する。 具体的には、最適サーバ学習率に正の相関があり、サンプルクライアントのマージデータ分布を効果的に反映できる有意義でロバストな指標を理論的に推論し、これをサーバ学習率適応に活用する。 複数の画像とテキストの分類タスクに関する大規模な実験により,本手法の有効性が検証された。

関連論文リスト

• Federated Learning Clients Clustering with Adaptation to Data Drifts [27.974937897248132]
  フェデレートラーニング(FL)は、エッジデバイス間のディープラーニングモデルのトレーニングを可能にする。 本稿では,データドリフトを低オーバーヘッドで迅速に処理するクラスタリングFLフレームワークであるFieldingを紹介する。 評価の結果,Fielding はモデルの最終精度を 1.9%-5.9% 向上し,目標精度 1.16x-2.61x に到達した。
  論文  参考訳（メタデータ） (2024-11-03T14:13:38Z)
• LEFL: Low Entropy Client Sampling in Federated Learning [6.436397118145477]
  Federated Learning(FL)は、複数のクライアントが協力して、プライベートデータを使用して単一のグローバルモデルを最適化する、機械学習パラダイムである。 本稿では,モデルが学習した高レベルの特徴に基づいて,クライアントのクラスタリングを1回行うことで,新たなサンプリング手法LEFLを提案する。 提案手法で選択したサンプルクライアントは,グローバルなデータ分布に対して,相対エントロピーが低いことを示す。
  論文  参考訳（メタデータ） (2023-12-29T01:44:20Z)
• FedSampling: A Better Sampling Strategy for Federated Learning [81.85411484302952]
  フェデレートラーニング(FL)は、プライバシを保存する方法で分散化されたデータからモデルを学習するための重要なテクニックである。 既存のFLメソッドは通常、各ラウンドでローカルモデル学習のために一様にクライアントをサンプリングする。 フェデレート学習のための新しいデータ一様サンプリング戦略(FedSampling)を提案する。
  論文  参考訳（メタデータ） (2023-06-25T13:38:51Z)
• Adaptive Self-Distillation for Minimizing Client Drift in Heterogeneous Federated Learning [9.975023463908496]
  Federated Learning(FL)は、クライアントがローカルトレーニングデータを共有せずに、局所的にトレーニングされたモデルを集約することで、グローバルモデルの共同トレーニングを可能にする機械学習パラダイムである。 本稿では,適応自己蒸留(ASD)に基づく新たな正規化手法を提案する。 我々の正規化方式は,グローバルモデルエントロピーとクライアントのラベル分布に基づいて,クライアントのトレーニングデータに適応的に適応的に適応する。
  論文  参考訳（メタデータ） (2023-05-31T07:00:42Z)
• Federated Learning with Server Learning: Enhancing Performance for Non-IID Data [5.070289965695956]
  フェデレートラーニング(FL)は、クライアントに格納されたローカルデータを協調サーバで分散学習する手段として登場した。 近年の研究では、クライアントでのトレーニングデータが独立で、同一に分散されていない場合、FLは性能が悪く、収束が遅いことが示されている。 ここでは、サーバが小さなデータセットから補助学習を行うことにより、この性能劣化を軽減するための新たな補完的アプローチを検討する。
  論文  参考訳（メタデータ） (2022-10-06T00:27:16Z)
• Fed-CBS: A Heterogeneity-Aware Client Sampling Mechanism for Federated Learning via Class-Imbalance Reduction [76.26710990597498]
  本研究では,ランダムに選択したクライアントからのグループデータのクラス不均衡が,性能の大幅な低下につながることを示す。 我々のキーとなる観測に基づいて、我々は効率的なクライアントサンプリング機構、すなわちフェデレートクラスバランスサンプリング(Fed-CBS)を設計する。 特に、クラス不均衡の尺度を提案し、その後、同型暗号化を用いてプライバシー保護方式でこの尺度を導出する。
  論文  参考訳（メタデータ） (2022-09-30T05:42:56Z)
• Straggler-Resilient Personalized Federated Learning [55.54344312542944]
  フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。 これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。 提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
  論文  参考訳（メタデータ） (2022-06-05T01:14:46Z)
• Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
  フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。 本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。 Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
  論文  参考訳（メタデータ） (2021-04-27T18:23:54Z)
• Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
  本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。 提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。 この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
  論文  参考訳（メタデータ） (2021-02-14T05:36:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。