論文の概要: Federated Graph-based Sampling with Arbitrary Client Availability
- arxiv url: http://arxiv.org/abs/2211.13975v1
- Date: Fri, 25 Nov 2022 09:38:20 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-28 17:49:30.340239
- Title: Federated Graph-based Sampling with Arbitrary Client Availability
- Title（参考訳）: 任意のクライアントアベイラビリティを持つフェデレーショングラフベースサンプリング
- Authors: Zheng Wang, Xiaoliang Fan, Jianzhong Qi, Haibing Jin, Peizhen Yang,
Siqi Shen, Cheng Wang
- Abstract要約: 本稿では,FedGS(Federated Graph-based Smpling)というフレームワークを提案する。
実験結果から,FedGSが公正なクライアントサンプリング方式を実現し,任意のクライアントアベイラビリティの下でモデル性能を向上させるという利点が確認できた。
- 参考スコア（独自算出の注目度）: 34.95352685954059
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While federated learning has shown strong results in optimizing a machine
learning model without direct access to the original data, its performance may
be hindered by intermittent client availability which slows down the
convergence and biases the final learned model. There are significant
challenges to achieve both stable and bias-free training under arbitrary client
availability. To address these challenges, we propose a framework named
Federated Graph-based Sampling (FedGS), to stabilize the global model update
and mitigate the long-term bias given arbitrary client availability
simultaneously. First, we model the data correlations of clients with a
Data-Distribution-Dependency Graph (3DG) that helps keep the sampled clients
data apart from each other, which is theoretically shown to improve the
approximation to the optimal model update. Second, constrained by the
far-distance in data distribution of the sampled clients, we further minimize
the variance of the numbers of times that the clients are sampled, to mitigate
long-term bias. To validate the effectiveness of FedGS, we conduct experiments
on three datasets under a comprehensive set of seven client availability modes.
Our experimental results confirm FedGS's advantage in both enabling a fair
client-sampling scheme and improving the model performance under arbitrary
client availability. Our code is available at
\url{https://github.com/WwZzz/FedGS}.
- Abstract（参考訳）: フェデレーション学習は、元のデータに直接アクセスせずに機械学習モデルを最適化する強力な結果を示しているが、そのパフォーマンスは、収束を遅くし、最終的な学習モデルにバイアスを与える断続的なクライアントアベイラビリティによって妨げられる可能性がある。
任意のクライアントアベイラビリティの下で安定的かつバイアスフリーなトレーニングを実現するには、大きな課題がある。
これらの課題に対処するために、グローバルモデル更新を安定化し、任意のクライアントが同時に利用できる長期的なバイアスを軽減するために、フェデレーショングラフベースサンプリング(federated graph-based sampling, fedgs)というフレームワークを提案する。
まず,データ分散依存グラフ(3dg)を用いてクライアントのデータ相関をモデル化し,サンプルしたクライアントのデータを相互に分離し,最適モデル更新の近似を理論的に改善することが示されている。
第2に,サンプリングされたクライアントのデータ分布の遠方的制約により,クライアントがサンプリングされた回数のばらつきを最小化し,長期バイアスを緩和する。
FedGSの有効性を検証するために、我々は7つのクライアントアベイラビリティーモードの包括的なセットの下で、3つのデータセットで実験を行う。
実験結果から,FedGSが公正なクライアントサンプリング方式を実現し,任意のクライアント可用性でモデル性能を向上させるという利点が確認できた。
私たちのコードは \url{https://github.com/WwZzz/FedGS} で利用可能です。
関連論文リスト
- Federated Learning Clients Clustering with Adaptation to Data Drifts [27.974937897248132]
フェデレートラーニング(FL)は、エッジデバイス間のディープラーニングモデルのトレーニングを可能にする。
本稿では,データドリフトを低オーバーヘッドで迅速に処理するクラスタリングFLフレームワークであるFieldingを紹介する。
評価の結果,Fielding はモデルの最終精度を 1.9%-5.9% 向上し,目標精度 1.16x-2.61x に到達した。
論文 参考訳（メタデータ） (2024-11-03T14:13:38Z) - Fine-Tuning Personalization in Federated Learning to Mitigate Adversarial Clients [8.773068878015856]
フェデレートラーニング(Federated Learning, FL)とは、複数のマシン(例えばクライアント)がデータをローカルに保持しながら一元的に学習できるようにする、魅力的なパラダイムである。
我々は、一部のクライアントが敵対できるFL設定を検討し、完全なコラボレーションが失敗する条件を導出する。
論文 参考訳（メタデータ） (2024-09-30T14:31:19Z) - LEFL: Low Entropy Client Sampling in Federated Learning [6.436397118145477]
Federated Learning(FL)は、複数のクライアントが協力して、プライベートデータを使用して単一のグローバルモデルを最適化する、機械学習パラダイムである。
本稿では,モデルが学習した高レベルの特徴に基づいて,クライアントのクラスタリングを1回行うことで,新たなサンプリング手法LEFLを提案する。
提案手法で選択したサンプルクライアントは,グローバルなデータ分布に対して,相対エントロピーが低いことを示す。
論文 参考訳（メタデータ） (2023-12-29T01:44:20Z) - Leveraging Foundation Models to Improve Lightweight Clients in Federated
Learning [16.684749528240587]
Federated Learning(FL)は、世界中に散在するクライアントが機密データを漏らさずにグローバルモデルを共同で学習することを可能にする、分散トレーニングパラダイムである。
FLは、クライアント間での不均一なデータ分散という形で大きな課題に直面しており、パフォーマンスとロバスト性は低下している。
本稿では,軽量クライアントモデルの連合訓練を支援し,推論コストを低く抑えつつ,不均一なデータ設定下での性能を向上させる基礎モデル蒸留について紹介する。
論文 参考訳（メタデータ） (2023-11-14T19:10:56Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-08-11T09:58:47Z) - FedSampling: A Better Sampling Strategy for Federated Learning [81.85411484302952]
フェデレートラーニング(FL)は、プライバシを保存する方法で分散化されたデータからモデルを学習するための重要なテクニックである。
既存のFLメソッドは通常、各ラウンドでローカルモデル学習のために一様にクライアントをサンプリングする。
フェデレート学習のための新しいデータ一様サンプリング戦略(FedSampling)を提案する。
論文 参考訳（メタデータ） (2023-06-25T13:38:51Z) - Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。
FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。
PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文 参考訳（メタデータ） (2023-05-01T20:04:46Z) - When to Trust Aggregated Gradients: Addressing Negative Client Sampling
in Federated Learning [41.51682329500003]
本稿では,各ラウンドにおける集約勾配に対するサーバ学習率を調整するための新しい学習率適応機構を提案する。
我々は、最適なサーバ学習率に肯定的な有意義で堅牢な指標を見つけるために、理論的な推論を行う。
論文 参考訳（メタデータ） (2023-01-25T03:52:45Z) - Straggler-Resilient Personalized Federated Learning [55.54344312542944]
フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。
これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。
提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
論文 参考訳（メタデータ） (2022-06-05T01:14:46Z) - Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。
本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。
Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
論文 参考訳（メタデータ） (2021-04-27T18:23:54Z) - Toward Understanding the Influence of Individual Clients in Federated
Learning [52.07734799278535]
フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。
em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
論文 参考訳（メタデータ） (2020-12-20T14:34:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。