論文の概要: FLASH: Federated Learning Across Simultaneous Heterogeneities
- arxiv url: http://arxiv.org/abs/2402.08769v1
- Date: Tue, 13 Feb 2024 20:04:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-15 17:42:05.690977
- Title: FLASH: Federated Learning Across Simultaneous Heterogeneities
- Title（参考訳）: flash: 同時異種間の連合学習
- Authors: Xiangyu Chang, Sk Miraj Ahmed, Srikanth V. Krishnamurthy, Basak Guler,
Ananthram Swami, Samet Oymak, Amit K. Roy-Chowdhury
- Abstract要約: FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。
ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。
最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
- 参考スコア（独自算出の注目度）: 54.80435317208111
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: The key premise of federated learning (FL) is to train ML models across a
diverse set of data-owners (clients), without exchanging local data. An
overarching challenge to this date is client heterogeneity, which may arise not
only from variations in data distribution, but also in data quality, as well as
compute/communication latency. An integrated view of these diverse and
concurrent sources of heterogeneity is critical; for instance, low-latency
clients may have poor data quality, and vice versa. In this work, we propose
FLASH(Federated Learning Across Simultaneous Heterogeneities), a lightweight
and flexible client selection algorithm that outperforms state-of-the-art FL
frameworks under extensive sources of heterogeneity, by trading-off the
statistical information associated with the client's data quality, data
distribution, and latency. FLASH is the first method, to our knowledge, for
handling all these heterogeneities in a unified manner. To do so, FLASH models
the learning dynamics through contextual multi-armed bandits (CMAB) and
dynamically selects the most promising clients. Through extensive experiments,
we demonstrate that FLASH achieves substantial and consistent improvements over
state-of-the-art baselines -- as much as 10% in absolute accuracy -- thanks to
its unified approach. Importantly, FLASH also outperforms federated aggregation
methods that are designed to handle highly heterogeneous settings and even
enjoys a performance boost when integrated with them.
- Abstract（参考訳）: federated learning(fl)の重要な前提は、ローカルデータを交換することなく、さまざまなデータ所有者(クライアント)セットでmlモデルをトレーニングすることだ。
クライアントの不均一性は、データの分散の変化だけでなく、データ品質、計算/通信遅延からも生じる可能性がある。
例えば、低レイテンシクライアントはデータ品質が劣るかもしれないし、その逆もある。
本研究では,クライアントのデータ品質,データ分散,レイテンシに関連する統計情報を交換することで,幅広い異質性の源において最先端のflフレームワークを上回る軽量で柔軟なクライアント選択アルゴリズムであるflash(federated learning across concurrent heterogeneity)を提案する。
FLASHは、我々の知る限り、これらの不均一性を統一的に扱うための最初の方法である。
そのためにflashは、コンテキスト多腕バンディット(cmab)を通じて学習ダイナミクスをモデル化し、最も有望なクライアントを動的に選択する。
広範な実験を通じて、flashは統一アプローチのおかげで、最先端のベースライン -- 絶対精度で最大10% -- に対して、相当かつ一貫した改善を達成していることを実証した。
重要なことに、flashは、非常に異種な設定を扱うように設計されたフェデレーションアグリゲーションメソッドよりも優れており、それらとの統合によってパフォーマンスが向上する。
関連論文リスト
- Non-Federated Multi-Task Split Learning for Heterogeneous Sources [17.47679789733922]
異種データソースのマルチタスク学習を効率的に行うための新しいアーキテクチャと方法論を提案する。
MTSLは,サーバとクライアントの学習率を調整することで,高速収束を実現することができることを示す。
論文 参考訳（メタデータ） (2024-05-31T19:27:03Z) - FedMAP: Unlocking Potential in Personalized Federated Learning through Bi-Level MAP Optimization [11.040916982022978]
フェデレートラーニング(FL)は、分散データに基づく機械学習モデルの協調トレーニングを可能にする。
クライアント間でのデータはしばしば、クラス不均衡、特徴分散スキュー、サンプルサイズ不均衡、その他の現象によって大きく異なる。
本稿では,バイレベル最適化を用いた新しいベイズPFLフレームワークを提案する。
論文 参考訳（メタデータ） (2024-05-29T11:28:06Z) - An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。
従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。
我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文 参考訳（メタデータ） (2024-04-29T05:55:23Z) - Fake It Till Make It: Federated Learning with Consensus-Oriented
Generation [52.82176415223988]
コンセンサス指向生成による連合学習(FedCOG)を提案する。
FedCOGは、補完的なデータ生成と知識蒸留に基づくモデルトレーニングという、クライアント側の2つの重要なコンポーネントで構成されています。
古典的および実世界のFLデータセットの実験は、FedCOGが一貫して最先端の手法より優れていることを示している。
論文 参考訳（メタデータ） (2023-12-10T18:49:59Z) - Leveraging Foundation Models to Improve Lightweight Clients in Federated
Learning [16.684749528240587]
Federated Learning(FL)は、世界中に散在するクライアントが機密データを漏らさずにグローバルモデルを共同で学習することを可能にする、分散トレーニングパラダイムである。
FLは、クライアント間での不均一なデータ分散という形で大きな課題に直面しており、パフォーマンスとロバスト性は低下している。
本稿では,軽量クライアントモデルの連合訓練を支援し,推論コストを低く抑えつつ,不均一なデータ設定下での性能を向上させる基礎モデル蒸留について紹介する。
論文 参考訳（メタデータ） (2023-11-14T19:10:56Z) - FedDAT: An Approach for Foundation Model Finetuning in Multi-Modal
Heterogeneous Federated Learning [37.96957782129352]
我々はFederated Dual-Aadapter Teacher(Fed DAT)と呼ばれる異種マルチモーダル基礎モデルに適した微調整フレームワークを提案する。
Fed DATは、クライアントのローカル更新を規則化し、MKD(Mutual Knowledge Distillation)を効率的な知識伝達に適用することで、データの均一性に対処する。
その有効性を示すために、異なる種類のデータ不均一性を持つ4つの多モードFLベンチマークについて広範な実験を行った。
論文 参考訳（メタデータ） (2023-08-21T21:57:01Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-08-11T09:58:47Z) - FL Games: A Federated Learning Framework for Distribution Shifts [71.98708418753786]
フェデレートラーニングは、サーバのオーケストレーションの下で、クライアント間で分散されたデータの予測モデルをトレーニングすることを目的としている。
本稿では,クライアント間で不変な因果的特徴を学習するフェデレーション学習のためのゲーム理論フレームワークFL GAMESを提案する。
論文 参考訳（メタデータ） (2022-10-31T22:59:03Z) - Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。
本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。
Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
論文 参考訳（メタデータ） (2021-04-27T18:23:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。