論文の概要: Utilizing Free Clients in Federated Learning for Focused Model
Enhancement
- arxiv url: http://arxiv.org/abs/2310.04515v1
- Date: Fri, 6 Oct 2023 18:23:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-12 17:58:07.556837
- Title: Utilizing Free Clients in Federated Learning for Focused Model
Enhancement
- Title（参考訳）: モデル強化のためのフェデレーション学習におけるフリークライアントの利用
- Authors: Aditya Narayan Ravi and Ilan Shomorony
- Abstract要約: Federated Learning(FL)は、分散機械学習のアプローチで、分散化された異種データのモデルを学ぶ。
我々はこの課題に対処するためにFedALIGN(Federated Adaptive Learning with Inclusion of Global Needs)を提案する。
- 参考スコア（独自算出の注目度）: 9.370655190768163
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated Learning (FL) is a distributed machine learning approach to learn
models on decentralized heterogeneous data, without the need for clients to
share their data. Many existing FL approaches assume that all clients have
equal importance and construct a global objective based on all clients. We
consider a version of FL we call Prioritized FL, where the goal is to learn a
weighted mean objective of a subset of clients, designated as priority clients.
An important question arises: How do we choose and incentivize well aligned non
priority clients to participate in the federation, while discarding misaligned
clients? We present FedALIGN (Federated Adaptive Learning with Inclusion of
Global Needs) to address this challenge. The algorithm employs a matching
strategy that chooses non priority clients based on how similar the models loss
is on their data compared to the global data, thereby ensuring the use of non
priority client gradients only when it is beneficial for priority clients. This
approach ensures mutual benefits as non priority clients are motivated to join
when the model performs satisfactorily on their data, and priority clients can
utilize their updates and computational resources when their goals align. We
present a convergence analysis that quantifies the trade off between client
selection and speed of convergence. Our algorithm shows faster convergence and
higher test accuracy than baselines for various synthetic and benchmark
datasets.
- Abstract（参考訳）: Federated Learning(FL)は、分散機械学習のアプローチで、クライアントがデータを共有することなく、分散化された異種データのモデルを学ぶ。
既存のflアプローチの多くは、すべてのクライアントが同じ重要性を持ち、すべてのクライアントに基づいたグローバルな目標を構築していると仮定している。
そこでは、優先順位付けクライアントとして指定されたクライアントのサブセットの重み付けされた平均目標を学習することを目的としています。
適切に調整された非優先順位のクライアントを選択して、連邦に参加するようにインセンティブを与えるには、どのようにすればよいのか?
我々はこの課題に対処するためにFedALIGN(Federated Adaptive Learning with Inclusion of Global Needs)を提案する。
このアルゴリズムは、モデル損失がグローバルデータとどの程度似ているかに基づいて非優先度クライアントを選択するマッチング戦略を採用しており、優先度クライアントに有利な場合にのみ非優先度クライアント勾配を使用することを保証する。
このアプローチは、モデルがデータに対して良好に実行されたときに、非優先度クライアントが参加する動機のある相互利益を保証し、優先度クライアントは、目標が整ったときに、更新と計算リソースを活用できる。
本稿では,クライアント選択と収束速度のトレードオフを定量化する収束解析を行う。
本アルゴリズムは,各種合成およびベンチマークデータセットのベースラインよりも高速な収束とテスト精度を示す。
関連論文リスト
- Beyond the Federation: Topology-aware Federated Learning for Generalization to Unseen Clients [10.397502254316645]
フェデレートラーニングは、分散センシティブなデータに取り組むために広く利用されている。
Topology-Aware Federated Learning (TFL)は、オフ・オブ・フェデレーション(OOF)データに対して堅牢なモデルをトレーニングする。
クライアントトポロジ学習(Client Topology Learning)とクライアントトポロジ学習(Learning on Client Topology)という2つの重要なモジュールからなるTFLの新しい最適化問題を定式化する。
様々な実世界のデータセットに対する実証的な評価は、TFLの優れたOOF堅牢性とスケーラビリティを検証する。
論文 参考訳（メタデータ） (2024-07-06T03:57:05Z) - An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。
従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。
我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文 参考訳（メタデータ） (2024-04-29T05:55:23Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-08-11T09:58:47Z) - Federated Learning for Semantic Parsing: Task Formulation, Evaluation
Setup, New Algorithms [29.636944156801327]
複数のクライアントは、セマンティック解析データを共有せずに、1つのグローバルモデルを協調的にトレーニングする。
Lorarは、各ラウンド中のトレーニング損失の削減に基づいて、グローバルモデル更新に対する各クライアントのコントリビューションを調整する。
より小さなデータセットを持つクライアントは、より大きなパフォーマンス向上を享受する。
論文 参考訳（メタデータ） (2023-05-26T19:25:49Z) - Re-Weighted Softmax Cross-Entropy to Control Forgetting in Federated
Learning [14.196701066823499]
フェデレートラーニング(Federated Learning)では、独立したクライアントノードの集合で計算されたモデル更新を集約することによって、グローバルモデルが学習される。
我々は、個々のクライアントモデルが、他のクライアントのデータに関して破滅的な忘れを経験していることを示します。
本稿では,損失の計算に先立ってソフトマックスのロジットを再重み付けすることで,クロスエントロピーの目標を周期的に修正する効率的な手法を提案する。
論文 参考訳（メタデータ） (2023-04-11T14:51:55Z) - FL Games: A Federated Learning Framework for Distribution Shifts [71.98708418753786]
フェデレートラーニングは、サーバのオーケストレーションの下で、クライアント間で分散されたデータの予測モデルをトレーニングすることを目的としている。
本稿では,クライアント間で不変な因果的特徴を学習するフェデレーション学習のためのゲーム理論フレームワークFL GAMESを提案する。
論文 参考訳（メタデータ） (2022-10-31T22:59:03Z) - To Federate or Not To Federate: Incentivizing Client Participation in
Federated Learning [22.3101738137465]
フェデレートラーニング(FL)は、共通の機械学習モデルをトレーニングしようとするクライアントのグループ間のコラボレーションを促進する。
本稿では,グローバルモデルにインセンティブを与えるクライアントの割合を明示的に最大化する,IncFLと呼ばれるアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-05-30T04:03:31Z) - Game of Gradients: Mitigating Irrelevant Clients in Federated Learning [3.2095659532757916]
フェデレートラーニング(FL)は、中央サーバのオーケストレーションの下で、機械学習モデルの協調トレーニングに参加する複数のクライアントを扱う。
この設定では、各クライアントのデータは自身にプライベートであり、他のクライアントやサーバに転送できない。
我々はこれらの問題をFederated Relevant Client Selection (FRCS)と呼ぶ。
論文 参考訳（メタデータ） (2021-10-23T16:34:42Z) - Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。
本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。
Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
論文 参考訳（メタデータ） (2021-04-27T18:23:54Z) - Toward Understanding the Influence of Individual Clients in Federated
Learning [52.07734799278535]
フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。
em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
論文 参考訳（メタデータ） (2020-12-20T14:34:36Z) - Personalized Federated Learning with First Order Model Optimization [76.81546598985159]
そこで我々は,各クライアントが他のクライアントと連携して,クライアント固有の目的ごとのより強力なモデルを得る,フェデレーション学習の代替案を提案する。
基礎となるデータ分布やクライアントの類似性に関する知識を前提とせず、各クライアントが関心のある任意のターゲット分布を最適化できるようにします。
この手法は既存の代替品を上回り、ローカルデータ配信以外の転送のようなパーソナライズされたFLの新機能を可能にする。
論文 参考訳（メタデータ） (2020-12-15T19:30:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。