論文の概要: FLIX: A Simple and Communication-Efficient Alternative to Local Methods
in Federated Learning
- arxiv url: http://arxiv.org/abs/2111.11556v1
- Date: Mon, 22 Nov 2021 22:06:58 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-24 14:33:47.581829
- Title: FLIX: A Simple and Communication-Efficient Alternative to Local Methods
in Federated Learning
- Title（参考訳）: FLIX:フェデレートラーニングにおける局所的手法の簡易かつコミュニケーション効率の良い代替手段
- Authors: Elnur Gasanov and Ahmed Khaled and Samuel Horv\'ath and Peter
Richt\'arik
- Abstract要約: フェデレーション学習は、複数のノードが協調的に学習しようとする、ますます人気のある機械学習パラダイムである。
教師付き学習の標準的な平均リスク最小化は、連邦学習に特有のいくつかの主要な制約を扱うのに不十分である。
我々は、フェデレートラーニングによってもたらされるユニークな課題を考慮に入れた、新しいフレームワークFLIXを紹介します。
- 参考スコア（独自算出の注目度）: 4.492444446637857
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated Learning (FL) is an increasingly popular machine learning paradigm
in which multiple nodes try to collaboratively learn under privacy,
communication and multiple heterogeneity constraints. A persistent problem in
federated learning is that it is not clear what the optimization objective
should be: the standard average risk minimization of supervised learning is
inadequate in handling several major constraints specific to federated
learning, such as communication adaptivity and personalization control. We
identify several key desiderata in frameworks for federated learning and
introduce a new framework, FLIX, that takes into account the unique challenges
brought by federated learning. FLIX has a standard finite-sum form, which
enables practitioners to tap into the immense wealth of existing (potentially
non-local) methods for distributed optimization. Through a smart initialization
that does not require any communication, FLIX does not require the use of local
steps but is still provably capable of performing dissimilarity regularization
on par with local methods. We give several algorithms for solving the FLIX
formulation efficiently under communication constraints. Finally, we
corroborate our theoretical results with extensive experimentation.
- Abstract（参考訳）: Federated Learning(FL)は、複数のノードがプライバシ、コミュニケーション、複数の異種性制約の下で協調的に学習しようとする、ますます人気のある機械学習パラダイムである。
教師付き学習の標準的な平均リスク最小化は、コミュニケーション適応性やパーソナライズ制御など、連合型学習に特有のいくつかの主要な制約を扱うのに不十分である。
フェデレーション学習のためのフレームワークにおけるいくつかの重要なデシデラタを特定し、フェデレーション学習によってもたらされるユニークな課題を考慮した新しいフレームワークflixを導入しました。
FLIXは標準的な有限サム形式を持ち、実践者は分散最適化のために既存の(潜在的に非局所的な)メソッドの豊富な富を利用できる。
通信を必要としないスマート初期化によって、flixはローカルステップの使用を必要とせず、ローカルメソッドと同等の異種正規化を行うことができる。
通信制約下でのFLIX定式化を効率的に解くためのアルゴリズムをいくつか提供する。
最後に、我々の理論結果を広範な実験で裏付ける。
関連論文リスト
- Optimizing Value of Learning in Task-Oriented Federated Meta-Learning Systems [10.332182237773818]
デバイス間の個別のトレーニングニーズを評価するために、新しいメトリック、学習のメトリック値(VoL)が導入された。
タスクレベルの重み(TLW)は、FMLトレーニングのタスクレベルの考慮と公平性に基づいて定義される。
論文 参考訳（メタデータ） (2025-01-07T00:30:31Z) - Advances in APPFL: A Comprehensive and Extensible Federated Learning Framework [1.4206132527980742]
Federated Learning(FL)は、データプライバシを保持しながら協調的なモデルトレーニングを可能にする分散機械学習パラダイムである。
本稿では,統合学習のためのフレームワークおよびベンチマークスイートであるAPPFLの開発における最近の進歩について述べる。
本稿では, 通信効率, プライバシー保護, 計算性能, 資源利用など, FLの様々な側面を評価する広範な実験を通じて, APPFLの能力を実証する。
論文 参考訳（メタデータ） (2024-09-17T22:20:26Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳（メタデータ） (2023-09-18T12:35:05Z) - Communication-Efficient Decentralized Federated Learning via One-Bit
Compressive Sensing [52.402550431781805]
分散連合学習(DFL)は、様々なアプリケーションにまたがる実用性によって人気を博している。
集中型バージョンと比較して、DFLの多数のノード間で共有モデルをトレーニングするのはより難しい。
我々は,iADM (iexact alternating direction method) の枠組みに基づく新しいアルゴリズムを開発した。
論文 参考訳（メタデータ） (2023-08-31T12:22:40Z) - Federated Gradient Matching Pursuit [17.695717854068715]
従来の機械学習技術では、1つのサーバまたはデータハブ上のすべてのトレーニングデータを集中化する必要がある。
特に、FL(Federated Learning)は、ローカルクライアントでトレーニングデータを保持しながら、共有モデルを学習するためのソリューションを提供する。
本稿では,FL設定における分散制約最小化問題を解くために,新しいアルゴリズムフレームワークFedGradMPを提案する。
論文 参考訳（メタデータ） (2023-02-20T16:26:29Z) - Efficient Split-Mix Federated Learning for On-Demand and In-Situ
Customization [107.72786199113183]
フェデレートラーニング(FL)は、複数の参加者が生データを共有せずに学習をコラボレーションするための分散ラーニングフレームワークを提供する。
本稿では, モデルサイズとロバスト性をその場でカスタマイズできる, 不均一な参加者のための新しいスプリット・ミクス・FL戦略を提案する。
論文 参考訳（メタデータ） (2022-03-18T04:58:34Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳（メタデータ） (2021-11-28T19:03:39Z) - Communication-Efficient Hierarchical Federated Learning for IoT
Heterogeneous Systems with Imbalanced Data [42.26599494940002]
フェデレートラーニング(Federated Learning, FL)は、複数のノードが協調してディープラーニングモデルをトレーニングできる分散ラーニング方法論である。
本稿では,IoTヘテロジニアスシステムにおける階層FLの可能性について検討する。
複数のエッジノード上でのユーザ割り当てとリソース割り当てに最適化されたソリューションを提案する。
論文 参考訳（メタデータ） (2021-07-14T08:32:39Z) - Decentralized Personalized Federated Learning for Min-Max Problems [79.61785798152529]
本稿では,より広い範囲の最適化問題を含むサドル点問題に対して,PFLを初めて検討した。
この問題に対処するための新しいアルゴリズムを提案し、滑らかな(強く)凸-(強く)凹点問題を理論的に解析する。
両線形問題に対する数値実験と, 対向雑音を有するニューラルネットワークは, 提案手法の有効性を実証する。
論文 参考訳（メタデータ） (2021-06-14T10:36:25Z) - Practical One-Shot Federated Learning for Cross-Silo Setting [114.76232507580067]
ワンショット・フェデレーション・ラーニングは、クロスサイロ環境でフェデレーション・ラーニングを適用するための有望なアプローチである。
本稿では,FedKTという,実践的なワンショットフェデレーション学習アルゴリズムを提案する。
知識伝達技術を利用することで、FedKTは任意の分類モデルに適用でき、フレキシブルに差分プライバシー保証を達成できる。
論文 参考訳（メタデータ） (2020-10-02T14:09:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。