論文の概要: Federated Gradient Matching Pursuit
- arxiv url: http://arxiv.org/abs/2302.10755v1
- Date: Mon, 20 Feb 2023 16:26:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-22 14:35:41.013680
- Title: Federated Gradient Matching Pursuit
- Title（参考訳）: フェデレーション勾配マッチング追跡
- Authors: Halyun Jeong, Deanna Needell, Jing Qin
- Abstract要約: 従来の機械学習技術では、1つのサーバまたはデータハブ上のすべてのトレーニングデータを集中化する必要がある。
特に、FL(Federated Learning)は、ローカルクライアントでトレーニングデータを保持しながら、共有モデルを学習するためのソリューションを提供する。
本稿では,FL設定における分散制約最小化問題を解くために,新しいアルゴリズムフレームワークFedGradMPを提案する。
- 参考スコア（独自算出の注目度）: 17.695717854068715
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Traditional machine learning techniques require centralizing all training
data on one server or data hub. Due to the development of communication
technologies and a huge amount of decentralized data on many clients,
collaborative machine learning has become the main interest while providing
privacy-preserving frameworks. In particular, federated learning (FL) provides
such a solution to learn a shared model while keeping training data at local
clients. On the other hand, in a wide range of machine learning and signal
processing applications, the desired solution naturally has a certain structure
that can be framed as sparsity with respect to a certain dictionary. This
problem can be formulated as an optimization problem with sparsity constraints
and solving it efficiently has been one of the primary research topics in the
traditional centralized setting. In this paper, we propose a novel algorithmic
framework, federated gradient matching pursuit (FedGradMP), to solve the
sparsity constrained minimization problem in the FL setting. We also generalize
our algorithms to accommodate various practical FL scenarios when only a subset
of clients participate per round, when the local model estimation at clients
could be inexact, or when the model parameters are sparse with respect to
general dictionaries. Our theoretical analysis shows the linear convergence of
the proposed algorithms. A variety of numerical experiments are conducted to
demonstrate the great potential of the proposed framework -- fast convergence
both in communication rounds and computation time for many important scenarios
without sophisticated parameter tuning.
- Abstract（参考訳）: 従来の機械学習技術では、すべてのトレーニングデータをひとつのサーバやデータハブに集中化する必要がある。
通信技術の発展と多くのクライアント上の大量の分散データにより、協調的な機械学習は、プライバシ保護フレームワークを提供しながら大きな関心を集めている。
特にfederated learning(fl)は、トレーニングデータをローカルクライアントに保持しながら、共有モデルを学ぶためのソリューションを提供する。
一方、幅広い機械学習および信号処理アプリケーションにおいて、所望の解は自然に特定の辞書に対して疎さとみなすことができる一定の構造を持つ。
この問題は、分散性制約を伴う最適化問題として定式化することができ、効率よく解決することが、従来の集中型環境における主要な研究トピックの1つである。
本稿では,fedgradmp(federated gradient matching pursuit)という新しいアルゴリズムフレームワークを提案し,fl設定におけるスパーシティ制約最小化問題を解く。
また,本アルゴリズムは,1ラウンドあたりのクライアントのサブセットのみ参加する場合や,クライアントの局所モデル推定が不正確である場合,あるいは一般辞書に関してモデルパラメータが疎結合である場合,様々なFLシナリオに対応するように一般化する。
本理論解析は,提案アルゴリズムの線形収束性を示す。
複雑なパラメータチューニングを伴わない多くの重要なシナリオに対して,通信ラウンドと計算時間の両方において高速収束を実現するため,提案フレームワークの大きな可能性を示すために,様々な数値実験を行った。
関連論文リスト
- A Framework for testing Federated Learning algorithms using an edge-like environment [0.0]
フェデレーテッド・ラーニング(FL)は、多くのクライアントが、データをプライベートかつ分散化しながら、単一の集中型モデルを協調的にトレーニングする機械学習パラダイムである。
グローバル集中型モデルアグリゲーションにおける局所モデルの貢献を正確に評価するのは簡単ではない。
これはFLにおける大きな挑戦の例であり、一般にデータ不均衡またはクラス不均衡として知られている。
本研究では,FLアルゴリズムをより容易かつスケーラブルに評価するためのフレームワークを提案し,実装した。
論文 参考訳（メタデータ） (2024-07-17T19:52:53Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳（メタデータ） (2023-09-18T12:35:05Z) - Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。
このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。
本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
論文 参考訳（メタデータ） (2023-02-24T08:41:19Z) - FLIX: A Simple and Communication-Efficient Alternative to Local Methods
in Federated Learning [4.492444446637857]
フェデレーション学習は、複数のノードが協調的に学習しようとする、ますます人気のある機械学習パラダイムである。
教師付き学習の標準的な平均リスク最小化は、連邦学習に特有のいくつかの主要な制約を扱うのに不十分である。
我々は、フェデレートラーニングによってもたらされるユニークな課題を考慮に入れた、新しいフレームワークFLIXを紹介します。
論文 参考訳（メタデータ） (2021-11-22T22:06:58Z) - Decentralized Personalized Federated Learning for Min-Max Problems [79.61785798152529]
本稿では,より広い範囲の最適化問題を含むサドル点問題に対して,PFLを初めて検討した。
この問題に対処するための新しいアルゴリズムを提案し、滑らかな(強く)凸-(強く)凹点問題を理論的に解析する。
両線形問題に対する数値実験と, 対向雑音を有するニューラルネットワークは, 提案手法の有効性を実証する。
論文 参考訳（メタデータ） (2021-06-14T10:36:25Z) - Clustered Federated Learning via Generalized Total Variation
Minimization [83.26141667853057]
本研究では,分散ネットワーク構造を持つローカルデータセットの局所的(あるいはパーソナライズされた)モデルを学習するための最適化手法について検討する。
我々の主要な概念的貢献は、総変動最小化(GTV)としてフェデレーション学習を定式化することである。
私たちのアルゴリズムの主な貢献は、完全に分散化されたフェデレーション学習アルゴリズムです。
論文 参考訳（メタデータ） (2021-05-26T18:07:19Z) - Sample-based and Feature-based Federated Learning via Mini-batch SSCA [18.11773963976481]
本稿ではサンプルベースおよび特徴ベース連合最適化について検討する。
提案アルゴリズムは,モデルアグリゲーション機構を通じてデータプライバシを保持できることを示した。
また,提案アルゴリズムは,各フェデレーション最適化問題のKarush-Kuhn-Tucker点に収束することを示した。
論文 参考訳（メタデータ） (2021-04-13T08:23:46Z) - Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。
提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。
この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
論文 参考訳（メタデータ） (2021-02-14T05:36:25Z) - FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity
to Non-IID Data [59.50904660420082]
フェデレートラーニング(FL)は、分散データから学ぶための一般的なパラダイムになっています。
クラウドに移行することなく、さまざまなデバイスのデータを効果的に活用するために、Federated Averaging(FedAvg)などのアルゴリズムでは、"Computation then aggregate"(CTA)モデルを採用している。
論文 参考訳（メタデータ） (2020-05-22T23:07:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。