論文の概要: FedU: A Unified Framework for Federated Multi-Task Learning with Laplacian Regularization

• arxiv url: http://arxiv.org/abs/2102.07148v1
• Date: Sun, 14 Feb 2021 13:19:43 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-16 15:22:39.144080
• Title: FedU: A Unified Framework for Federated Multi-Task Learning with Laplacian Regularization
• Title（参考訳）: FedU:ラプラシア正規化によるフェデレーションマルチタスク学習のための統一フレームワーク
• Authors: Canh T. Dinh, Tung T. Vu, Nguyen H. Tran, Minh N. Dao, Hongyu Zhang
• Abstract要約: フェデレート・マルチタスク・ラーニング(FMTL)は、フェデレーション・ラーニングにおけるクライアント間の統計的多様性を捉える自然な選択肢として登場した。 統計的多様性を超えてFMTLを解き放つために、ラプラシア正規化を用いて新しいFMTL FedUを策定する。
• 参考スコア（独自算出の注目度）: 15.238123204624003
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated multi-task learning (FMTL) has emerged as a natural choice to capture the statistical diversity among the clients in federated learning. To unleash the potential of FMTL beyond statistical diversity, we formulate a new FMTL problem FedU using Laplacian regularization, which can explicitly leverage relationships among the clients for multi-task learning. We first show that FedU provides a unified framework covering a wide range of problems such as conventional federated learning, personalized federated learning, few-shot learning, and stratified model learning. We then propose algorithms including both communication-centralized and decentralized schemes to learn optimal models of FedU. Theoretically, we show that the convergence rates of both FedU's algorithms achieve linear speedup for strongly convex and sublinear speedup of order $1/2$ for nonconvex objectives. While the analysis of FedU is applicable to both strongly convex and nonconvex loss functions, the conventional FMTL algorithm MOCHA, which is based on CoCoA framework, is only applicable to convex case. Experimentally, we verify that FedU outperforms the vanilla FedAvg, MOCHA, as well as pFedMe and Per-FedAvg in personalized federated learning.
• Abstract（参考訳）: フェデレート・マルチタスク・ラーニング(FMTL)は、フェデレーション・ラーニングにおけるクライアント間の統計的多様性を捉える自然な選択肢として登場した。 統計的多様性を超えてFMTLの可能性を解き明かすため,Laplacian regularization を用いて新たなFMTL問題 FedU を定式化し,マルチタスク学習におけるクライアント間の関係を明確に活用する。 まず、FedUが従来のフェデレーション学習、パーソナライズされたフェデレーション学習、少数ショット学習、階層化されたモデル学習など、幅広い問題をカバーする統一的なフレームワークを提供することを示す。 次に、FedUの最適モデルを学ぶために、通信集中型と分散型の両方のスキームを含むアルゴリズムを提案する。 理論的には、feduのアルゴリズムの収束速度は、非凸目的に対して1/2$の強い凸とサブリニアの高速化を実現する。 FedUの解析は強い凸と非凸の両方の損失関数に適用できるが、従来のFMTLアルゴリズムMOCHAはCoCoAフレームワークをベースにしており、凸の場合のみ適用できる。 実験では、FedUがフェデラFedAvg、MOCHA、およびpFedMeおよびPer-FedAvgよりもパーソナライズされたフェデレーション学習で優れていることを確認しました。

関連論文リスト

• Faster Adaptive Federated Learning [84.38913517122619]
  フェデレートラーニングは分散データの出現に伴って注目を集めている。 本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
  論文  参考訳（メタデータ） (2022-12-02T05:07:50Z)
• FedDM: Iterative Distribution Matching for Communication-Efficient Federated Learning [87.08902493524556]
  フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。 我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。 そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
  論文  参考訳（メタデータ） (2022-07-20T04:55:18Z)
• QuAFL: Federated Averaging Can Be Both Asynchronous and Communication-Efficient [22.432529149142976]
  本稿では,非同期通信と通信圧縮の両方をサポートする古典的フェデレーション平均化アルゴリズム(FedAvg)を提案する。 実験的な側面から,我々のアルゴリズムは,標準的なフェデレーションタスクの高速な実践的収束を保証する。
  論文  参考訳（メタデータ） (2022-06-20T22:39:39Z)
• FedGradNorm: Personalized Federated Gradient-Normalized Multi-Task Learning [50.756991828015316]
  マルチタスク学習(MTL)は、1つの共有ネットワークで複数のタスクを同時に学習する新しいフレームワークである。 本稿では,異なるタスク間の学習速度のバランスをとるために,動的重み付け法を用いてノルムの正規化を行うFedGradNormを提案する。
  論文  参考訳（メタデータ） (2022-03-24T17:43:12Z)
• An Expectation-Maximization Perspective on Federated Learning [75.67515842938299]
  フェデレーション学習は、データをデバイス上でプライベートにしながら、複数のクライアントにわたるモデルの分散トレーニングを記述する。 本稿では,サーバがクライアント固有のモデルパラメータに対して事前分布のパラメータを提供する階層的潜在変数モデルとして,サーバが設定したフェデレーション学習プロセスについて考察する。 我々は,単純なガウス先行とよく知られた期待最大化(EM)アルゴリズムのハードバージョンを用いて,そのようなモデルの学習は,フェデレーション学習環境における最も一般的なアルゴリズムであるFedAvgに対応することを示す。
  論文  参考訳（メタデータ） (2021-11-19T12:58:59Z)
• Fine-tuning is Fine in Federated Learning [3.222802562733787]
  フレームワークにおけるフェデレーション学習アルゴリズムとその変種の性能について検討する。 このマルチクレーターアプローチは、フェデレーション学習の高次元、多次元的な性質を自然にモデル化する。
  論文  参考訳（メタデータ） (2021-08-16T18:59:24Z)
• Achieving Statistical Optimality of Federated Learning: Beyond Stationary Points [19.891597817559038]
  Federated Learning(FL)は、プライバシ保護とクラウドでの計算負荷の低減に大きな可能性を持つ、有望なフレームワークである。 最近の研究は、(1)その固定点が元の最適化問題の定常点に対応していないこと、(2)見いだされた共通モデルが局所的にうまく一般化できないこと、の2つの方法に対する懸念を提起している。 一般的なカーネル回帰設定では、FedAvgとFedProxの両方が極小最大誤差率に収束することを示す。
  論文  参考訳（メタデータ） (2021-06-29T09:59:43Z)
• Federated Composite Optimization [28.11253930828807]
  Federated Learning(FL)は、デバイス上での学習を協調的にプライベートにスケールする分散学習パラダイムである。 FedAvgのような標準FLアルゴリズムは、主にスムーズな制約のない設定に向けられている。 本稿では,新しいサーバの二重平均化手法を用いることで,プライマリ・デュアル平均化の呪いを回避できる新しいプライマリ・デュアル平均化アルゴリズムであるフェデレート・デュアル平均化(FedDual Avg)を提案する。
  論文  参考訳（メタデータ） (2020-11-17T06:54:06Z)
• Practical One-Shot Federated Learning for Cross-Silo Setting [114.76232507580067]
  ワンショット・フェデレーション・ラーニングは、クロスサイロ環境でフェデレーション・ラーニングを適用するための有望なアプローチである。 本稿では,FedKTという,実践的なワンショットフェデレーション学習アルゴリズムを提案する。 知識伝達技術を利用することで、FedKTは任意の分類モデルに適用でき、フレキシブルに差分プライバシー保証を達成できる。
  論文  参考訳（メタデータ） (2020-10-02T14:09:10Z)
• FedDANE: A Federated Newton-Type Method [49.9423212899788]
  フェデレートラーニングは、大規模分散データセット上で低統計モデルを共同で学習することを目的としている。 我々は、フェデレーション学習を扱うために、DANEから適応する最適化であるFedDANEを提案する。
  論文  参考訳（メタデータ） (2020-01-07T07:44:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。