論文の概要: FedU: A Unified Framework for Federated Multi-Task Learning with Laplacian Regularization

• arxiv url: http://arxiv.org/abs/2102.07148v1
• Date: Sun, 14 Feb 2021 13:19:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2021-02-16 15:22:39.144080
• Title: FedU: A Unified Framework for Federated Multi-Task Learning with Laplacian Regularization
• Title（参考訳）: FedU:ラプラシア正規化によるフェデレーションマルチタスク学習のための統一フレームワーク
• Authors: Canh T. Dinh, Tung T. Vu, Nguyen H. Tran, Minh N. Dao, Hongyu Zhang
• Abstract要約: フェデレート・マルチタスク・ラーニング(FMTL)は、フェデレーション・ラーニングにおけるクライアント間の統計的多様性を捉える自然な選択肢として登場した。 統計的多様性を超えてFMTLを解き放つために、ラプラシア正規化を用いて新しいFMTL FedUを策定する。
• 参考スコア（独自算出の注目度）: 15.238123204624003
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated multi-task learning (FMTL) has emerged as a natural choice to capture the statistical diversity among the clients in federated learning. To unleash the potential of FMTL beyond statistical diversity, we formulate a new FMTL problem FedU using Laplacian regularization, which can explicitly leverage relationships among the clients for multi-task learning. We first show that FedU provides a unified framework covering a wide range of problems such as conventional federated learning, personalized federated learning, few-shot learning, and stratified model learning. We then propose algorithms including both communication-centralized and decentralized schemes to learn optimal models of FedU. Theoretically, we show that the convergence rates of both FedU's algorithms achieve linear speedup for strongly convex and sublinear speedup of order $1/2$ for nonconvex objectives. While the analysis of FedU is applicable to both strongly convex and nonconvex loss functions, the conventional FMTL algorithm MOCHA, which is based on CoCoA framework, is only applicable to convex case. Experimentally, we verify that FedU outperforms the vanilla FedAvg, MOCHA, as well as pFedMe and Per-FedAvg in personalized federated learning.
• Abstract（参考訳）: フェデレート・マルチタスク・ラーニング(FMTL)は、フェデレーション・ラーニングにおけるクライアント間の統計的多様性を捉える自然な選択肢として登場した。 統計的多様性を超えてFMTLの可能性を解き明かすため,Laplacian regularization を用いて新たなFMTL問題 FedU を定式化し,マルチタスク学習におけるクライアント間の関係を明確に活用する。 まず、FedUが従来のフェデレーション学習、パーソナライズされたフェデレーション学習、少数ショット学習、階層化されたモデル学習など、幅広い問題をカバーする統一的なフレームワークを提供することを示す。 次に、FedUの最適モデルを学ぶために、通信集中型と分散型の両方のスキームを含むアルゴリズムを提案する。 理論的には、feduのアルゴリズムの収束速度は、非凸目的に対して1/2$の強い凸とサブリニアの高速化を実現する。 FedUの解析は強い凸と非凸の両方の損失関数に適用できるが、従来のFMTLアルゴリズムMOCHAはCoCoAフレームワークをベースにしており、凸の場合のみ適用できる。 実験では、FedUがフェデラFedAvg、MOCHA、およびpFedMeおよびPer-FedAvgよりもパーソナライズされたフェデレーション学習で優れていることを確認しました。

関連論文リスト

• Federated Learning under Partially Class-Disjoint Data via Manifold Reshaping [64.58402571292723]
  我々はFedMRと呼ばれる多様体再構成手法を提案し、局所訓練の特徴空間を校正する。 我々は、FedMRがはるかに高い精度と通信効率を達成することを示すために、さまざまなデータセットに関する広範な実験を行います。
  論文  参考訳（メタデータ） (2024-05-29T10:56:13Z)
• Unlearning during Learning: An Efficient Federated Machine Unlearning Method [20.82138206063572]
  フェデレートラーニング(FL)は分散機械学習パラダイムとして注目されている。 忘れられる権利の実装を容易にするために、フェデレーション・マシン・アンラーニング(FMU)の概念も現れた。 我々はこれらの制限を克服することを目的とした革新的で効率的なFMUフレームワークであるFedAUを紹介する。
  論文  参考訳（メタデータ） (2024-05-24T11:53:13Z)
• Federated Multi-Objective Learning [22.875284692358683]
  複数のクライアントを用いたFMOL(Federated Multi-Objective Learning)フレームワークを提案する。 私たちのFMOLフレームワークは、異なるクライアント間で異なる目的関数セットを提供し、幅広いアプリケーションをサポートします。 本フレームワークでは,FSMGDA (Federated Multi-gradient descent Averaging) とFSMGDA (Federated Multi-gradient descent Averaging) という2つの新しいFMOOアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-15T15:45:51Z)
• FedWon: Triumphing Multi-domain Federated Learning Without Normalization [50.49210227068574]
  フェデレートラーニング(FL)は、分散クライアントでの協調的なインサイトトレーニングによって、データのプライバシを高める。 しかし、フェデレーテッド・ラーニング(FL)は、非独立で同一に分散された(非i.d)データのために困難に直面する。 本稿では,FLにおける多領域問題に対処するため,FedWon(Federated Learning Without normalizations)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-09T13:18:50Z)
• Federated Multi-Sequence Stochastic Approximation with Local Hypergradient Estimation [28.83712379658548]
  我々は、多重結合配列(MSA)のための最初のフェデレーション近似アルゴリズムであるFedMSAを開発した。 FedMSAは、ローカルクライアントのアップデートを通じて、BLOとMCOのハイパーグラディエントを証明可能な見積もりを可能にする。 我々は我々の理論を裏付ける実験を行い、FedMSAの実証的な利点を実証する。
  論文  参考訳（メタデータ） (2023-06-02T16:17:43Z)
• Faster Adaptive Federated Learning [84.38913517122619]
  フェデレートラーニングは分散データの出現に伴って注目を集めている。 本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
  論文  参考訳（メタデータ） (2022-12-02T05:07:50Z)
• An Expectation-Maximization Perspective on Federated Learning [75.67515842938299]
  フェデレーション学習は、データをデバイス上でプライベートにしながら、複数のクライアントにわたるモデルの分散トレーニングを記述する。 本稿では,サーバがクライアント固有のモデルパラメータに対して事前分布のパラメータを提供する階層的潜在変数モデルとして,サーバが設定したフェデレーション学習プロセスについて考察する。 我々は,単純なガウス先行とよく知られた期待最大化(EM)アルゴリズムのハードバージョンを用いて,そのようなモデルの学習は,フェデレーション学習環境における最も一般的なアルゴリズムであるFedAvgに対応することを示す。
  論文  参考訳（メタデータ） (2021-11-19T12:58:59Z)
• Achieving Statistical Optimality of Federated Learning: Beyond Stationary Points [19.891597817559038]
  Federated Learning(FL)は、プライバシ保護とクラウドでの計算負荷の低減に大きな可能性を持つ、有望なフレームワークである。 最近の研究は、(1)その固定点が元の最適化問題の定常点に対応していないこと、(2)見いだされた共通モデルが局所的にうまく一般化できないこと、の2つの方法に対する懸念を提起している。 一般的なカーネル回帰設定では、FedAvgとFedProxの両方が極小最大誤差率に収束することを示す。
  論文  参考訳（メタデータ） (2021-06-29T09:59:43Z)
• Federated Composite Optimization [28.11253930828807]
  Federated Learning(FL)は、デバイス上での学習を協調的にプライベートにスケールする分散学習パラダイムである。 FedAvgのような標準FLアルゴリズムは、主にスムーズな制約のない設定に向けられている。 本稿では,新しいサーバの二重平均化手法を用いることで,プライマリ・デュアル平均化の呪いを回避できる新しいプライマリ・デュアル平均化アルゴリズムであるフェデレート・デュアル平均化(FedDual Avg)を提案する。
  論文  参考訳（メタデータ） (2020-11-17T06:54:06Z)
• Practical One-Shot Federated Learning for Cross-Silo Setting [114.76232507580067]
  ワンショット・フェデレーション・ラーニングは、クロスサイロ環境でフェデレーション・ラーニングを適用するための有望なアプローチである。 本稿では,FedKTという,実践的なワンショットフェデレーション学習アルゴリズムを提案する。 知識伝達技術を利用することで、FedKTは任意の分類モデルに適用でき、フレキシブルに差分プライバシー保証を達成できる。
  論文  参考訳（メタデータ） (2020-10-02T14:09:10Z)
• FedDANE: A Federated Newton-Type Method [49.9423212899788]
  フェデレートラーニングは、大規模分散データセット上で低統計モデルを共同で学習することを目的としている。 我々は、フェデレーション学習を扱うために、DANEから適応する最適化であるFedDANEを提案する。
  論文  参考訳（メタデータ） (2020-01-07T07:44:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。