論文の概要: Clustered Federated Learning via Generalized Total Variation Minimization

• arxiv url: http://arxiv.org/abs/2105.12769v4
• Date: Sun, 18 Jun 2023 17:14:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-22 06:45:20.310466
• Title: Clustered Federated Learning via Generalized Total Variation Minimization
• Title（参考訳）: 一般化総変分最小化によるクラスタ化フェデレーション学習
• Authors: Yasmin SarcheshmehPour, Yu Tian, Linli Zhang, Alexander Jung
• Abstract要約: 本研究では,分散ネットワーク構造を持つローカルデータセットの局所的(あるいはパーソナライズされた)モデルを学習するための最適化手法について検討する。 我々の主要な概念的貢献は、総変動最小化(GTV)としてフェデレーション学習を定式化することである。 私たちのアルゴリズムの主な貢献は、完全に分散化されたフェデレーション学習アルゴリズムです。
• 参考スコア（独自算出の注目度）: 83.26141667853057
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study optimization methods to train local (or personalized) models for decentralized collections of local datasets with an intrinsic network structure. This network structure arises from domain-specific notions of similarity between local datasets. Examples for such notions include spatio-temporal proximity, statistical dependencies or functional relations. Our main conceptual contribution is to formulate federated learning as generalized total variation (GTV) minimization. This formulation unifies and considerably extends existing federated learning methods. It is highly flexible and can be combined with a broad range of parametric models, including generalized linear models or deep neural networks. Our main algorithmic contribution is a fully decentralized federated learning algorithm. This algorithm is obtained by applying an established primal-dual method to solve GTV minimization. It can be implemented as message passing and is robust against inexact computations that arise from limited computational resources including processing time or bandwidth. Our main analytic contribution is an upper bound on the deviation between the local model parameters learnt by our algorithm and an oracle-based clustered federated learning method. This upper bound reveals conditions on the local models and the network structure of local datasets such that GTV minimization is able to pool (nearly) homogeneous local datasets.
• Abstract（参考訳）: ネットワーク構造を持つローカルデータセットの分散収集のための局所的(あるいはパーソナライズされた)モデルを学習するための最適化手法を検討する。 このネットワーク構造は、ローカルデータセット間の類似性のドメイン固有の概念から生じる。 そのような概念の例としては、時空間的近接、統計的依存関係、機能的関係などがある。 我々の主要な概念的貢献は、一般化総変動(GTV)最小化としてフェデレーション学習を定式化することである。 この定式化は、既存の連合学習方法を統一し、大幅に拡張する。 柔軟性が高く、一般化線形モデルやディープニューラルネットワークを含む幅広いパラメトリックモデルと組み合わせることができる。 私たちのアルゴリズムの主な貢献は、完全に分散した連合学習アルゴリズムです。 このアルゴリズムは、GTVの最小化を解くために確立された原始双対法を適用して得られる。 メッセージパッシングとして実装することができ、処理時間や帯域幅を含む限られた計算資源から生じる不正確な計算に対して堅牢である。 私たちの主な分析的貢献は、アルゴリズムが学習したローカルモデルパラメータと、oracleベースのクラスタ型フェデレーション学習方法との偏差の上限です。 この上界は、ローカルモデルと、gtvの最小化が(ほぼ)均質なローカルデータセットをプールできるローカルデータセットのネットワーク構造に関する条件を明らかにする。

関連論文リスト

• Tackling Computational Heterogeneity in FL: A Few Theoretical Insights [68.8204255655161]
  我々は、計算異種データの形式化と処理を可能にする新しい集約フレームワークを導入し、分析する。 提案するアグリゲーションアルゴリズムは理論的および実験的予測から広範囲に解析される。
  論文  参考訳（メタデータ） (2023-07-12T16:28:21Z)
• Federated Gradient Matching Pursuit [17.695717854068715]
  従来の機械学習技術では、1つのサーバまたはデータハブ上のすべてのトレーニングデータを集中化する必要がある。 特に、FL(Federated Learning)は、ローカルクライアントでトレーニングデータを保持しながら、共有モデルを学習するためのソリューションを提供する。 本稿では,FL設定における分散制約最小化問題を解くために,新しいアルゴリズムフレームワークFedGradMPを提案する。
  論文  参考訳（メタデータ） (2023-02-20T16:26:29Z)
• Towards Model-Agnostic Federated Learning over Networks [0.0]
  異種データとモデルのネットワークに対するモデルに依存しないフェデレーション学習手法を提案する。 提案手法は,データのネットワーク構造から正規化項を導出した経験的リスク最小化の例である。
  論文  参考訳（メタデータ） (2023-02-08T22:55:57Z)
• FedILC: Weighted Geometric Mean and Invariant Gradient Covariance for Federated Learning on Non-IID Data [69.0785021613868]
  フェデレートラーニング(Federated Learning)とは、ローカルに計算されたパラメータの更新を、空間的に分散されたクライアントサイロからトレーニングデータに集約することで、共有サーバモデルによる学習を可能にする分散機械学習アプローチである。 本研究では, 勾配の共分散とヘッセンの幾何学的平均を利用して, シロ間およびシロ内成分の両方を捕捉するフェデレート不変学習一貫性(FedILC)アプローチを提案する。 これは医療、コンピュータビジョン、IoT(Internet of Things)といった様々な分野に関係している。
  論文  参考訳（メタデータ） (2022-05-19T03:32:03Z)
• Global Aggregation then Local Distribution for Scene Parsing [99.1095068574454]
  提案手法は,エンドツーエンドのトレーニング可能なブロックとしてモジュール化され,既存のセマンティックセグメンテーションネットワークに容易に接続可能であることを示す。 私たちのアプローチでは、Cityscapes、ADE20K、Pascal Context、Camvid、COCO-stuffといった主要なセマンティックセグメンテーションベンチマークに基づいて、新しい最先端の技術を構築できます。
  論文  参考訳（メタデータ） (2021-07-28T03:46:57Z)
• Edge-assisted Democratized Learning Towards Federated Analytics [67.44078999945722]
  本稿では,エッジ支援型民主化学習機構であるEdge-DemLearnの階層的学習構造を示す。 また、Edge-DemLearnを柔軟なモデルトレーニングメカニズムとして検証し、リージョンに分散制御と集約の方法論を構築する。
  論文  参考訳（メタデータ） (2020-12-01T11:46:03Z)
• FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity to Non-IID Data [59.50904660420082]
  フェデレートラーニング(FL)は、分散データから学ぶための一般的なパラダイムになっています。 クラウドに移行することなく、さまざまなデバイスのデータを効果的に活用するために、Federated Averaging(FedAvg)などのアルゴリズムでは、"Computation then aggregate"(CTA)モデルを採用している。
  論文  参考訳（メタデータ） (2020-05-22T23:07:42Z)
• Fast local linear regression with anchor regularization [21.739281173516247]
  高速アンカー正規化局所線形法(FALL)と呼ばれる,単純で効果的な局所モデルトレーニングアルゴリズムを提案する。 合成および実世界のデータセットの実験を通じて、FALLは最先端のネットワークLassoアルゴリズムと精度の面で好適に比較できることを示した。
  論文  参考訳（メタデータ） (2020-02-21T10:03:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。