論文の概要: Networked Federated Multi-Task Learning

• arxiv url: http://arxiv.org/abs/2105.12769v1
• Date: Wed, 26 May 2021 18:07:19 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-29 14:50:46.978333
• Title: Networked Federated Multi-Task Learning
• Title（参考訳）: Networked Federated Multi-Task Learning
• Authors: Yasmin SarcheshmehPour, Yu Tian, Linli Zhang, Alexander Jung
• Abstract要約: ローカルデータセットはしばしば、ローカルデータセット間の類似性の概念から生じるネットワークを介して関連付けられる。 このネットワーク構造を用いて、類似の局所学習を固有モデルに適したトレーニングセットに適応的にプールする。 我々の主な貢献は、分散コンピューティング環境に適した新しいフェデレーション学習アルゴリズムである。
• 参考スコア（独自算出の注目度）: 80.2552780013052
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many important application domains generate distributed collections of heterogeneous local datasets. These local datasets are often related via an intrinsic network structure that arises from domain-specific notions of similarity between local datasets. Different notions of similarity are induced by spatiotemporal proximity, statistical dependencies, or functional relations. We use this network structure to adaptively pool similar local datasets into nearly homogenous training sets for learning tailored models. Our main conceptual contribution is to formulate networked federated learning using the concept of generalized total variation (GTV) minimization as a regularizer. This formulation is highly flexible and can be combined with almost any parametric model including Lasso or deep neural networks. We unify and considerably extend some well-known approaches to federated multi-task learning. Our main algorithmic contribution is a novel federated learning algorithm that is well suited for distributed computing environments such as edge computing over wireless networks. This algorithm is robust against model misspecification and numerical errors arising from limited computational resources including processing time or wireless channel bandwidth. As our main technical contribution, we offer precise conditions on the local models as well on their network structure such that our algorithm learns nearly optimal local models. Our analysis reveals an interesting interplay between the (information-) geometry of local models and the (cluster-) geometry of their network.
• Abstract（参考訳）: 多くの重要なアプリケーションドメインは、異種ローカルデータセットの分散コレクションを生成する。 これらのローカルデータセットは、しばしば、ローカルデータセット間の類似性のドメイン固有の概念から生じる内在的なネットワーク構造を介して関連づけられる。 類似性の異なる概念は時空間的近接、統計的依存関係、機能的関係によって引き起こされる。 このネットワーク構造を用いて、類似のローカルデータセットをほぼ均質なトレーニングセットに適応的にプールし、カスタマイズされたモデルを学ぶ。 我々の概念的貢献は、一般化全変動(gtv)を正規化として、ネットワーク型連合学習を定式化することである。 この定式化は非常に柔軟で、ラッソやディープニューラルネットワークを含むほぼすべてのパラメトリックモデルと組み合わせることができる。 我々は、フェデレートされたマルチタスク学習に対するよく知られたアプローチを統一し、大幅に拡張する。 私たちのアルゴリズムの主な貢献は、ワイヤレスネットワーク上のエッジコンピューティングのような分散コンピューティング環境に適した、新しい連合学習アルゴリズムです。 このアルゴリズムは、処理時間や無線チャネル帯域幅などの限られた計算資源から生じるモデル誤特定や数値誤差に対して頑健である。 我々の主な技術的貢献として、我々のアルゴリズムがほぼ最適な局所モデルを学ぶように、局所モデルとそれらのネットワーク構造について正確な条件を提供する。 本研究では,ローカルモデルの(情報-)幾何とネットワークの(クラスタ-)幾何との間の興味深い相互作用を明らかにする。

関連論文リスト

• Tackling Computational Heterogeneity in FL: A Few Theoretical Insights [68.8204255655161]
  我々は、計算異種データの形式化と処理を可能にする新しい集約フレームワークを導入し、分析する。 提案するアグリゲーションアルゴリズムは理論的および実験的予測から広範囲に解析される。
  論文  参考訳（メタデータ） (2023-07-12T16:28:21Z)
• Federated Gradient Matching Pursuit [17.695717854068715]
  従来の機械学習技術では、1つのサーバまたはデータハブ上のすべてのトレーニングデータを集中化する必要がある。 特に、FL(Federated Learning)は、ローカルクライアントでトレーニングデータを保持しながら、共有モデルを学習するためのソリューションを提供する。 本稿では,FL設定における分散制約最小化問題を解くために,新しいアルゴリズムフレームワークFedGradMPを提案する。
  論文  参考訳（メタデータ） (2023-02-20T16:26:29Z)
• Towards Model-Agnostic Federated Learning over Networks [0.0]
  異種データとモデルのネットワークに対するモデルに依存しないフェデレーション学習手法を提案する。 提案手法は,データのネットワーク構造から正規化項を導出した経験的リスク最小化の例である。
  論文  参考訳（メタデータ） (2023-02-08T22:55:57Z)
• FedILC: Weighted Geometric Mean and Invariant Gradient Covariance for Federated Learning on Non-IID Data [69.0785021613868]
  フェデレートラーニング(Federated Learning)とは、ローカルに計算されたパラメータの更新を、空間的に分散されたクライアントサイロからトレーニングデータに集約することで、共有サーバモデルによる学習を可能にする分散機械学習アプローチである。 本研究では, 勾配の共分散とヘッセンの幾何学的平均を利用して, シロ間およびシロ内成分の両方を捕捉するフェデレート不変学習一貫性(FedILC)アプローチを提案する。 これは医療、コンピュータビジョン、IoT(Internet of Things)といった様々な分野に関係している。
  論文  参考訳（メタデータ） (2022-05-19T03:32:03Z)
• Global Aggregation then Local Distribution for Scene Parsing [99.1095068574454]
  提案手法は,エンドツーエンドのトレーニング可能なブロックとしてモジュール化され,既存のセマンティックセグメンテーションネットワークに容易に接続可能であることを示す。 私たちのアプローチでは、Cityscapes、ADE20K、Pascal Context、Camvid、COCO-stuffといった主要なセマンティックセグメンテーションベンチマークに基づいて、新しい最先端の技術を構築できます。
  論文  参考訳（メタデータ） (2021-07-28T03:46:57Z)
• Edge-assisted Democratized Learning Towards Federated Analytics [67.44078999945722]
  本稿では,エッジ支援型民主化学習機構であるEdge-DemLearnの階層的学習構造を示す。 また、Edge-DemLearnを柔軟なモデルトレーニングメカニズムとして検証し、リージョンに分散制御と集約の方法論を構築する。
  論文  参考訳（メタデータ） (2020-12-01T11:46:03Z)
• FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity to Non-IID Data [59.50904660420082]
  フェデレートラーニング(FL)は、分散データから学ぶための一般的なパラダイムになっています。 クラウドに移行することなく、さまざまなデバイスのデータを効果的に活用するために、Federated Averaging(FedAvg)などのアルゴリズムでは、"Computation then aggregate"(CTA)モデルを採用している。
  論文  参考訳（メタデータ） (2020-05-22T23:07:42Z)
• Fast local linear regression with anchor regularization [21.739281173516247]
  高速アンカー正規化局所線形法(FALL)と呼ばれる,単純で効果的な局所モデルトレーニングアルゴリズムを提案する。 合成および実世界のデータセットの実験を通じて、FALLは最先端のネットワークLassoアルゴリズムと精度の面で好適に比較できることを示した。
  論文  参考訳（メタデータ） (2020-02-21T10:03:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。