論文の概要: Federated Learning with Taskonomy for Non-IID Data

• arxiv url: http://arxiv.org/abs/2103.15947v1
• Date: Mon, 29 Mar 2021 20:47:45 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-31 14:37:34.081753
• Title: Federated Learning with Taskonomy for Non-IID Data
• Title（参考訳）: 非IIDデータのためのタスクノミーによるフェデレーション学習
• Authors: Hadi Jamali-Rad, Mohammad Abdizadeh, Attila Szabo
• Abstract要約: タスクノミーによる連合学習を導入する。 ワンオフプロセスでは、サーバーはクライアントに事前に訓練された(そして微調整可能な)エンコーダを提供し、データを遅延表現に圧縮し、データの署名をサーバーに送信します。 サーバは、マニホールド学習を通じてクライアント間のタスク関連性を学び、フェデレーション平均化の一般化を実行する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Classical federated learning approaches incur significant performance degradation in the presence of non-IID client data. A possible direction to address this issue is forming clusters of clients with roughly IID data. Most solutions following this direction are iterative and relatively slow, also prone to convergence issues in discovering underlying cluster formations. We introduce federated learning with taskonomy (FLT) that generalizes this direction by learning the task-relatedness between clients for more efficient federated aggregation of heterogeneous data. In a one-off process, the server provides the clients with a pretrained (and fine-tunable) encoder to compress their data into a latent representation, and transmit the signature of their data back to the server. The server then learns the task-relatedness among clients via manifold learning, and performs a generalization of federated averaging. FLT can flexibly handle a generic client relatedness graph, when there are no explicit clusters of clients, as well as efficiently decompose it into (disjoint) clusters for clustered federated learning. We demonstrate that FLT not only outperforms the existing state-of-the-art baselines in non-IID scenarios but also offers improved fairness across clients.
• Abstract（参考訳）: 古典的フェデレーション学習アプローチは,非IIDクライアントデータの存在下で,大幅な性能劣化をもたらす。 この問題に対処するための可能な方向は、およそIDデータでクライアントのクラスタを形成することです。 この方向に続くほとんどの解は反復的で比較的遅いが、下層のクラスター形成を発見する際の収束の問題も生じやすい。 異種データのより効率的なフェデレーションアグリゲーションのために、クライアント間のタスク関連性を学習することで、この方向を一般化するタスクノミー付きフェデレーションラーニング(FLT)を導入する。 ワンオフプロセスでは、サーバはクライアントに事前訓練された(そして微調整可能な)エンコーダを提供し、データを潜在表現に圧縮し、そのデータの署名をサーバに送信する。 次に、サーバは、多様体学習によりクライアント間のタスク関連性を学習し、連合平均化の一般化を行う。 fltは、クライアントの明示的なクラスタが存在しない場合に、汎用的なクライアント関連グラフを柔軟に処理でき、クラスタ化された連合学習のための(分離された)クラスタに効率的に分解することができる。 FLTは、非IIDシナリオにおいて既存の最先端ベースラインを上回るだけでなく、クライアント間の公正性も向上することを示した。

関連論文リスト

• A Bayesian Framework for Clustered Federated Learning [14.426129993432193]
  連邦学習(FL)の主な課題の1つは、非独立で同一に分散された(非IID)クライアントデータを扱うことである。 本稿では、クライアントをクラスタに関連付けるクラスタ化FLのための統一ベイズフレームワークを提案する。 この作業は、クライアントとクラスタの関連に関する洞察を提供し、新しい方法でクライアントの知識共有を可能にする。
  論文  参考訳（メタデータ） (2024-10-20T19:11:24Z)
• Fair Federated Data Clustering through Personalization: Bridging the Gap between Diverse Data Distributions [2.7905216619150344]
  フェデレーションクラスタリングにおけるパーソナライズの概念を導入し、より低いクラスタリングコストとクライアント間の均一なコストのバランスを達成することを目的とする。 サーバとクライアント間の1ラウンドの通信でこれらの目標に対処するp-FClusを提案する。
  論文  参考訳（メタデータ） (2024-07-05T07:10:26Z)
• Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
  Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。 本稿では,FedInsという新しいFLアルゴリズムを提案する。 我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:58:47Z)
• CADIS: Handling Cluster-skewed Non-IID Data in Federated Learning with Clustered Aggregation and Knowledge DIStilled Regularization [3.3711670942444014]
  フェデレーション学習は、エッジデバイスがデータを公開することなく、グローバルモデルを協調的にトレーニングすることを可能にする。 我々は、実際のデータセットで発見されたクラスタスキュード非IIDと呼ばれる新しいタイプの非IIDデータに取り組む。 本稿では,クラスタ間の平等を保証するアグリゲーション方式を提案する。
  論文  参考訳（メタデータ） (2023-02-21T02:53:37Z)
• Rethinking Data Heterogeneity in Federated Learning: Introducing a New Notion and Standard Benchmarks [65.34113135080105]
  我々は、現在のセットアップにおけるデータ不均一性の問題が必ずしも問題であるだけでなく、FL参加者にとって有益であることを示す。 私たちの観察は直感的である。 私たちのコードはhttps://github.com/MMorafah/FL-SC-NIIDで利用可能です。
  論文  参考訳（メタデータ） (2022-09-30T17:15:19Z)
• Efficient Distribution Similarity Identification in Clustered Federated Learning via Principal Angles Between Client Data Subspaces [59.33965805898736]
  クラスタ学習は、クライアントをクラスタにグループ化することで、有望な結果をもたらすことが示されている。 既存のFLアルゴリズムは基本的に、クライアントを同様のディストリビューションでグループ化しようとしている。 以前のFLアルゴリズムは、訓練中に間接的に類似性を試みていた。
  論文  参考訳（メタデータ） (2022-09-21T17:37:54Z)
• Federated learning with incremental clustering for heterogeneous data [0.0]
  以前のアプローチでは、クライアントをクラスタ化するには、サーバはクライアントにパラメータを同時に送信する必要がある。 本稿では,FLIC(Federated Learning with Incremental Clustering)を提案する。 我々は,この手法がクライアントを同じデータ分布に従うグループに分割することに成功していることを実証的に示す。
  論文  参考訳（メタデータ） (2022-06-17T13:13:03Z)
• On the Convergence of Clustered Federated Learning [57.934295064030636]
  統合学習システムでは、例えばモバイルデバイスや組織参加者といったクライアントは通常、個人の好みや行動パターンが異なる。 本稿では,クライアントグループと各クライアントを統一最適化フレームワークで活用する,新しい重み付きクライアントベースクラスタリングFLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-02-13T02:39:19Z)
• Federated Multi-Target Domain Adaptation [99.93375364579484]
  フェデレートされた学習手法により、プライバシを保護しながら、分散ユーザデータ上で機械学習モデルをトレーニングすることが可能になります。 分散クライアントデータがラベル付けされず、集中型ラベル付きデータセットがサーバ上で利用可能となる、より実用的なシナリオを考えます。 本稿では,新しい課題に対処する効果的なDualAdapt法を提案する。
  論文  参考訳（メタデータ） (2021-08-17T17:53:05Z)
• Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
  本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。 提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。 この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
  論文  参考訳（メタデータ） (2021-02-14T05:36:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。