Fugu-MT 論文翻訳(概要): REPA: Client Clustering without Training and Data Labels for Improved Federated Learning in Non-IID Settings

論文の概要: REPA: Client Clustering without Training and Data Labels for Improved Federated Learning in Non-IID Settings

arxiv url: http://arxiv.org/abs/2309.14088v1
Date: Mon, 25 Sep 2023 12:30:43 GMT
ステータス: 処理完了
システム内更新日: 2023-09-26 15:39:21.334379
Title: REPA: Client Clustering without Training and Data Labels for Improved Federated Learning in Non-IID Settings
Title（参考訳）: REPA: トレーニングなしのクライアントクラスタリングと非IID環境でのフェデレーション学習改善のためのデータラベル
Authors: Boris Radovi\v{c}, Veljko Pejovi\'c
Abstract要約: トレーニングもラベル付きデータ収集も不要な,IID以外のFL設定におけるクライアントクラスタリングのアプローチであるREPAを提案する。 REPAは、新しい教師付きオートエンコーダベースのメソッドを使用して、クライアントの基盤となるデータ生成プロセスをサーバに公開せず、ローカルなトレーニングを必要とせずにプロファイリングを生成する。
参考スコア（独自算出の注目度）: 1.69188400758521
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Clustering clients into groups that exhibit relatively homogeneous data distributions represents one of the major means of improving the performance of federated learning (FL) in non-independent and identically distributed (non-IID) data settings. Yet, the applicability of current state-of-the-art approaches remains limited as these approaches cluster clients based on information, such as the evolution of local model parameters, that is only obtainable through actual on-client training. On the other hand, there is a need to make FL models available to clients who are not able to perform the training themselves, as they do not have the processing capabilities required for training, or simply want to use the model without participating in the training. Furthermore, the existing alternative approaches that avert the training still require that individual clients have a sufficient amount of labeled data upon which the clustering is based, essentially assuming that each client is a data annotator. In this paper, we present REPA, an approach to client clustering in non-IID FL settings that requires neither training nor labeled data collection. REPA uses a novel supervised autoencoder-based method to create embeddings that profile a client's underlying data-generating processes without exposing the data to the server and without requiring local training. Our experimental analysis over three different datasets demonstrates that REPA delivers state-of-the-art model performance while expanding the applicability of cluster-based FL to previously uncovered use cases.
Abstract（参考訳）: 比較的均質なデータ分布を示すグループにクライアントをクラスタリングすることは、非独立かつ同一分散(非iid)データ設定における連合学習(fl)のパフォーマンスを改善する主要な方法の1つである。しかし、現在の最先端のアプローチの適用性は、ローカルモデルパラメータの進化などの情報に基づいてクラスタクライアントにアプローチしているため、実際のオンクライアントトレーニングによってのみ取得可能である。一方で、トレーニングに必要な処理能力を持たず、単にトレーニングに参加せずにモデルを使いたくなるため、自分自身でトレーニングを行うことができない顧客には、flモデルを利用可能にする必要がある。さらに、トレーニングを回避した既存の代替アプローチでは、個々のクライアントには、クラスタリングがベースとなる十分な量のラベル付きデータが必要である。本稿では,トレーニングやラベル付きデータ収集を必要としない非IIDFL設定におけるクライアントクラスタリング手法REPAを提案する。 REPAは、新しい教師付きオートエンコーダベースのメソッドを使用して、クライアントの基盤となるデータ生成プロセスをサーバに公開せず、ローカルなトレーニングを必要とせずにプロファイリングを生成する。 3つの異なるデータセットに対する実験分析により、REPAは最先端のモデル性能を提供すると同時に、クラスタベースのFLの適用性を、以前に発見されたユースケースにまで拡張することを示した。

関連論文リスト

A Bayesian Framework for Clustered Federated Learning [14.426129993432193]
連邦学習(FL)の主な課題の1つは、非独立で同一に分散された(非IID)クライアントデータを扱うことである。本稿では、クライアントをクラスタに関連付けるクラスタ化FLのための統一ベイズフレームワークを提案する。この作業は、クライアントとクラスタの関連に関する洞察を提供し、新しい方法でクライアントの知識共有を可能にする。
論文参考訳（メタデータ） (2024-10-20T19:11:24Z)
FedClust: Tackling Data Heterogeneity in Federated Learning through Weight-Driven Client Clustering [26.478852701376294]
フェデレートラーニング(Federated Learning, FL)は、分散機械学習のパラダイムである。 FLの主な課題の1つは、クライアントデバイスにまたがる不均一なデータ分散の存在である。我々は,局所モデル重みとクライアントのデータ分布の相関を利用したCFLの新しい手法であるFedClustを提案する。
論文参考訳（メタデータ） (2024-07-09T02:47:16Z)
An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文参考訳（メタデータ） (2024-04-29T05:55:23Z)
FedClust: Optimizing Federated Learning on Non-IID Data through Weight-Driven Client Clustering [28.057411252785176]
Federated Learning(FL)は、分散型デバイス上で、ローカルデータを公開せずにコラボレーティブなモデルトレーニングを可能にする、新興の分散機械学習パラダイムである。本稿では,局所モデル重みとクライアントデータ分布の相関を利用した新しいCFL手法であるFedClustを提案する。
論文参考訳（メタデータ） (2024-03-07T01:50:36Z)
Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文参考訳（メタデータ） (2023-12-22T02:12:08Z)
Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。本稿では,FedInsという新しいFLアルゴリズムを提案する。我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文参考訳（メタデータ） (2023-08-11T09:58:47Z)
Adaptive Self-Distillation for Minimizing Client Drift in Heterogeneous Federated Learning [9.975023463908496]
Federated Learning(FL)は、クライアントがローカルトレーニングデータを共有せずに、局所的にトレーニングされたモデルを集約することで、グローバルモデルの共同トレーニングを可能にする機械学習パラダイムである。本稿では,適応自己蒸留(ASD)に基づく新たな正規化手法を提案する。我々の正規化方式は,グローバルモデルエントロピーとクライアントのラベル分布に基づいて,クライアントのトレーニングデータに適応的に適応的に適応する。
論文参考訳（メタデータ） (2023-05-31T07:00:42Z)
Visual Prompt Based Personalized Federated Learning [83.04104655903846]
pFedPTと呼ばれる画像分類タスクのための新しいPFLフレームワークを提案し、クライアントのローカルデータ配信情報を暗黙的に表現するためにパーソナライズされた視覚的プロンプトを利用する。 CIFAR10とCIFAR100データセットの実験では、pFedPTは様々な設定でいくつかの最先端(SOTA)PFLアルゴリズムより優れていた。
論文参考訳（メタデータ） (2023-03-15T15:02:15Z)
Efficient Distribution Similarity Identification in Clustered Federated Learning via Principal Angles Between Client Data Subspaces [59.33965805898736]
クラスタ学習は、クライアントをクラスタにグループ化することで、有望な結果をもたらすことが示されている。既存のFLアルゴリズムは基本的に、クライアントを同様のディストリビューションでグループ化しようとしている。以前のFLアルゴリズムは、訓練中に間接的に類似性を試みていた。
論文参考訳（メタデータ） (2022-09-21T17:37:54Z)
Semi-Supervised Federated Learning with non-IID Data: Algorithm and System Design [42.63120623012093]
フェデレートラーニング(FL)は、エッジデバイス(またはクライアント)がデータをローカルに保持し、同時に共有グローバルモデルをトレーニングすることを可能にする。クライアントのローカルトレーニングデータの分布は、非独立に均等に分散されている(非IID) 本稿では、FLにおけるデータ可用性と非IIDの問題を解決することを目的とした、堅牢な半教師付きFLシステム設計を提案する。
論文参考訳（メタデータ） (2021-10-26T03:41:48Z)
Toward Understanding the Influence of Individual Clients in Federated Learning [52.07734799278535]
フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。 em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
論文参考訳（メタデータ） (2020-12-20T14:34:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。