論文の概要: Rethinking the Representation in Federated Unsupervised Learning with Non-IID Data

• arxiv url: http://arxiv.org/abs/2403.16398v1
• Date: Mon, 25 Mar 2024 03:26:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-26 16:07:18.774385
• Title: Rethinking the Representation in Federated Unsupervised Learning with Non-IID Data
• Title（参考訳）: 非IIDデータを用いたフェデレーション型教師なし学習における表現の再考
• Authors: Xinting Liao, Weiming Liu, Chaochao Chen, Pengyang Zhou, Fengyuan Yu, Huabin Zhu, Binhui Yao, Tao Wang, Xiaolin Zheng, Yanchao Tan,
• Abstract要約: フェデレーション学習は、分散データのモデリングにおいて効果的なパフォーマンスを達成する。 実際には、クライアントデータは十分にラベル付けされていないため、非IIDデータとの非教師なし学習(FUSL)の可能性を秘めている。 非IIDデータを用いたFUSLにおける一様および一様表現を生成するFedU2を提案する。
• 参考スコア（独自算出の注目度）: 20.432294152991954
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning achieves effective performance in modeling decentralized data. In practice, client data are not well-labeled, which makes it potential for federated unsupervised learning (FUSL) with non-IID data. However, the performance of existing FUSL methods suffers from insufficient representations, i.e., (1) representation collapse entanglement among local and global models, and (2) inconsistent representation spaces among local models. The former indicates that representation collapse in local model will subsequently impact the global model and other local models. The latter means that clients model data representation with inconsistent parameters due to the deficiency of supervision signals. In this work, we propose FedU2 which enhances generating uniform and unified representation in FUSL with non-IID data. Specifically, FedU2 consists of flexible uniform regularizer (FUR) and efficient unified aggregator (EUA). FUR in each client avoids representation collapse via dispersing samples uniformly, and EUA in server promotes unified representation by constraining consistent client model updating. To extensively validate the performance of FedU2, we conduct both cross-device and cross-silo evaluation experiments on two benchmark datasets, i.e., CIFAR10 and CIFAR100.
• Abstract（参考訳）: フェデレーション学習は、分散データのモデリングにおいて効果的なパフォーマンスを達成する。 実際には、クライアントデータは十分にラベル付けされていないため、非IIDデータとの非教師なし学習(FUSL)の可能性を秘めている。 しかし、既存のFUSL法の性能は、(1)局所モデルと大域モデルの間の表現崩壊絡み合い、(2)局所モデル間の不整合表現空間などの表現不足に悩まされている。 前者は、局所モデルにおける表現の崩壊が、後にグローバルモデルや他の局所モデルに影響を及ぼすことを示している。 後者は、クライアントが監視信号の欠如により、一貫性のないパラメータでデータ表現をモデル化することを意味する。 本研究では,非IIDデータを用いたFUSLにおける一様および一様表現を生成するFedU2を提案する。 具体的には、FedU2は柔軟な統一正規化器(FUR)と効率的な統一集約器(EUA)から構成される。 各クライアントのFURは、サンプルを均一に分散することで表現の崩壊を回避し、サーバのEUAは一貫したクライアントモデルの更新を制約することによって統一表現を促進する。 FedU2の性能を広範囲に検証するため、我々はCIFAR10とCIFAR100という2つのベンチマークデータセット上でクロスデバイスおよびクロスサイロ評価実験を行った。

関連論文リスト

• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• Fake It Till Make It: Federated Learning with Consensus-Oriented Generation [52.82176415223988]
  コンセンサス指向生成による連合学習(FedCOG)を提案する。 FedCOGは、補完的なデータ生成と知識蒸留に基づくモデルトレーニングという、クライアント側の2つの重要なコンポーネントで構成されています。 古典的および実世界のFLデータセットの実験は、FedCOGが一貫して最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2023-12-10T18:49:59Z)
• Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
  フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。 その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。 我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
  論文  参考訳（メタデータ） (2023-08-20T04:41:01Z)
• Joint Local Relational Augmentation and Global Nash Equilibrium for Federated Learning with Non-IID Data [36.426794300280854]
  フェデレーテッド・ラーニング(FL)は分散機械学習のパラダイムであり、サーバーと一連のクライアントの協力を必要とする。 本稿では,局所的リレーショナル拡張(LRA)と大域的ナッシュ均衡(GNE)の2つの主要モジュールからなるFedRANEを提案する。
  論文  参考訳（メタデータ） (2023-08-17T06:17:51Z)
• FedCME: Client Matching and Classifier Exchanging to Handle Data Heterogeneity in Federated Learning [5.21877373352943]
  クライアント間のデータの均一性は、フェデレートラーニング(FL)における重要な課題の1つです。 クライアントマッチングと分類器交換によりFedCMEという新しいFLフレームワークを提案する。 実験結果から,FedCMEはFedAvg,FedProx,MOON,FedRSよりも高い性能を示した。
  論文  参考訳（メタデータ） (2023-07-17T15:40:45Z)
• Federated Learning with Intermediate Representation Regularization [14.01585596739954]
  フェデレートラーニング(FL)は、リモートクライアントがプライベートデータを公開せずに、協力的にモデルをトレーニングすることを可能にする。 従来の研究では、局所モデルと大域モデルによって学習された表現間の距離を規則化することでこれを達成している。 我々はFedIntRを導入し、中間層の表現を局所的なトレーニングプロセスに統合することで、よりきめ細かい正規化を提供する。
  論文  参考訳（メタデータ） (2022-10-28T01:43:55Z)
• Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
  フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。 本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。 Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
  論文  参考訳（メタデータ） (2021-04-27T18:23:54Z)
• Toward Understanding the Influence of Individual Clients in Federated Learning [52.07734799278535]
  フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。 em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
  論文  参考訳（メタデータ） (2020-12-20T14:34:36Z)
• Federated Unsupervised Representation Learning [56.715917111878106]
  フェデレート非教師表現学習(FURL)と呼ばれるフェデレーション学習における新しい問題を定式化し、教師なしの共通表現モデルを学習する。 FedCAは2つの主要なモジュールで構成されている: 辞書モジュールは、各クライアントからのサンプルの表現を集約し、表現空間の整合性のためにすべてのクライアントと共有し、アライメントモジュールは、公開データに基づいてトレーニングされたベースモデル上で各クライアントの表現を整合させる。
  論文  参考訳（メタデータ） (2020-10-18T13:28:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。