論文の概要: Calibre: Towards Fair and Accurate Personalized Federated Learning with Self-Supervised Learning

• arxiv url: http://arxiv.org/abs/2412.20020v1
• Date: Sat, 28 Dec 2024 04:43:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-31 16:01:59.909189
• Title: Calibre: Towards Fair and Accurate Personalized Federated Learning with Self-Supervised Learning
• Title（参考訳）: Calibre: 自己監督型学習による個人化フェデレーション学習の公平かつ高精度化を目指して
• Authors: Sijia Chen, Ningxin Su, Baochun Li,
• Abstract要約: クライアント間でデータが異質である場合、SSLを使用してトレーニングされたグローバルモデルは、高品質なパーソナライズされたモデルを学ぶことができない。 SSL表現のキャリブレーション用に設計された,新たな個人用フェデレーション学習フレームワークであるCalibreを提案する。 Calibreは、クライアントの平均精度と公正性の両方の観点から、最先端のパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 29.998039325689952
• License:
• Abstract: In the context of personalized federated learning, existing approaches train a global model to extract transferable representations, based on which any client could train personalized models with a limited number of data samples. Self-supervised learning is considered a promising direction as the global model it produces is generic and facilitates personalization for all clients fairly. However, when data is heterogeneous across clients, the global model trained using SSL is unable to learn high-quality personalized models. In this paper, we show that when the global model is trained with SSL without modifications, its produced representations have fuzzy class boundaries. As a result, personalized learning within each client produces models with low accuracy. In order to improve SSL towards better accuracy without sacrificing its advantage in fairness, we propose Calibre, a new personalized federated learning framework designed to calibrate SSL representations by maintaining a suitable balance between more generic and more client-specific representations. Calibre is designed based on theoretically-sound properties, and introduces (1) a client-specific prototype loss as an auxiliary training objective; and (2) an aggregation algorithm guided by such prototypes across clients. Our experimental results in an extensive array of non-i.i.d.~settings show that Calibre achieves state-of-the-art performance in terms of both mean accuracy and fairness across clients. Code repo: https://github.com/TL-System/plato/tree/main/examples/ssl/calibre.
• Abstract（参考訳）: パーソナライズされたフェデレーション学習の文脈では、既存のアプローチはグローバルモデルをトレーニングし、転送可能な表現を抽出する。 自己教師付き学習は、それが生み出すグローバルモデルが汎用的であり、すべてのクライアントのパーソナライズを容易にするため、有望な方向と考えられている。 しかし、データがクライアント間で異質である場合、SSLを使用してトレーニングされたグローバルモデルは、高品質なパーソナライズされたモデルを学ぶことができない。 本稿では,グローバルモデルにSSLを使わずにトレーニングした場合,その表現はファジィなクラス境界を持つことを示す。 結果として、各クライアント内のパーソナライズされた学習は、低い精度でモデルを生成する。 公平性を犠牲にすることなく、SSLの精度を向上させるために、より汎用的な表現とよりクライアント固有の表現との適切なバランスを維持することにより、SSL表現を校正するパーソナライズされた新たな学習フレームワークであるCalibreを提案する。 Calibre は理論的に音響特性に基づいて設計されており,(1) クライアント固有のプロトタイプ損失を補助訓練目的として,(2) クライアント間のプロトタイプによって誘導される集約アルゴリズムを導入している。 実験結果から,クライアント間の平均精度と公平性の両方の観点から,Calibreが最先端の性能を達成することを示す。 コードリポジトリ:https://github.com/TL-System/plato/tree/main/examples/ssl/calibre。

関連論文リスト

• Personalized Hierarchical Split Federated Learning in Wireless Networks [24.664469755746463]
  本稿では、パーソナライズ性能の向上を目的とした、パーソナライズされた階層分割型フェデレーション学習(PHSFL)アルゴリズムを提案する。 まず、モデル分割と階層モデル集約がグローバルモデルに与える影響を理解するために、広範囲な理論的解析を行う。 グローバルモデルがトレーニングされると、各クライアントを微調整してパーソナライズされたモデルを取得します。
  論文  参考訳（メタデータ） (2024-11-09T02:41:53Z)
• Personalized Federated Learning via Feature Distribution Adaptation [3.410799378893257]
  Federated Learning(FL)は、分散クライアントデータセット間の共通性を利用してグローバルモデルをトレーニングする分散学習フレームワークである。 パーソナライズド・フェデレーション・ラーニング(PFL)は、各クライアントに適した個々のモデルを学習することで、この問題に対処しようとしている。 我々は,グローバルな生成型分類器を局所的な特徴分布に適応させることで,パーソナライズされたモデルを効率的に生成するアルゴリズム,pFedFDAを提案する。
  論文  参考訳（メタデータ） (2024-11-01T03:03:52Z)
• Client-supervised Federated Learning: Towards One-model-for-all Personalization [28.574858341430858]
  FLシステムにおける未確認/テストクライアント上のパーソナライズされたモデルと競合する性能を達成するために,単一の堅牢なグローバルモデルのみを学習する新しいフェデレーション学習フレームワークを提案する。 具体的には、新しいクライアント監督型フェデレートラーニング(FedCS)を設計し、クライアントの潜在表現に対するバイアスを解消し、グローバルモデルがクライアント固有の知識とクライアントに依存しない知識の両方を学習できるようにする。
  論文  参考訳（メタデータ） (2024-03-28T15:29:19Z)
• FedSampling: A Better Sampling Strategy for Federated Learning [81.85411484302952]
  フェデレートラーニング(FL)は、プライバシを保存する方法で分散化されたデータからモデルを学習するための重要なテクニックである。 既存のFLメソッドは通常、各ラウンドでローカルモデル学習のために一様にクライアントをサンプリングする。 フェデレート学習のための新しいデータ一様サンプリング戦略(FedSampling)を提案する。
  論文  参考訳（メタデータ） (2023-06-25T13:38:51Z)
• Federated Semi-Supervised Learning with Annotation Heterogeneity [57.12560313403097]
  Heterogenely Annotated Semi-Supervised LEarning (HASSLE) という新しいフレームワークを提案する。 ラベル付きデータとラベルなしデータで個別にトレーニングされた2つのモデルを持つデュアルモデルフレームワークである。 デュアルモデルは、異なるクライアントにわたる両方のタイプのデータから暗黙的に学習することができるが、各デュアルモデルは、単一のタイプのデータに対してのみローカルにトレーニングされる。
  論文  参考訳（メタデータ） (2023-03-04T16:04:49Z)
• Self-Aware Personalized Federated Learning [32.97492968378679]
  本研究では,ベイズ階層モデルにインスパイアされた自己認識型パーソナライズド・フェデレーション・ラーニング(FL)手法を開発した。 本手法では,従来の局所微調整法とサンプルサイズに基づくアグリゲーションの代わりに,不確実性駆動型局所トレーニングステップとアグリゲーションルールを用いる。 合成データ、Amazon Alexa音声データ、MNIST、FEMNIST、CIFAR10、Sent140などの公開データセットに関する実験的研究により、提案手法はパーソナライズ性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-04-17T19:02:25Z)
• RSCFed: Random Sampling Consensus Federated Semi-supervised Learning [40.998176838813045]
  Federated semi-supervised learning (FSSL)は、完全にラベル付けされた、完全にラベル付けされていないクライアントをトレーニングしたり、部分的にラベル付けされたクライアントをトレーニングすることで、グローバルなモデルを導出することを目的としている。 我々は,完全ラベルのクライアント,完全ラベルのクライアント,あるいは部分的にラベル付けされたクライアントのモデル間の不均一な信頼性を考慮して,ランダムサンプリング統合学習(RSCFed)を提案する。
  論文  参考訳（メタデータ） (2022-03-26T05:10:44Z)
• No One Left Behind: Inclusive Federated Learning over Heterogeneous Devices [79.16481453598266]
  この問題に対処するクライアント包摂的フェデレーション学習手法であるInclusiveFLを提案する。 InclusiveFLの中核となる考え方は、異なるサイズのモデルを異なる計算能力を持つクライアントに割り当てることである。 また,異なる大きさの複数の局所モデル間で知識を共有する効果的な手法を提案する。
  論文  参考訳（メタデータ） (2022-02-16T13:03:27Z)
• Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
  フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。 本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。 Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
  論文  参考訳（メタデータ） (2021-04-27T18:23:54Z)
• Meta-Learned Attribute Self-Gating for Continual Generalized Zero-Shot Learning [82.07273754143547]
  トレーニング中に見られないカテゴリにモデルを一般化するためのメタ連続ゼロショット学習(MCZSL)アプローチを提案する。 属性の自己決定とスケールしたクラス正規化をメタラーニングベースのトレーニングと組み合わせることで、最先端の成果を上回ることができるのです。
  論文  参考訳（メタデータ） (2021-02-23T18:36:14Z)
• Toward Understanding the Influence of Individual Clients in Federated Learning [52.07734799278535]
  フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。 em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
  論文  参考訳（メタデータ） (2020-12-20T14:34:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。