論文の概要: Cross-Silo Prototypical Calibration for Federated Learning with Non-IID Data

• arxiv url: http://arxiv.org/abs/2308.03457v1
• Date: Mon, 7 Aug 2023 10:25:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-08 14:14:48.024106
• Title: Cross-Silo Prototypical Calibration for Federated Learning with Non-IID Data
• Title（参考訳）: 非IIDデータを用いたフェデレーション学習のためのクロスサイロプロトタイプ校正
• Authors: Zhuang Qi, Lei Meng, Zitan Chen, Han Hu, Hui Lin, Xiangxu Meng
• Abstract要約: Federated Learningは、すべてのクライアントにプライバシ保護の方法で一般化する、サーバ側のグローバルモデルを学ぶことを目的としている。 この問題に対処するために, クロスサイロ型原型校正法(FedCSPC)を提案する。 FedCSPCはクライアントから追加のプロトタイプ情報を取得し、サーバ側で統一された機能空間を学習する。
• 参考スコア（独自算出の注目度）: 24.3384892417653
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated Learning aims to learn a global model on the server side that generalizes to all clients in a privacy-preserving manner, by leveraging the local models from different clients. Existing solutions focus on either regularizing the objective functions among clients or improving the aggregation mechanism for the improved model generalization capability. However, their performance is typically limited by the dataset biases, such as the heterogeneous data distributions and the missing classes. To address this issue, this paper presents a cross-silo prototypical calibration method (FedCSPC), which takes additional prototype information from the clients to learn a unified feature space on the server side. Specifically, FedCSPC first employs the Data Prototypical Modeling (DPM) module to learn data patterns via clustering to aid calibration. Subsequently, the cross-silo prototypical calibration (CSPC) module develops an augmented contrastive learning method to improve the robustness of the calibration, which can effectively project cross-source features into a consistent space while maintaining clear decision boundaries. Moreover, the CSPC module's ease of implementation and plug-and-play characteristics make it even more remarkable. Experiments were conducted on four datasets in terms of performance comparison, ablation study, in-depth analysis and case study, and the results verified that FedCSPC is capable of learning the consistent features across different data sources of the same class under the guidance of calibrated model, which leads to better performance than the state-of-the-art methods. The source codes have been released at https://github.com/qizhuang-qz/FedCSPC.
• Abstract（参考訳）: Federated Learningは、異なるクライアントのローカルモデルを活用することによって、すべてのクライアントにプライバシ保護方法で一般化する、サーバ側のグローバルモデルを学ぶことを目指している。 既存のソリューションでは、クライアント間の目的関数の正規化や、改善されたモデル一般化機能のための集約メカニズムの改善に重点を置いている。 しかしながら、それらのパフォーマンスは通常、異種データ分散や欠落クラスのようなデータセットバイアスによって制限される。 この問題に対処するために,サーバ側で一貫した特徴空間を学習するために,クライアントから追加のプロトタイプ情報を取得するクロスサイロなプロトタイプキャリブレーション手法(FedCSPC)を提案する。 具体的には、FedCSPCはまずデータプロトタイプモデリング(DPM)モジュールを使用してクラスタリングを通じてデータパターンを学習し、キャリブレーションを支援する。 その後、CSPCモジュールは拡張コントラスト学習法を開発し、明確な決定境界を維持しつつ、効果的にクロスソース機能を一貫した空間に投影できるキャリブレーションの堅牢性を改善する。 さらに、cspcモジュールの実装の容易さとプラグアンドプレイ特性により、さらに注目に値する。 実験は, 性能比較, アブレーション研究, 深部分析, ケーススタディの4つのデータセットで実施され, その結果, FedCSPCは, 校正モデルの指導のもと, 同一クラスの異なるデータソース間で一貫した特徴を学習できることを確認した。 ソースコードはhttps://github.com/qizhuang-qz/FedCSPCで公開されている。

関連論文リスト

• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• Decoupled Federated Learning on Long-Tailed and Non-IID data with Feature Statistics [20.781607752797445]
  特徴統計量(DFL-FS)を用いた2段階分離型フェデレーション学習フレームワークを提案する。 最初の段階では、サーバは、マスキングされたローカル特徴統計クラスタリングによってクライアントのクラスカバレッジ分布を推定する。 第2段階では、DFL-FSは、グローバルな特徴統計に基づくフェデレーションされた特徴再生を使用して、長い尾を持つデータ分布へのモデルの適応性を高める。
  論文  参考訳（メタデータ） (2024-03-13T09:24:59Z)
• Personalized Federated Learning with Contextual Modulation and Meta-Learning [2.7716102039510564]
  フェデレーション学習は、分散データソース上で機械学習モデルをトレーニングするための有望なアプローチとして登場した。 本稿では,フェデレートラーニングとメタラーニングを併用して,効率性と一般化能力を両立させる新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-23T08:18:22Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• Consistency Regularization for Generalizable Source-free Domain Adaptation [62.654883736925456]
  ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。 既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。 より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-03T07:45:53Z)
• Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
  基礎モデルを用いた最先端UniDA手法の実証的研究を行った。 CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。 単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
  論文  参考訳（メタデータ） (2023-05-18T16:28:29Z)
• A Personalized Federated Learning Algorithm: an Application in Anomaly Detection [0.6700873164609007]
  フェデレートラーニング(FL)は、データプライバシと送信問題を克服する有望な方法として最近登場した。 FLでは、異なるデバイスやセンサーから収集されたデータセットを使用して、各学習を集中型モデル(サーバ)と共有するローカルモデル(クライアント)をトレーニングする。 本稿では,PC-FedAvg(Personalized FedAvg, PC-FedAvg)を提案する。
  論文  参考訳（メタデータ） (2021-11-04T04:57:11Z)
• Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
  フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。 本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。 Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
  論文  参考訳（メタデータ） (2021-04-27T18:23:54Z)
• Toward Understanding the Influence of Individual Clients in Federated Learning [52.07734799278535]
  フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。 em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
  論文  参考訳（メタデータ） (2020-12-20T14:34:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。