論文の概要: FedSC: Provable Federated Self-supervised Learning with Spectral Contrastive Objective over Non-i.i.d. Data
- arxiv url: http://arxiv.org/abs/2405.03949v1
- Date: Tue, 7 May 2024 02:12:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-08 15:38:26.380748
- Title: FedSC: Provable Federated Self-supervised Learning with Spectral Contrastive Objective over Non-i.i.d. Data
- Title（参考訳）: FedSC:非i.d.データに対するスペクトルコントラストオブジェクトを用いた有望なフェデレーション型自己教師型学習
- Authors: Shusen Jing, Anlan Yu, Shuai Zhang, Songyang Zhang,
- Abstract要約: 我々は、スペクトルコントラストの目的に基づいて、FedSCという証明可能なFedSSLアルゴリズムを提案する。
FedSCでは、クライアントは定期的にモデルの重みに加えて、データ表現の相関行列を共有する。
我々は、収束と余分なプライバシー漏洩に関する理論的分析を提供する。
- 参考スコア（独自算出の注目度）: 26.81377738626344
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent efforts have been made to integrate self-supervised learning (SSL) with the framework of federated learning (FL). One unique challenge of federated self-supervised learning (FedSSL) is that the global objective of FedSSL usually does not equal the weighted sum of local SSL objectives. Consequently, conventional approaches, such as federated averaging (FedAvg), fail to precisely minimize the FedSSL global objective, often resulting in suboptimal performance, especially when data is non-i.i.d.. To fill this gap, we propose a provable FedSSL algorithm, named FedSC, based on the spectral contrastive objective. In FedSC, clients share correlation matrices of data representations in addition to model weights periodically, which enables inter-client contrast of data samples in addition to intra-client contrast and contraction, resulting in improved quality of data representations. Differential privacy (DP) protection is deployed to control the additional privacy leakage on local datasets when correlation matrices are shared. We also provide theoretical analysis on the convergence and extra privacy leakage. The experimental results validate the effectiveness of our proposed algorithm.
- Abstract（参考訳）: 近年,自己教師型学習(SSL)と連邦学習(FL)の枠組みを統合する取り組みが進められている。
フェデレートされた自己教師型学習(FedSSL)のユニークな課題の1つは、FedSSLのグローバルな目的は通常、ローカルSSLの目的の重み付け総和に等しいものではないことである。
したがって、フェデレート平均化(FedAvg)のような従来の手法は、FedSSLのグローバルな目的を正確に最小化することができず、特にデータが非i.dである場合、しばしば準最適性能をもたらす。
このギャップを埋めるために、スペクトルコントラスト目的に基づいてFedSCという証明可能なFedSSLアルゴリズムを提案する。
FedSCでは、クライアントは周期的な重み付けに加えてデータ表現の相関行列を共有し、クライアント間のコントラストと縮合に加えて、データサンプル間のコントラストを可能にすることにより、データ表現の品質が向上する。
差分プライバシー(DP)保護は、相関行列の共有時に、ローカルデータセットのさらなるプライバシー漏洩を制御するためにデプロイされる。
また、収束と余分なプライバシー漏洩に関する理論的分析も提供する。
実験の結果,提案アルゴリズムの有効性が検証された。
関連論文リスト
- Adaptive Coded Federated Learning: Privacy Preservation and Straggler Mitigation [33.56146654796337]
トラグラーの負の影響を軽減するために、符号化された連合学習フレームワークが提案されている。
本稿では,この欠点を克服するために,適応符号化フェデレーション学習(ACFL)という新しい手法を提案する。
論文 参考訳（メタデータ） (2024-03-22T01:51:48Z) - Personalized Federated Learning with Attention-based Client Selection [57.71009302168411]
我々は,意図に基づくクライアント選択機構を備えた新しいPFLアルゴリズムであるFedACSを提案する。
FedACSは、類似したデータ分散を持つクライアント間のコラボレーションを強化するためのアテンションメカニズムを統合している。
CIFAR10とFMNISTの実験は、FedACSの優位性を検証する。
論文 参考訳（メタデータ） (2023-12-23T03:31:46Z) - Fed-QSSL: A Framework for Personalized Federated Learning under Bitwidth
and Data Heterogeneity [14.313847382199059]
Fed-QSSL (Federated Quantization-based self-supervised learning scheme) はFLシステムの不均一性に対処するために設計された。
Fed-QSSLは、デ量子化、重み付けされたアグリゲーション、再量子化をデプロイし、最終的に、各クライアントのデバイスのデータ分散と特定のインフラストラクチャの両方にパーソナライズされたモデルを作成する。
論文 参考訳（メタデータ） (2023-12-20T19:11:19Z) - L-DAWA: Layer-wise Divergence Aware Weight Aggregation in Federated
Self-Supervised Visual Representation Learning [14.888569402903562]
自己教師付き学習(SSL)とフェデレーション付き学習(FL)をひとつのコヒーレントシステムに統合することは、データプライバシの保証を提供する可能性がある。
本稿では,FLアグリゲーションにおけるクライアントバイアスや分散の影響を軽減するため,レイヤワイド・ディバージェンス・アウェア・ウェイト・アグリゲーション(L-DAWA)と呼ばれる新たなアグリゲーション戦略を提案する。
論文 参考訳（メタデータ） (2023-07-14T15:07:30Z) - Combating Exacerbated Heterogeneity for Robust Models in Federated
Learning [91.88122934924435]
対人訓練と連合学習の組み合わせは、望ましくない頑丈さの劣化につながる可能性がある。
我々は、Slack Federated Adversarial Training (SFAT)と呼ばれる新しいフレームワークを提案する。
各種ベンチマークおよび実世界のデータセットに対するSFATの合理性と有効性を検証する。
論文 参考訳（メタデータ） (2023-03-01T06:16:15Z) - FedSkip: Combatting Statistical Heterogeneity with Federated Skip
Aggregation [95.85026305874824]
我々はFedSkipと呼ばれるデータ駆動型アプローチを導入し、フェデレーション平均化を定期的にスキップし、ローカルモデルをクロスデバイスに分散することで、クライアントの最適化を改善する。
我々は、FedSkipがはるかに高い精度、より良いアグリゲーション効率、競合する通信効率を達成することを示すために、さまざまなデータセットに関する広範な実験を行う。
論文 参考訳（メタデータ） (2022-12-14T13:57:01Z) - Effective Targeted Attacks for Adversarial Self-Supervised Learning [58.14233572578723]
ラベル情報を持たないモデルにおいて堅牢性を達成する手段として、教師なしの敵訓練(AT)が強調されている。
本稿では,敵のSSLフレームワークを効果的に生成するために,敵の攻撃を標的とした新たな正のマイニングを提案する。
提案手法は,非コントラスト型SSLフレームワークに適用した場合のロバストネスの大幅な向上と,コントラスト型SSLフレームワークによるロバストネスの向上を示す。
論文 参考訳（メタデータ） (2022-10-19T11:43:39Z) - Collaborative Intelligence Orchestration: Inconsistency-Based Fusion of
Semi-Supervised Learning and Active Learning [60.26659373318915]
アクティブラーニング(AL)と半教師付きラーニング(SSL)は2つの効果があるが、しばしば孤立している。
本稿では、SSL-ALの潜在的な優位性をさらに調査するために、革新的な一貫性に基づく仮想aDvErialアルゴリズムを提案する。
2つの実世界のケーススタディは、提案したデータサンプリングアルゴリズムの適用と展開の実践的な産業価値を可視化する。
論文 参考訳（メタデータ） (2022-06-07T13:28:43Z) - Stochastic Coded Federated Learning with Convergence and Privacy
Guarantees [8.2189389638822]
フェデレートラーニング(FL)は、プライバシを保存する分散機械学習フレームワークとして多くの注目を集めている。
本稿では、トラグラー問題を緩和するために、SCFL(Coded Federated Learning)というコード付きフェデレーション学習フレームワークを提案する。
我々は、相互情報差分プライバシー(MI-DP)によるプライバシー保証を特徴付け、連合学習における収束性能を分析する。
論文 参考訳（メタデータ） (2022-01-25T04:43:29Z) - Trash to Treasure: Harvesting OOD Data with Cross-Modal Matching for
Open-Set Semi-Supervised Learning [101.28281124670647]
オープンセット半教師付き学習(Open-set SSL)では、ラベルなしデータにOOD(Out-of-distribution)サンプルを含む、難しいが実用的なシナリオを調査する。
我々は、OODデータの存在を効果的に活用し、特徴学習を増強する新しいトレーニングメカニズムを提案する。
我々のアプローチは、オープンセットSSLのパフォーマンスを大幅に向上させ、最先端技術よりも大きなマージンで性能を向上します。
論文 参考訳（メタデータ） (2021-08-12T09:14:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。