論文の概要: Feature Correlation-guided Knowledge Transfer for Federated
Self-supervised Learning
- arxiv url: http://arxiv.org/abs/2211.07364v1
- Date: Mon, 14 Nov 2022 13:59:50 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-15 19:18:51.532749
- Title: Feature Correlation-guided Knowledge Transfer for Federated
Self-supervised Learning
- Title（参考訳）: 連合型自己教師付き学習のための特徴相関誘導知識伝達
- Authors: Yi Liu, Song Guo, Jie Zhang, Qihua Zhou, Yingchun Wang and Xiaohan
Zhao
- Abstract要約: 特徴相関に基づくアグリゲーション(FedFoA)を用いたフェデレーション型自己教師型学習法を提案する。
私たちの洞察は、機能相関を利用して、特徴マッピングを整列し、ローカルトレーニングプロセス中にクライアント間でローカルモデルの更新を校正することにあります。
我々はFedFoAがモデルに依存しないトレーニングフレームワークであることを証明する。
- 参考スコア（独自算出の注目度）: 19.505644178449046
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: To eliminate the requirement of fully-labeled data for supervised model
training in traditional Federated Learning (FL), extensive attention has been
paid to the application of Self-supervised Learning (SSL) approaches on FL to
tackle the label scarcity problem. Previous works on Federated SSL generally
fall into two categories: parameter-based model aggregation (i.e., FedAvg,
applicable to homogeneous cases) or data-based feature sharing (i.e., knowledge
distillation, applicable to heterogeneous cases) to achieve knowledge transfer
among multiple unlabeled clients. Despite the progress, all of them inevitably
rely on some assumptions, such as homogeneous models or the existence of an
additional public dataset, which hinder the universality of the training
frameworks for more general scenarios. Therefore, in this paper, we propose a
novel and general method named Federated Self-supervised Learning with
Feature-correlation based Aggregation (FedFoA) to tackle the above limitations
in a communication-efficient and privacy-preserving manner. Our insight is to
utilize feature correlation to align the feature mappings and calibrate the
local model updates across clients during their local training process. More
specifically, we design a factorization-based method to extract the
cross-feature relation matrix from the local representations. Then, the
relation matrix can be regarded as a carrier of semantic information to perform
the aggregation phase. We prove that FedFoA is a model-agnostic training
framework and can be easily compatible with state-of-the-art unsupervised FL
methods. Extensive empirical experiments demonstrate that our proposed approach
outperforms the state-of-the-art methods by a significant margin.
- Abstract（参考訳）: 従来のフェデレートラーニング(FL)における教師付きモデルトレーニングのための完全ラベル付きデータの必要性を排除するため,ラベル不足問題に対処するため,自己教師付きラーニング(SSL)アプローチをFLに適用することに注意が払われている。
フェデレーションsslに関する以前の研究は、パラメータベースのモデルアグリゲーション(フェデレーション)と、複数のラベルのないクライアント間の知識転送を達成するためのデータベースの機能共有(知識蒸留、異種ケースに適用)の2つのカテゴリに分類される。
進歩にもかかわらず、それらすべてが必然的に、均質なモデルや、より一般的なシナリオのためのトレーニングフレームワークの普遍性を阻害する追加のパブリックデータセットの存在といったいくつかの仮定に依存している。
そこで本稿では,FedFoA(Federated Self-supervised Learning with Feature-correlation based Aggregation, FedFoA)という,コミュニケーション効率とプライバシ保護を両立させる手法を提案する。
私たちの洞察は、機能相関を利用して機能マッピングを調整し、クライアント間のローカルモデル更新をローカルトレーニングプロセス中に校正することです。
具体的には、局所表現から機能間関係行列を抽出する分解に基づく手法を設計する。
そして、関係行列を意味情報の担体として集約フェーズを行うことができる。
我々はFedFoAがモデルに依存しないトレーニングフレームワークであることを証明する。
広範な実証実験により,提案手法が最先端手法をかなり上回っていることが示された。
関連論文リスト
- An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。
従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。
我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文 参考訳（メタデータ） (2024-04-29T05:55:23Z) - Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-22T02:12:08Z) - Fed-CO2: Cooperation of Online and Offline Models for Severe Data
Heterogeneity in Federated Learning [14.914477928398133]
フェデレートラーニング(FL)は、有望な分散ラーニングパラダイムとして登場した。
FLの有効性は、トレーニングに使われているデータの品質に大きく依存する。
ラベル分布スキューと特徴スキューの両方を扱う普遍的なFLフレームワークであるFed-CO$_2$を提案する。
論文 参考訳（メタデータ） (2023-12-21T15:12:12Z) - Generalizable Heterogeneous Federated Cross-Correlation and Instance
Similarity Learning [60.058083574671834]
本稿では,新しいFCCL+,フェデレーション相関と非ターゲット蒸留との類似性学習を提案する。
不均一な問題に対しては、無関係な公開データを通信に活用する。
局所的な更新段階における破滅的な忘れ物として、FCCL+はFederated Non Target Distillationを導入している。
論文 参考訳（メタデータ） (2023-09-28T09:32:27Z) - FSAR: Federated Skeleton-based Action Recognition with Adaptive Topology
Structure and Knowledge Distillation [23.0771949978506]
既存の骨格に基づく行動認識手法は、典型的には集中学習パラダイムに従っており、人間関連のビデオを公開する際にプライバシー上の懸念を生じさせる。
我々は,局所的な機密データにアクセスせずにグローバルに一般化されたモデルを構築することのできる,新しいフェデレート・骨格に基づく行動認識(FSAR)パラダイムを導入する。
論文 参考訳（メタデータ） (2023-06-19T16:18:14Z) - FedGen: Generalizable Federated Learning for Sequential Data [8.784435748969806]
多くの実世界の分散環境では、バイアスとデータサンプリングの問題により、急激な相関が存在する。
我々はFedGenという汎用的なフェデレーション学習フレームワークを提案し、クライアントが素早い特徴と不変な特徴を識別および識別できるようにする。
FedGenは、より優れた一般化を実現し、現在のフェデレーション学習手法の精度を24%以上上回るモデルが得られることを示す。
論文 参考訳（メタデータ） (2022-11-03T15:48:14Z) - Exploring Semantic Attributes from A Foundation Model for Federated
Learning of Disjoint Label Spaces [46.59992662412557]
本研究では,特定の対象に敏感でない中レベルの意味的知識(属性など)の伝達を検討する。
我々はFZSL(Federated Zero-Shot Learning)パラダイムを定式化し、複数のローカルクライアントで中レベルのセマンティック知識を学習する。
モデル識別能力を向上させるために,外的知識からの意味的知識増強について検討する。
論文 参考訳（メタデータ） (2022-08-29T10:05:49Z) - CDKT-FL: Cross-Device Knowledge Transfer using Proxy Dataset in Federated Learning [27.84845136697669]
我々は,グローバルモデルとローカルモデル間の知識伝達の程度を研究するために,新しい知識蒸留に基づくアプローチを開発する。
提案手法は局所モデルの大幅な高速化と高いパーソナライズ性能を実現する。
論文 参考訳（メタデータ） (2022-04-04T14:49:19Z) - Fine-tuning Global Model via Data-Free Knowledge Distillation for
Non-IID Federated Learning [86.59588262014456]
フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。
サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。
私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
論文 参考訳（メタデータ） (2022-03-17T11:18:17Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳（メタデータ） (2021-11-28T19:03:39Z) - Edge-assisted Democratized Learning Towards Federated Analytics [67.44078999945722]
本稿では,エッジ支援型民主化学習機構であるEdge-DemLearnの階層的学習構造を示す。
また、Edge-DemLearnを柔軟なモデルトレーニングメカニズムとして検証し、リージョンに分散制御と集約の方法論を構築する。
論文 参考訳（メタデータ） (2020-12-01T11:46:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。