論文の概要: Federated Self-Supervised Contrastive Learning via Ensemble Similarity Distillation

• arxiv url: http://arxiv.org/abs/2109.14611v1
• Date: Wed, 29 Sep 2021 02:13:22 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-01 15:02:28.244794
• Title: Federated Self-Supervised Contrastive Learning via Ensemble Similarity Distillation
• Title（参考訳）: アンサンブル類似性蒸留による自己教師付きコントラスト学習
• Authors: Haizhou Shi, Youcai Zhang, Zijin Shen, Siliang Tang, Yaqian Li, Yandong Guo, Yueting Zhuang
• Abstract要約: 本稿では,未ラベルのクライアントデータによる良好な表現空間の学習の実現可能性について検討する。 本稿では,アーキテクチャに依存しないローカルトレーニングとコミュニケーション効率のよいグローバルアグリゲーションをサポートする,自己指導型コントラスト学習フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 42.05438626702343
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper investigates the feasibility of learning good representation space with unlabeled client data in the federated scenario. Existing works trivially inherit the supervised federated learning methods, which does not apply to the model heterogeneity and has the potential risk of privacy exposure. To tackle the problems above, we first identify that self-supervised contrastive local training is more robust against the non-i.i.d.-ness than the traditional supervised learning paradigm. Then we propose a novel federated self-supervised contrastive learning framework FLESD that supports architecture-agnostic local training and communication-efficient global aggregation. At each round of communication, the server first gathers a fraction of the clients' inferred similarity matrices on a public dataset. Then FLESD ensembles the similarity matrices and trains the global model via similarity distillation. We verify the effectiveness of our proposed framework by a series of empirical experiments and show that FLESD has three main advantages over the existing methods: it handles the model heterogeneity, is less prone to privacy leak, and is more communication-efficient. We will release the code of this paper in the future.
• Abstract（参考訳）: 本稿では,未ラベルのクライアントデータによる良好な表現空間の学習の実現可能性について検討する。 既存の作業は、モデルの不均一性には適用されず、プライバシ暴露の危険性がある、教師付きフェデレーション学習手法を自明に継承する。 上記の問題に取り組むために,我々は,従来の教師付き学習パラダイムよりも,自己教師付きコントラスト型ローカルトレーニングが非i.i.d.ネスに対してより強固であることを最初に確認する。 次に,アーキテクチャ非依存な局所トレーニングとコミュニケーション効率の高いグローバルアグリゲーションをサポートする,新しい連合型自己教師付きコントラスト学習フレームワークflesdを提案する。 各通信ラウンドにおいて、サーバはまず、公開データセット上でクライアントの推論された類似度行列のごく一部を収集する。 次に、FLESDは類似度行列をアンサンブルし、類似度蒸留を通じてグローバルモデルを訓練する。 提案手法の有効性を実証実験により検証し、FLESDが既存手法に対して3つの大きな利点があることを示す。 私たちは将来この論文のコードを公開します。

関連論文リスト

• Generalizable Heterogeneous Federated Cross-Correlation and Instance Similarity Learning [60.058083574671834]
  本稿では,新しいFCCL+,フェデレーション相関と非ターゲット蒸留との類似性学習を提案する。 不均一な問題に対しては、無関係な公開データを通信に活用する。 局所的な更新段階における破滅的な忘れ物として、FCCL+はFederated Non Target Distillationを導入している。
  論文  参考訳（メタデータ） (2023-09-28T09:32:27Z)
• Combating Exacerbated Heterogeneity for Robust Models in Federated Learning [91.88122934924435]
  対人訓練と連合学習の組み合わせは、望ましくない頑丈さの劣化につながる可能性がある。 我々は、Slack Federated Adversarial Training (SFAT)と呼ばれる新しいフレームワークを提案する。 各種ベンチマークおよび実世界のデータセットに対するSFATの合理性と有効性を検証する。
  論文  参考訳（メタデータ） (2023-03-01T06:16:15Z)
• Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
  フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。 このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。 本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T08:41:19Z)
• Feature Correlation-guided Knowledge Transfer for Federated Self-supervised Learning [19.505644178449046]
  特徴相関に基づくアグリゲーション(FedFoA)を用いたフェデレーション型自己教師型学習法を提案する。 私たちの洞察は、機能相関を利用して、特徴マッピングを整列し、ローカルトレーニングプロセス中にクライアント間でローカルモデルの更新を校正することにあります。 我々はFedFoAがモデルに依存しないトレーニングフレームワークであることを証明する。
  論文  参考訳（メタデータ） (2022-11-14T13:59:50Z)
• Federated Self-supervised Learning for Heterogeneous Clients [20.33482170846688]
  異種クライアント上でのフェデレーションによる自己教師型学習を実現するための統一的かつ体系的なフレームワークであるemphHeterogeneous Self-supervised Federated Learning (Hetero-SSFL)を提案する。 提案したフレームワークは、アーキテクチャ上の制約やラベル付きデータの存在を伴わずに、すべてのクライアントをまたいだ表現学習を可能にする。 我々は,提案手法が最先端の手法よりも優れていることを実証的に実証した。
  論文  参考訳（メタデータ） (2022-05-25T05:07:44Z)
• Heterogeneous Ensemble Knowledge Transfer for Training Large Models in Federated Learning [22.310090483499035]
  フェデレートラーニング(FL)は、エッジデバイスがプライベートデータを中央集約サーバに公開することなく、協調的にモデルを学習することを可能にする。 既存のFLアルゴリズムの多くは、クライアントとサーバにまたがってデプロイされるのと同じアーキテクチャのモデルを必要とする。 本稿では,Fed-ETと呼ばれる新しいアンサンブル知識伝達手法を提案する。
  論文  参考訳（メタデータ） (2022-04-27T05:18:32Z)
• One-shot Federated Learning without Server-side Training [42.59845771101823]
  クライアントとサーバ間の通信コストを削減する手段として,ワンショットのフェデレーション学習が人気を集めている。 既存のワンショットFL法のほとんどは知識蒸留に基づいているが、蒸留に基づくアプローチでは追加のトレーニングフェーズが必要であり、公開されているデータセットや生成された擬似サンプルに依存する。 本研究では,サーバサイドのトレーニングなしで,ローカルモデル上で1ラウンドのパラメータアグリゲーションを実行するという,新しいクロスサイロ設定について考察する。
  論文  参考訳（メタデータ） (2022-04-26T01:45:37Z)
• Practical One-Shot Federated Learning for Cross-Silo Setting [114.76232507580067]
  ワンショット・フェデレーション・ラーニングは、クロスサイロ環境でフェデレーション・ラーニングを適用するための有望なアプローチである。 本稿では,FedKTという,実践的なワンショットフェデレーション学習アルゴリズムを提案する。 知識伝達技術を利用することで、FedKTは任意の分類モデルに適用でき、フレキシブルに差分プライバシー保証を達成できる。
  論文  参考訳（メタデータ） (2020-10-02T14:09:10Z)
• Federated Residual Learning [53.77128418049985]
  クライアントはローカルモデルを個別に訓練し、サーバ側で共有するモデルと共同で予測を行う。 この新しいフェデレートされた学習フレームワークを使用することで、統合トレーニングが提供するパフォーマンス上のメリットをすべて享受しながら、中央共有モデルの複雑さを最小限にすることができる。
  論文  参考訳（メタデータ） (2020-03-28T19:55:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。