Fugu-MT 論文翻訳(概要): FedX: Unsupervised Federated Learning with Cross Knowledge Distillation

論文の概要: FedX: Unsupervised Federated Learning with Cross Knowledge Distillation

arxiv url: http://arxiv.org/abs/2207.09158v1
Date: Tue, 19 Jul 2022 09:56:44 GMT
ステータス: 処理完了
システム内更新日: 2022-07-20 13:26:53.258881
Title: FedX: Unsupervised Federated Learning with Cross Knowledge Distillation
Title（参考訳）: FedX: クロス知識蒸留による教師なしのフェデレーション学習
Authors: Sungwon Han, Sungwon Park, Fangzhao Wu, Sundong Kim, Chuhan Wu, Xing Xie and Meeyoung Cha
Abstract要約: FedXは教師なしのフェデレーション学習フレームワークである。分散化および異質なローカルデータからバイアスのない表現を学ぶ。フェデレートされた設定で、既存の教師なしアルゴリズムのアドオンモジュールとして使用できる。
参考スコア（独自算出の注目度）: 70.73383643450548
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper presents FedX, an unsupervised federated learning framework. Our model learns unbiased representation from decentralized and heterogeneous local data. It employs a two-sided knowledge distillation with contrastive learning as a core component, allowing the federated system to function without requiring clients to share any data features. Furthermore, its adaptable architecture can be used as an add-on module for existing unsupervised algorithms in federated settings. Experiments show that our model improves performance significantly (1.58--5.52pp) on five unsupervised algorithms.
Abstract（参考訳）: 本稿では、教師なしのフェデレーション学習フレームワークであるFedXについて述べる。我々のモデルは分散化および異種ローカルデータからバイアスのない表現を学習する。コントラスト学習をコアコンポーネントとする双方向の知識蒸留を採用しており、クライアントがデータ機能を共有することなくフェデレートされたシステムが機能する。さらに、その適応可能なアーキテクチャは、フェデレーション設定における既存の教師なしアルゴリズムのアドオンモジュールとして使用できる。実験により、5つの教師なしアルゴリズムの性能が大幅に向上した(1.58--5.52pp)。

関連論文リスト

FedClassAvg: Local Representation Learning for Personalized Federated Learning on Heterogeneous Neural Networks [21.613436984547917]
我々は、フェデレーション分類器平均化(FedClassAvg)と呼ばれる、新しいパーソナライズされたフェデレーション学習手法を提案する。 FedClassAvgは、特徴空間上の決定境界に関する合意として重みを集約する。異質なパーソナライズされたフェデレーション学習タスクにおいて、現在の最先端のアルゴリズムよりも優れた性能を示す。
論文参考訳（メタデータ） (2022-10-25T08:32:08Z)
Fed2: Feature-Aligned Federated Learning [32.54574459692627]
フェデレーション学習は、ローカルノードから協調モデルを融合させることで、散在するデータから学習する。我々は,Fed2を提案する。Fed2は,構造・機能整合性を確立することで,この問題を解決するための機能整合型学習フレームワークである。 Fed2は、広範囲な同種および異種設定下でのフェデレーション学習収束性能を効果的に向上させることができる。
論文参考訳（メタデータ） (2021-11-28T22:21:48Z)
No Fear of Heterogeneity: Classifier Calibration for Federated Learning with Non-IID Data [78.69828864672978]
実世界のフェデレーションシステムにおける分類モデルのトレーニングにおける中心的な課題は、非IIDデータによる学習である。このアルゴリズムは, 近似されたssian混合モデルからサンプリングした仮想表現を用いて分類器を調整する。実験の結果,CIFAR-10,CIFAR-100,CINIC-10など,一般的なフェデレーション学習ベンチマークにおけるCCVRの現状が示された。
論文参考訳（メタデータ） (2021-06-09T12:02:29Z)
BCFNet: A Balanced Collaborative Filtering Network with Attention Mechanism [106.43103176833371]
協調フィルタリング(CF)ベースの推奨方法が広く研究されている。 BCFNet(Balanced Collaborative Filtering Network)という新しい推薦モデルを提案する。さらに注意機構は、暗黙のフィードバックの中で隠れた情報をよりよく捉え、ニューラルネットワークの学習能力を強化するように設計されている。
論文参考訳（メタデータ） (2021-03-10T14:59:23Z)
Decentralized Federated Learning Preserves Model and Data Privacy [77.454688257702]
我々は、訓練されたモデル間で知識を共有することができる、完全に分散化されたアプローチを提案する。生徒は、合成された入力データを通じて教師の出力を訓練する。その結果,教師が学習した未学習学生モデルが,教師と同等のF1スコアに達することがわかった。
論文参考訳（メタデータ） (2021-02-01T14:38:54Z)
Toward Understanding the Influence of Individual Clients in Federated Learning [52.07734799278535]
フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。 em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
論文参考訳（メタデータ） (2020-12-20T14:34:36Z)
FedSemi: An Adaptive Federated Semi-Supervised Learning Framework [23.90642104477983]
フェデレートラーニング(FL)は、データを共有し、プライバシーを漏らすことなく、機械学習モデルをコトレーニングするための効果的なテクニックとして登場した。既存のFL法の多くは、教師付き設定に重点を置いて、ラベルなしデータの利用を無視している。本稿では,FedSemiを提案する。FedSemiは,教師-学生モデルを用いてFLに整合性正則化を導入する新しい,適応的で汎用的なフレームワークである。
論文参考訳（メタデータ） (2020-12-06T15:46:04Z)
Federated Learning System without Model Sharing through Integration of Dimensional Reduced Data Representations [6.9485501711137525]
本稿では,教師付き学習タスクに先立って,分散データの次元削減表現を統合可能なフェデレート学習システムを提案する。画像分類タスクにおけるこのアプローチのパフォーマンスを、集中型機械学習、個別機械学習、フェデレート平均化の3つのフレームワークと比較する。提案手法は,Federated Averagingと同等の精度で,小規模なユーザ環境でのFederated Averagingよりも優れていることを示す。
論文参考訳（メタデータ） (2020-11-13T08:12:00Z)
Federated Unsupervised Representation Learning [56.715917111878106]
フェデレート非教師表現学習(FURL)と呼ばれるフェデレーション学習における新しい問題を定式化し、教師なしの共通表現モデルを学習する。 FedCAは2つの主要なモジュールで構成されている: 辞書モジュールは、各クライアントからのサンプルの表現を集約し、表現空間の整合性のためにすべてのクライアントと共有し、アライメントモジュールは、公開データに基づいてトレーニングされたベースモデル上で各クライアントの表現を整合させる。
論文参考訳（メタデータ） (2020-10-18T13:28:30Z)
Robustness and Personalization in Federated Learning: A Unified Approach via Regularization [4.7234844467506605]
我々は、Fed+と呼ばれる堅牢でパーソナライズされたフェデレーション学習のための一連の方法を提案する。 Fed+の主な利点は、フェデレートトレーニングで見られる現実世界の特徴をよりよく適応することである。ベンチマークデータセットに関する広範な実験を通じて、Fed+の利点を実証する。
論文参考訳（メタデータ） (2020-09-14T10:04:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。