論文の概要: Exploring One-shot Semi-supervised Federated Learning with A Pre-trained
Diffusion Model
- arxiv url: http://arxiv.org/abs/2305.04063v1
- Date: Sat, 6 May 2023 14:22:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-09 18:00:46.026921
- Title: Exploring One-shot Semi-supervised Federated Learning with A Pre-trained
Diffusion Model
- Title(参考訳): 事前学習拡散モデルによる一発半教師付きフェデレーション学習の探索
- Authors: Mingzhao Yang, Shangchao Su, Bin Li, Xiangyang Xue
- Abstract要約: フェデレートラーニング(Federated Learning)は、プライバシ保護のためのコラボレーティブラーニングアプローチである。
我々は,これらの課題に対処するためのフェデレーション学習に,強力な事前学習拡散モデルを導入し,FedDISCを提案する。
我々の手法は局所的な訓練を必要とせず、クライアントのフォワード推論のみを伴います。
- 参考スコア(独自算出の注目度): 42.59845771101823
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning is a privacy-preserving collaborative learning approach.
Recently, some studies have proposed the semi-supervised federated learning
setting to handle the commonly seen real-world scenarios with labeled data on
the server and unlabeled data on the clients. However, existing methods still
face challenges such as high communication costs, training pressure on the
client devices, and distribution differences among the server and the clients.
In this paper, we introduce the powerful pre-trained diffusion models into
federated learning and propose FedDISC, a Federated Diffusion Inspired
Semi-supervised Co-training method, to address these challenges. Specifically,
we first extract prototypes from the labeled data on the server and send them
to the clients. The clients then use these prototypes to predict pseudo-labels
of the local data, and compute the cluster centroids and domain-specific
features to represent their personalized distributions. After adding noise, the
clients send these features and their corresponding pseudo-labels back to the
server, which uses a pre-trained diffusion model to conditionally generate
pseudo-samples complying with the client distributions and train an aggregated
model on them. Our method does not require local training and only involves
forward inference on the clients. Our extensive experiments on DomainNet,
Openimage, and NICO++ demonstrate that the proposed FedDISC method effectively
addresses the one-shot semi-supervised problem on Non-IID clients and
outperforms the compared SOTA methods. We also demonstrate through
visualization that it is of neglectable possibility for FedDISC to leak
privacy-sensitive information of the clients.
- Abstract(参考訳): 連合学習(federated learning)は、プライバシ保護による協調学習アプローチである。
近年,サーバ上のラベル付きデータとクライアント上のラベルなしデータを用いた実世界のシナリオを扱うための,半教師付きフェデレーション学習環境が提案されている。
しかし、既存の手法では、通信コストの高騰、クライアント装置のトレーニング圧力、サーバとクライアント間の分散の違いといった課題に直面している。
本稿では,フェデレート学習に事前学習された強力な拡散モデルを導入し,フェデレート拡散に触発された半教師付き共学習法であるfeeddiscを提案する。
具体的には,まずサーバ上のラベル付きデータからプロトタイプを抽出し,クライアントに送信する。
クライアントはこれらのプロトタイプを使用して、ローカルデータの擬似ラベルを予測し、クラスタセントロイドとドメイン固有の特徴を計算して、パーソナライズされたディストリビューションを表現する。
ノイズを追加した後、クライアントはこれらの特徴と対応する擬似ラベルをサーバに送信し、事前にトレーニングされた拡散モデルを使用して、クライアントディストリビューションに準拠した擬似サンプルを生成し、それらを集約したモデルをトレーニングする。
我々の手法は局所的な訓練を必要とせず、クライアントのフォワード推論のみを伴います。
DomainNet, Openimage, NICO++ に関する広範な実験により,提案手法は,非IID クライアント上の一発半教師付き問題に効果的に対処し,比較した SOTA 手法より優れていることを示した。
また,feeddiscがクライアントのプライバシーに敏感な情報を漏らす可能性があることを可視化することで実証した。
関連論文リスト
- An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。
従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。
我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文 参考訳(メタデータ) (2024-04-29T05:55:23Z) - Lightweight Unsupervised Federated Learning with Pretrained Vision Language Model [32.094290282897894]
フェデレートラーニングは、物理的に孤立したクライアントから、ユーザのデータのプライバシを保護しながら、集合モデルをトレーニングすることを目的としている。
本稿では,各クライアントのラベルのないデータを活用して,軽量なモデルトレーニングとコミュニケーションを行う,軽量な非教師付きフェデレーション学習手法を提案する。
提案手法は,CLIPのゼロショット予測と比較してモデル性能を大幅に向上させるとともに,教師付きフェデレーション学習ベンチマーク手法よりも優れる。
論文 参考訳(メタデータ) (2024-04-17T03:42:48Z) - Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-22T02:12:08Z) - One-Shot Federated Learning with Classifier-Guided Diffusion Models [44.604485649167216]
ワンショット・フェデレーション・ラーニング (OSFL) は, 通信コストの低さから近年注目されている。
本稿では,OSFLに拡散モデルがもたらす新たな機会を探求し,FedCADOを提案する。
FedCADOはクライアントのディストリビューションに準拠したデータを生成し、その後、サーバ上で集約されたモデルをトレーニングします。
論文 参考訳(メタデータ) (2023-11-15T11:11:25Z) - Adapter-based Selective Knowledge Distillation for Federated
Multi-domain Meeting Summarization [36.916155654985936]
会議要約は、利用者に凝縮した要約を提供するための有望な手法として登場した。
本稿では,適応型選択的知識蒸留法(AdaFedSelecKD)を提案する。
論文 参考訳(メタデータ) (2023-08-07T03:34:01Z) - The Best of Both Worlds: Accurate Global and Personalized Models through
Federated Learning with Data-Free Hyper-Knowledge Distillation [17.570719572024608]
FedHKD (Federated Hyper-Knowledge Distillation) は、クライアントがローカルモデルを訓練するために知識蒸留に依存する新しいFLアルゴリズムである。
他のKDベースのpFLメソッドとは異なり、FedHKDはパブリックデータセットに依存したり、サーバに生成モデルをデプロイしたりしない。
さまざまなシナリオにおける視覚的データセットに関する広範な実験を行い、FedHKDがパーソナライズおよびグローバルモデルパフォーマンスの両方において、大幅な改善を提供することを示した。
論文 参考訳(メタデータ) (2023-01-21T16:20:57Z) - DYNAFED: Tackling Client Data Heterogeneity with Global Dynamics [60.60173139258481]
非イド分散データに対する局所訓練は、偏向局所最適化をもたらす。
自然な解決策は、サーバがデータ分散全体のグローバルなビューを持つように、すべてのクライアントデータをサーバに収集することです。
本稿では,データプライバシを損なうことなく,サーバ上でのグローバルな知識の収集と活用を図る。
論文 参考訳(メタデータ) (2022-11-20T06:13:06Z) - FedDM: Iterative Distribution Matching for Communication-Efficient
Federated Learning [87.08902493524556]
フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。
我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。
そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
論文 参考訳(メタデータ) (2022-07-20T04:55:18Z) - Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。
本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。
Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
論文 参考訳(メタデータ) (2021-04-27T18:23:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。