論文の概要: DFDG: Data-Free Dual-Generator Adversarial Distillation for One-Shot Federated Learning
- arxiv url: http://arxiv.org/abs/2409.07734v2
- Date: Mon, 16 Sep 2024 08:18:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-17 12:29:39.803286
- Title: DFDG: Data-Free Dual-Generator Adversarial Distillation for One-Shot Federated Learning
- Title（参考訳）: DFDG: ワンショットフェデレーション学習のためのデータフリーデュアルジェネレータ逆変換
- Authors: Kangyang Luo, Shuai Wang, Yexuan Fu, Renrong Shao, Xiang Li, Yunshi Lan, Ming Gao, Jinlong Shu,
- Abstract要約: Federated Learning(FL)は、クライアントがグローバルモデルの協調トレーニングに共同で参加する分散機械学習スキームである。
単発FLのための新しいデータフリー二重発生器逆蒸留法(DFDG)を提案する。
DFDGは対角的に実行され、二重生成子訓練と二重モデル蒸留の2つの部分からなる。
- 参考スコア（独自算出の注目度）: 17.34783038347845
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Federated Learning (FL) is a distributed machine learning scheme in which clients jointly participate in the collaborative training of a global model by sharing model information rather than their private datasets. In light of concerns associated with communication and privacy, one-shot FL with a single communication round has emerged as a de facto promising solution. However, existing one-shot FL methods either require public datasets, focus on model homogeneous settings, or distill limited knowledge from local models, making it difficult or even impractical to train a robust global model. To address these limitations, we propose a new data-free dual-generator adversarial distillation method (namely DFDG) for one-shot FL, which can explore a broader local models' training space via training dual generators. DFDG is executed in an adversarial manner and comprises two parts: dual-generator training and dual-model distillation. In dual-generator training, we delve into each generator concerning fidelity, transferability and diversity to ensure its utility, and additionally tailor the cross-divergence loss to lessen the overlap of dual generators' output spaces. In dual-model distillation, the trained dual generators work together to provide the training data for updates of the global model. At last, our extensive experiments on various image classification tasks show that DFDG achieves significant performance gains in accuracy compared to SOTA baselines.
- Abstract（参考訳）: Federated Learning(FL)は、クライアントがプライベートデータセットではなくモデル情報を共有することで、グローバルモデルの協調トレーニングに共同で参加する分散機械学習スキームである。
コミュニケーションとプライバシに関する懸念から、単一のコミュニケーションラウンドを持つワンショットFLは、事実上有望なソリューションとして現れました。
しかし、既存のワンショットFL手法では、パブリックデータセット、同質な設定のモデル、あるいはローカルモデルから限られた知識を抽出する必要があるため、堅牢なグローバルモデルをトレーニングすることは困難または不可能である。
これらの制約に対処するため、単発FLのための新しいデータフリー二重生成器対逆蒸留法(DFDG)を提案し、この方法により、より広い局所モデルのトレーニング空間を2重生成器の訓練により探索することができる。
DFDGは対角的に実行され、二重生成子訓練と二重モデル蒸留の2つの部分から構成される。
デュアルジェネレータのトレーニングでは,各ジェネレータの忠実度,伝達性,多様性について検討し,両ジェネレータの出力空間の重なりを小さくするため,クロスディバージェンス損失を調整する。
二重モデル蒸留では、訓練された二重生成器が協力して、グローバルモデルの更新のためのトレーニングデータを提供する。
最後に,様々な画像分類タスクについて広範な実験を行ったところ,DFDGはSOTAベースラインに比べて精度が著しく向上していることがわかった。
関連論文リスト
- Federated Model Heterogeneous Matryoshka Representation Learning [33.04969829305812]
モデルヘテロジニアスフェデレーション学習(MteroFL)により、FLクライアントは、異種構造を持つモデルを分散的に訓練することができる。
既存の方法は、MteroFLサーバとクライアントモデルの間で知識を伝達するために、トレーニング損失に依存する。
本研究では,Matryoshkaモデルを用いた教師付き学習タスクのための新しい表現手法を提案する。
論文 参考訳（メタデータ） (2024-06-01T16:37:08Z) - Robust Training of Federated Models with Extremely Label Deficiency [84.00832527512148]
フェデレーション半教師付き学習(FSSL)は、ラベル不足を伴う分散データを用いて機械学習モデルを協調訓練するための強力なパラダイムとして登場した。
我々は,ラベル付きおよびラベルなしデータの異なる視点から洞察を提供することにより相互指導を強化するために,ツインサイトと呼ばれる新しいツインモデルパラダイムを提案する。
4つのベンチマークデータセットに関する包括的な実験は、Twin-sightが様々な実験環境において最先端の手法を著しく上回っていることを示す重要な証拠となる。
論文 参考訳（メタデータ） (2024-02-22T10:19:34Z) - pFedES: Model Heterogeneous Personalized Federated Learning with Feature
Extractor Sharing [19.403843478569303]
特徴抽出器の共有に基づくモデル・ヘテロジニアス・パーソナライズされたフェデレーション学習手法を提案する。
これは、各クライアントの異種局所モデルに小さな同種特徴抽出器を組み込む。
テスト精度は1.61%向上し、通信コストと計算コストをそれぞれ99.6%と82.9%削減した。
論文 参考訳（メタデータ） (2023-11-12T15:43:39Z) - Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。
FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。
そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
論文 参考訳（メタデータ） (2023-11-12T11:01:10Z) - DFRD: Data-Free Robustness Distillation for Heterogeneous Federated
Learning [20.135235291912185]
Federated Learning(FL)は、プライバシに制約のある分散機械学習パラダイムである。
本研究では,データヘテロジニアスおよびモデルヘテロジニアスFLシナリオにおいて,ロバストなグローバルモデルを学習するための新しいFL法(DFRD)を提案する。
論文 参考訳（メタデータ） (2023-09-24T04:29:22Z) - Diff-Instruct: A Universal Approach for Transferring Knowledge From
Pre-trained Diffusion Models [77.83923746319498]
本稿では,任意の生成モデルの学習を指導するDiff-Instructというフレームワークを提案する。
Diff-Instructは、最先端の単一ステップ拡散モデルであることを示す。
GANモデルの精製実験により、Diff-InstructはGANモデルの事前訓練されたジェネレータを一貫して改善できることが示されている。
論文 参考訳（メタデータ） (2023-05-29T04:22:57Z) - FedSiam-DA: Dual-aggregated Federated Learning via Siamese Network under
Non-IID Data [21.95009868875851]
フェデレートされた学習は、データアイランドに対処できるが、実際のアプリケーションで不均一なデータでトレーニングすることは依然として困難である。
本稿では,新しい二重集約型コントラスト学習手法であるFedSiam-DAを提案する。
論文 参考訳（メタデータ） (2022-11-17T09:05:25Z) - Fine-tuning Global Model via Data-Free Knowledge Distillation for
Non-IID Federated Learning [86.59588262014456]
フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。
サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。
私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
論文 参考訳（メタデータ） (2022-03-17T11:18:17Z) - FedH2L: Federated Learning with Model and Statistical Heterogeneity [75.61234545520611]
フェデレートラーニング(FL)は、分散参加者が個々のデータのプライバシを犠牲にすることなく、強力なグローバルモデルを集合的に学習することを可能にする。
我々はFedH2Lを導入し、これはモデルアーキテクチャに非依存であり、参加者間で異なるデータ分散に対して堅牢である。
パラメータや勾配を共有するアプローチとは対照的に、FedH2Lは相互蒸留に依存し、参加者間で共有シードセットの後方のみを分散的に交換する。
論文 参考訳（メタデータ） (2021-01-27T10:10:18Z) - Data-Free Knowledge Amalgamation via Group-Stack Dual-GAN [80.17705319689139]
複数のシングルタスク/マルチタスクの教師から,多タスクの学生ネットワークを構築するために,データフリーな知識アマルガメート戦略を提案する。
トレーニングデータを持たない提案手法は, フル教師付き手法と比較して, 驚くほど競争力のある結果が得られる。
論文 参考訳（メタデータ） (2020-03-20T03:20:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。