論文の概要: FedDEO: Description-Enhanced One-Shot Federated Learning with Diffusion Models

• arxiv url: http://arxiv.org/abs/2407.19953v1
• Date: Mon, 29 Jul 2024 12:40:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-30 13:46:37.903234
• Title: FedDEO: Description-Enhanced One-Shot Federated Learning with Diffusion Models
• Title（参考訳）: FedDEO: 拡散モデルによる説明強化ワンショットフェデレーション学習
• Authors: Mingzhao Yang, Shangchao Su, Bin Li, Xiangyang Xue,
• Abstract要約: FedDEOは、DMを用いた記述強化ワンショットフェデレート学習手法である。 私たちは、分散クライアントの知識をサーバに転送する媒体として、クライアントのローカル記述をトレーニングします。 サーバ上では、合成データセットの生成においてDMをガイドする条件として記述が使用される。
• 参考スコア（独自算出の注目度）: 40.83058938096914
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, the attention towards One-Shot Federated Learning (OSFL) has been driven by its capacity to minimize communication. With the development of the diffusion model (DM), several methods employ the DM for OSFL, utilizing model parameters, image features, or textual prompts as mediums to transfer the local client knowledge to the server. However, these mediums often require public datasets or the uniform feature extractor, significantly limiting their practicality. In this paper, we propose FedDEO, a Description-Enhanced One-Shot Federated Learning Method with DMs, offering a novel exploration of utilizing the DM in OSFL. The core idea of our method involves training local descriptions on the clients, serving as the medium to transfer the knowledge of the distributed clients to the server. Firstly, we train local descriptions on the client data to capture the characteristics of client distributions, which are then uploaded to the server. On the server, the descriptions are used as conditions to guide the DM in generating synthetic datasets that comply with the distributions of various clients, enabling the training of the aggregated model. Theoretical analyses and sufficient quantitation and visualization experiments on three large-scale real-world datasets demonstrate that through the training of local descriptions, the server is capable of generating synthetic datasets with high quality and diversity. Consequently, with advantages in communication and privacy protection, the aggregated model outperforms compared FL or diffusion-based OSFL methods and, on some clients, outperforms the performance ceiling of centralized training.
• Abstract（参考訳）: 近年,One-Shot Federated Learning (OSFL) への注目は,コミュニケーションを最小化する能力に支えられている。 拡散モデル(DM)の開発に伴い、いくつかの手法がOSFLのDMを使用し、モデルパラメータ、画像特徴、テキストプロンプトを媒体として、ローカルクライアントの知識をサーバに転送する。 しかし、これらの媒体は、しばしば公開データセットや一様特徴抽出器を必要とし、実用性を大幅に制限する。 本稿では, DMを用いた記述強化ワンショットフェデレート学習手法であるFedDEOを提案する。 本手法の中核となる考え方は,分散クライアントの知識をサーバに転送する媒体として,クライアント上でのローカル記述のトレーニングである。 まず、クライアントデータ上のローカル記述をトレーニングし、クライアント分布の特徴をキャプチャし、それをサーバにアップロードする。 サーバ上では、様々なクライアントの分布に応じて合成データセットを生成する際にDMを誘導する条件として記述を使用し、集約されたモデルのトレーニングを可能にする。 大規模実世界の3つのデータセットに関する理論的分析と十分な定量化および可視化実験により、サーバは局所的な記述のトレーニングを通じて、高品質で多様な合成データセットを生成することができることを示した。 その結果、通信とプライバシ保護の利点により、集約されたモデルはFL法や拡散ベースのOSFL法よりも優れており、一部のクライアントでは集中トレーニングのパフォーマンス天井よりも優れています。

関連論文リスト

• Training Heterogeneous Client Models using Knowledge Distillation in Serverless Federated Learning [0.5510212613486574]
  Federated Learning(FL)は、分散クライアント間で共有グローバルモデルの協調トレーニングを可能にする、新興の機械学習パラダイムである。 効率的なFLのためのシステム設計に関する最近の研究は、サーバーレスコンピューティング技術を利用することで、リソース効率が向上し、トレーニングコストが削減され、データホルダの複雑なインフラストラクチャ管理負担が軽減されることを示した。
  論文  参考訳（メタデータ） (2024-02-11T20:15:52Z)
• One-Shot Federated Learning with Classifier-Guided Diffusion Models [44.604485649167216]
  ワンショット・フェデレーション・ラーニング (OSFL) は, 通信コストの低さから近年注目されている。 本稿では,OSFLに拡散モデルがもたらす新たな機会を探求し,FedCADOを提案する。 FedCADOはクライアントのディストリビューションに準拠したデータを生成し、その後、サーバ上で集約されたモデルをトレーニングします。
  論文  参考訳（メタデータ） (2023-11-15T11:11:25Z)
• Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
  フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。 FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。 そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-11-12T11:01:10Z)
• Exploring One-shot Semi-supervised Federated Learning with A Pre-trained Diffusion Model [40.83058938096914]
  我々は,フェデレート拡散にインスパイアされた半教師付き協調学習法であるFedDISCを提案する。 まず、ラベル付きサーバデータのプロトタイプを抽出し、これらのプロトタイプを用いてクライアントデータの擬似ラベルを予測する。 各カテゴリについて、クラスタセントロイドとドメイン固有の表現を計算し、それらの分布のセマンティックおよびスタイリスティックな情報を表す。 これらの表現はサーバに送信され、事前にトレーニングされたデータを使用して、クライアントの分布に応じて合成データセットを生成し、その上でグローバルモデルをトレーニングする。
  論文  参考訳（メタデータ） (2023-05-06T14:22:33Z)
• Visual Prompt Based Personalized Federated Learning [83.04104655903846]
  pFedPTと呼ばれる画像分類タスクのための新しいPFLフレームワークを提案し、クライアントのローカルデータ配信情報を暗黙的に表現するためにパーソナライズされた視覚的プロンプトを利用する。 CIFAR10とCIFAR100データセットの実験では、pFedPTは様々な設定でいくつかの最先端(SOTA)PFLアルゴリズムより優れていた。
  論文  参考訳（メタデータ） (2023-03-15T15:02:15Z)
• The Best of Both Worlds: Accurate Global and Personalized Models through Federated Learning with Data-Free Hyper-Knowledge Distillation [17.570719572024608]
  FedHKD (Federated Hyper-Knowledge Distillation) は、クライアントがローカルモデルを訓練するために知識蒸留に依存する新しいFLアルゴリズムである。 他のKDベースのpFLメソッドとは異なり、FedHKDはパブリックデータセットに依存したり、サーバに生成モデルをデプロイしたりしない。 さまざまなシナリオにおける視覚的データセットに関する広範な実験を行い、FedHKDがパーソナライズおよびグローバルモデルパフォーマンスの両方において、大幅な改善を提供することを示した。
  論文  参考訳（メタデータ） (2023-01-21T16:20:57Z)
• Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。 本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-20T10:49:22Z)
• Meta Knowledge Condensation for Federated Learning [65.20774786251683]
  既存のフェデレートされた学習パラダイムは通常、より強力なモデルを達成するために、中央の解決器で分散モデルを広範囲に交換する。 これにより、特にデータ分散が不均一である場合、サーバと複数のクライアントの間で深刻な通信負荷が発生します。 既存のパラダイムとは違って,フェデレート学習におけるコミュニケーションコストを大幅に削減する新たな視点を導入する。
  論文  参考訳（メタデータ） (2022-09-29T15:07:37Z)
• FedDM: Iterative Distribution Matching for Communication-Efficient Federated Learning [87.08902493524556]
  フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。 我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。 そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
  論文  参考訳（メタデータ） (2022-07-20T04:55:18Z)
• Decentralized Federated Learning via Mutual Knowledge Transfer [37.5341683644709]
  分散型連合学習(DFL)は、モノのインターネット(IoT)システムにおける問題です。 現地のクライアントが学習した知識を相互に転送することでモデルを融合させる相互知識伝達(Def-KT)アルゴリズムを提案します。 MNIST, Fashion-MNIST, CIFAR10データセットに対する実験により,提案アルゴリズムがベースラインDFL法を著しく上回るデータセットを明らかにした。
  論文  参考訳（メタデータ） (2020-12-24T01:43:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。