論文の概要: Federated Learning for Diffusion Models

• arxiv url: http://arxiv.org/abs/2503.06426v1
• Date: Sun, 09 Mar 2025 03:41:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 15:50:26.242879
• Title: Federated Learning for Diffusion Models
• Title（参考訳）: 拡散モデルのためのフェデレーション学習
• Authors: Zihao Peng, Xijun Wang, Shengbo Chen, Hong Rao, Cong Shen,
• Abstract要約: 拡散モデルは、様々なタスクに対して非常に現実的なサンプルを生成することができる強力な生成モデルである。 拡散確率モデルを用いたFedDDPM-Federated Learningを提案する。 本稿では、FedDDPMの厳密な収束解析を行い、トレーニングオーバーヘッドを低減するための強化アルゴリズムであるFedDDPM+を提案する。
• 参考スコア（独自算出の注目度）: 12.46092849473786
• License:
• Abstract: Diffusion models are powerful generative models that can produce highly realistic samples for various tasks. Typically, these models are constructed using centralized, independently and identically distributed (IID) training data. However, in practical scenarios, data is often distributed across multiple clients and frequently manifests non-IID characteristics. Federated Learning (FL) can leverage this distributed data to train diffusion models, but the performance of existing FL methods is unsatisfactory in non-IID scenarios. To address this, we propose FedDDPM-Federated Learning with Denoising Diffusion Probabilistic Models, which leverages the data generative capability of diffusion models to facilitate model training. In particular, the server uses well-trained local diffusion models uploaded by each client before FL training to generate auxiliary data that can approximately represent the global data distribution. Following each round of model aggregation, the server further optimizes the global model using the auxiliary dataset to alleviate the impact of heterogeneous data on model performance. We provide a rigorous convergence analysis of FedDDPM and propose an enhanced algorithm, FedDDPM+, to reduce training overheads. FedDDPM+ detects instances of slow model learning and performs a one-shot correction using the auxiliary dataset. Experimental results validate that our proposed algorithms outperform the state-of-the-art FL algorithms on the MNIST, CIFAR10 and CIFAR100 datasets.
• Abstract（参考訳）: 拡散モデルは、様々なタスクに対して非常に現実的なサンプルを生成することができる強力な生成モデルである。 通常、これらのモデルは集中型、独立型、同一分散(IID)トレーニングデータを用いて構築される。 しかし、実際的なシナリオでは、データは複数のクライアントに分散し、非IID特性を示すことが多い。 Federated Learning (FL)はこの分散データを利用して拡散モデルを訓練するが、既存のFLメソッドのパフォーマンスは非IIDシナリオでは不十分である。 これを解決するために,拡散モデルのデータ生成能力を活用してモデル学習を容易にするFedDDPM-Federated Learning with Denoising Diffusion Probabilistic Modelsを提案する。 特に、FLトレーニングの前に各クライアントがアップロードしたよく訓練された局所拡散モデルを使用して、大域的なデータ分布を概ね表現できる補助データを生成する。 モデルアグリゲーションの各ラウンドに続いて、サーバは補助データセットを使用してグローバルモデルをさらに最適化し、モデルパフォーマンスに対する異種データの影響を軽減する。 本稿では、FedDDPMの厳密な収束解析を行い、トレーニングオーバーヘッドを低減するための強化アルゴリズムであるFedDDPM+を提案する。 FedDDPM+は、遅いモデル学習のインスタンスを検出し、補助データセットを使用してワンショット補正を行う。 実験の結果,提案アルゴリズムはMNIST, CIFAR10, CIFAR100データセットにおいて,最先端のFLアルゴリズムよりも優れていることがわかった。

関連論文リスト

• FedCAR: Cross-client Adaptive Re-weighting for Generative Models in Federated Learning [3.7088276910640365]
  フェデレーション学習は、データセンター間で分散データセットをトレーニングするためのプライバシ保護ソリューションである。 FL内における生成モデルの性能向上を目的とした新しいアルゴリズムを提案する。 3つの公開胸部X線データセットの実験結果から,医用画像生成において優れた性能を示した。
  論文  参考訳（メタデータ） (2024-12-16T05:43:14Z)
• Constrained Diffusion Models via Dual Training [80.03953599062365]
  拡散プロセスは、トレーニングデータセットのバイアスを反映したサンプルを生成する傾向がある。 所望の分布に基づいて拡散制約を付与し,制約付き拡散モデルを構築する。 本稿では,制約付き拡散モデルを用いて,目的と制約の最適なトレードオフを実現する混合データ分布から新しいデータを生成することを示す。
  論文  参考訳（メタデータ） (2024-08-27T14:25:42Z)
• Model-Based Diffusion for Trajectory Optimization [8.943418808959494]
  データ無しで軌道最適化(TO)問題を解決するために拡散法を用いた最適化手法であるモデルベース拡散(MBD)を導入する。 MBDは外部データを必要としないが、様々な性質のデータと自然に統合して拡散過程を制御できる。 MBDは、最先端の強化学習とサンプリングベースのTOメソッドを上回り、コンタクトリッチなタスクに挑戦する。
  論文  参考訳（メタデータ） (2024-05-28T22:14:25Z)
• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• Leveraging Foundation Models to Improve Lightweight Clients in Federated Learning [16.684749528240587]
  Federated Learning(FL)は、世界中に散在するクライアントが機密データを漏らさずにグローバルモデルを共同で学習することを可能にする、分散トレーニングパラダイムである。 FLは、クライアント間での不均一なデータ分散という形で大きな課題に直面しており、パフォーマンスとロバスト性は低下している。 本稿では,軽量クライアントモデルの連合訓練を支援し,推論コストを低く抑えつつ,不均一なデータ設定下での性能を向上させる基礎モデル蒸留について紹介する。
  論文  参考訳（メタデータ） (2023-11-14T19:10:56Z)
• Phoenix: A Federated Generative Diffusion Model [6.09170287691728]
  大規模な集中型データセットで生成モデルをトレーニングすることで、データのプライバシやセキュリティ、アクセシビリティといった面での課題が発生する可能性がある。 本稿では,フェデレートラーニング(FL)技術を用いて,複数のデータソースにまたがる拡散確率モデル(DDPM)の学習手法を提案する。
  論文  参考訳（メタデータ） (2023-06-07T01:43:09Z)
• Diff-Instruct: A Universal Approach for Transferring Knowledge From Pre-trained Diffusion Models [77.83923746319498]
  本稿では,任意の生成モデルの学習を指導するDiff-Instructというフレームワークを提案する。 Diff-Instructは、最先端の単一ステップ拡散モデルであることを示す。 GANモデルの精製実験により、Diff-InstructはGANモデルの事前訓練されたジェネレータを一貫して改善できることが示されている。
  論文  参考訳（メタデータ） (2023-05-29T04:22:57Z)
• Learning from aggregated data with a maximum entropy model [73.63512438583375]
  我々は,観測されていない特徴分布を最大エントロピー仮説で近似することにより,ロジスティック回帰と類似した新しいモデルが,集約データからのみ学習されることを示す。 我々は、この方法で学習したモデルが、完全な非凝集データでトレーニングされたロジスティックモデルに匹敵するパフォーマンスを達成することができるという、いくつかの公開データセットに関する実証的な証拠を提示する。
  論文  参考訳（メタデータ） (2022-10-05T09:17:27Z)
• FedDM: Iterative Distribution Matching for Communication-Efficient Federated Learning [87.08902493524556]
  フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。 我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。 そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
  論文  参考訳（メタデータ） (2022-07-20T04:55:18Z)
• Federated Multi-Task Learning under a Mixture of Distributions [10.00087964926414]
  Federated Learning(FL)は、機械学習モデルのデバイス上での協調トレーニングのためのフレームワークである。 FLにおける最初の取り組みは、クライアント間で平均的なパフォーマンスを持つ単一のグローバルモデルを学ぶことに焦点を当てたが、グローバルモデルは、与えられたクライアントに対して任意に悪いかもしれない。 我々は,各局所データ分布が未知の基底分布の混合であるというフレキシブルな仮定の下で,フェデレーションMTLについて検討した。
  論文  参考訳（メタデータ） (2021-08-23T15:47:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。