論文の概要: FedPhD: Federated Pruning with Hierarchical Learning of Diffusion Models

• arxiv url: http://arxiv.org/abs/2507.06449v1
• Date: Tue, 08 Jul 2025 23:24:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-10 17:37:43.417519
• Title: FedPhD: Federated Pruning with Hierarchical Learning of Diffusion Models
• Title（参考訳）: FedPhD:拡散モデルの階層的学習によるフェデレートプルーニング
• Authors: Qianyu Long, Qiyuan Wang, Christos Anagnostopoulos, Daning Bi,
• Abstract要約: Federated Learning (FL)は、分散クライアントのデータ上でモデルをトレーニングする。 高い通信コストやデータ不均一性といった課題は、トレーニングDMで継続する。 本稿では,FL環境下で効率的にDMを学習するためのFedPhDを提案する。
• 参考スコア（独自算出の注目度）: 5.5058010121503
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated Learning (FL), as a distributed learning paradigm, trains models over distributed clients' data. FL is particularly beneficial for distributed training of Diffusion Models (DMs), which are high-quality image generators that require diverse data. However, challenges such as high communication costs and data heterogeneity persist in training DMs similar to training Transformers and Convolutional Neural Networks. Limited research has addressed these issues in FL environments. To address this gap and challenges, we introduce a novel approach, FedPhD, designed to efficiently train DMs in FL environments. FedPhD leverages Hierarchical FL with homogeneity-aware model aggregation and selection policy to tackle data heterogeneity while reducing communication costs. The distributed structured pruning of FedPhD enhances computational efficiency and reduces model storage requirements in clients. Our experiments across multiple datasets demonstrate that FedPhD achieves high model performance regarding Fr\'echet Inception Distance (FID) scores while reducing communication costs by up to $88\%$. FedPhD outperforms baseline methods achieving at least a $34\%$ improvement in FID, while utilizing only $56\%$ of the total computation and communication resources.
• Abstract（参考訳）: 分散学習パラダイムとしてのフェデレートラーニング(FL)は、分散クライアントのデータ上でモデルをトレーニングする。 FLは様々なデータを必要とする高品質の画像生成装置である拡散モデル(DM)の分散トレーニングに特に有用である。 しかし、高い通信コストやデータ不均一性といった課題は、トランスフォーマーや畳み込みニューラルネットワークのトレーニングと同様の訓練DMで持続する。 FL環境では限定的な研究がなされている。 このギャップと課題に対処するために,FL環境下で効率的にDMを学習するための新しいアプローチであるFedPhDを導入する。 FedPhDは階層FLに同質性を考慮したモデルアグリゲーションと選択ポリシーを導入し、通信コストを低減しつつデータの不均一性に取り組む。 FedPhDの分散構造化プルーニングにより、計算効率が向上し、クライアントのモデルストレージ要求が低減される。 複数のデータセットを対象とした実験により,FedPhDはFr'echet Inception Distance(FID)スコアに関する高いモデル性能を達成し,通信コストを最大8.8%削減できることを示した。 FedPhD は、FID の少なくとも 34 % の改善を達成し、総計算と通信リソースの 56 % しか利用していないベースライン手法より優れている。

関連論文リスト

• FedMHO: Heterogeneous One-Shot Federated Learning Towards Resource-Constrained Edge Devices [12.08958206272527]
  フェデレートラーニング(FL)はエッジコンピューティングのシナリオにおいてますます採用され、多くの異種クライアントが制約や十分なリソースの下で運用されている。 ワンショットFLは通信オーバーヘッドを軽減するための有望なアプローチとして登場し、モデルヘテロジニアスFLはクライアント間の多様なコンピューティングリソースの問題を解決する。 本稿では,リソースに制約のあるデバイス上で,リソースに十分なクライアントと軽量な生成モデルに対して,詳細な分類モデルを活用するFedMHOという新しいFLフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-12T15:54:56Z)
• ProFe: Communication-Efficient Decentralized Federated Learning via Distillation and Prototypes [3.7340128675975173]
  分散フェデレーションラーニング(DFL)は、協力的かつプライバシー保護的な方法でモデルをトレーニングする。 本稿では,知識蒸留,プロトタイプ学習,量子化技術を組み合わせたDFLのための新しい通信最適化アルゴリズムであるProFeを紹介する。
  論文  参考訳（メタデータ） (2024-12-15T14:49:29Z)
• Training Heterogeneous Client Models using Knowledge Distillation in Serverless Federated Learning [0.5510212613486574]
  Federated Learning(FL)は、分散クライアント間で共有グローバルモデルの協調トレーニングを可能にする、新興の機械学習パラダイムである。 効率的なFLのためのシステム設計に関する最近の研究は、サーバーレスコンピューティング技術を利用することで、リソース効率が向上し、トレーニングコストが削減され、データホルダの複雑なインフラストラクチャ管理負担が軽減されることを示した。
  論文  参考訳（メタデータ） (2024-02-11T20:15:52Z)
• A Survey on Efficient Federated Learning Methods for Foundation Model Training [62.473245910234304]
  フェデレーテッド・ラーニング(FL)は、多数のクライアントにわたるプライバシー保護協調トレーニングを促進するための確立した技術となっている。 Foundation Models (FM)の後、多くのディープラーニングアプリケーションでは現実が異なる。 FLアプリケーションに対するパラメータ効率細調整(PEFT)の利点と欠点について論じる。
  論文  参考訳（メタデータ） (2024-01-09T10:22:23Z)
• Analysis and Optimization of Wireless Federated Learning with Data Heterogeneity [72.85248553787538]
  本稿では、データの不均一性を考慮した無線FLの性能解析と最適化と、無線リソース割り当てについて述べる。 ロス関数の最小化問題を、長期エネルギー消費と遅延の制約の下で定式化し、クライアントスケジューリング、リソース割り当て、ローカルトレーニングエポック数(CRE)を共同で最適化する。 実世界のデータセットの実験により、提案アルゴリズムは学習精度とエネルギー消費の点で他のベンチマークよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-08-04T04:18:01Z)
• FedDM: Iterative Distribution Matching for Communication-Efficient Federated Learning [87.08902493524556]
  フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。 我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。 そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
  論文  参考訳（メタデータ） (2022-07-20T04:55:18Z)
• Communication-Efficient Diffusion Strategy for Performance Improvement of Federated Learning with Non-IID Data [10.994226932599403]
  非IIDデータを用いたグローバルモデルの性能を最大化するために,機械学習モデル(FedDif)の新たな拡散戦略を提案する。 FedDifはトップ1テストの精度を最大34.89%改善し、通信コストを最大63.49%まで14.6%削減した。
  論文  参考訳（メタデータ） (2022-07-15T14:28:41Z)
• Heterogeneous Federated Learning via Grouped Sequential-to-Parallel Training [60.892342868936865]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ保護のためのコラボレーション機械学習パラダイムである。 本稿では,この課題に対処するため,データヘテロジニアス・ロバストFLアプローチであるFedGSPを提案する。 その結果,FedGSPは7つの最先端アプローチと比較して平均3.7%の精度向上を実現していることがわかった。
  論文  参考訳（メタデータ） (2022-01-31T03:15:28Z)
• Dynamic Attention-based Communication-Efficient Federated Learning [85.18941440826309]
  フェデレートラーニング(FL)は、グローバル機械学習モデルをトレーニングするためのソリューションを提供する。 FLは、クライアントデータの分散が非IIDであるときに性能劣化に悩まされる。 本稿では,この劣化に対処するために,新しい適応トレーニングアルゴリズムであるtextttAdaFL$を提案する。
  論文  参考訳（メタデータ） (2021-08-12T14:18:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。