論文の概要: FedDM: Enhancing Communication Efficiency and Handling Data Heterogeneity in Federated Diffusion Models
- arxiv url: http://arxiv.org/abs/2407.14730v1
- Date: Sat, 20 Jul 2024 02:54:41 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-23 21:14:02.688449
- Title: FedDM: Enhancing Communication Efficiency and Handling Data Heterogeneity in Federated Diffusion Models
- Title（参考訳）: FedDM:フェデレーション拡散モデルにおける通信効率の向上とデータ不均一性処理
- Authors: Jayneel Vora, Nader Bouacida, Aditya Krishnan, Prasant Mohapatra,
- Abstract要約: FedDMは拡散モデルの連合トレーニング用に設計された新しいトレーニングフレームワークである。
拡散モデルのバックボーンとしてU-Netアーキテクチャを利用するトレーニングアルゴリズムの組を提案する。
DDPMのFashionMNIST (28x28解像度), CIFAR-10 (32x32解像度), CelebA (64x64解像度), LDMのLSUN Church Outdoors (256x256解像度)について検討した。
- 参考スコア（独自算出の注目度）: 9.646249924704021
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce FedDM, a novel training framework designed for the federated training of diffusion models. Our theoretical analysis establishes the convergence of diffusion models when trained in a federated setting, presenting the specific conditions under which this convergence is guaranteed. We propose a suite of training algorithms that leverage the U-Net architecture as the backbone for our diffusion models. These include a basic Federated Averaging variant, FedDM-vanilla, FedDM-prox to handle data heterogeneity among clients, and FedDM-quant, which incorporates a quantization module to reduce the model update size, thereby enhancing communication efficiency across the federated network. We evaluate our algorithms on FashionMNIST (28x28 resolution), CIFAR-10 (32x32 resolution), and CelebA (64x64 resolution) for DDPMs, as well as LSUN Church Outdoors (256x256 resolution) for LDMs, focusing exclusively on the imaging modality. Our evaluation results demonstrate that FedDM algorithms maintain high generation quality across image resolutions. At the same time, the use of quantized updates and proximal terms in the local training objective significantly enhances communication efficiency (up to 4x) and model convergence, particularly in non-IID data settings, at the cost of increased FID scores (up to 1.75x).
- Abstract（参考訳）: 拡散モデルのフェデレーショントレーニング用に設計された新しいトレーニングフレームワークであるFedDMを紹介する。
我々の理論的解析は、この収束が保証される特定の条件を示す連邦環境で訓練されたときの拡散モデルの収束を確立する。
拡散モデルのバックボーンとしてU-Netアーキテクチャを利用するトレーニングアルゴリズムの組を提案する。
これらには、クライアント間のデータの均一性を扱うためのFedDM-vanilla、FedDM-prox、モデル更新サイズを減らすために量子化モジュールを組み込んだFedDM-quantなどが含まれる。
DDPMのFashionMNIST (28x28分解能), CIFAR-10 (32x32分解能), CelebA (64x64分解能), LDMのLSUN Church Outdoors (256x256分解能)のアルゴリズムについて検討した。
評価結果から,FedDMアルゴリズムは画像解像度をまたいだ高次品質を維持していることが示された。
同時に、局所訓練目標における量子化された更新と近項の使用は、通信効率(最大4倍)とモデル収束(特に非IIDデータ設定)をFIDスコア(最大1.75倍)のコストで著しく向上させる。
関連論文リスト
- Mitigating Embedding Collapse in Diffusion Models for Categorical Data [52.90687881724333]
我々は,学習を安定させる埋め込み空間内の連続拡散フレームワークであるCATDMを紹介する。
ベンチマーク実験により、CATDMは埋没崩壊を緩和し、FFHQ、LSUN教会、LSUNベッドルームにおいて優れた結果をもたらすことが示された。
論文 参考訳（メタデータ） (2024-10-18T09:12:33Z) - Steering Masked Discrete Diffusion Models via Discrete Denoising Posterior Prediction [88.65168366064061]
本稿では,確率論的推論の課題として,事前学習したMDMを操る作業を行う新しいフレームワークであるDDPPを紹介する。
私たちのフレームワークは、3つの新しい目標のファミリーにつながります。
Wet-lab Validation(ウェット・ラブ・バリデーション)を用いて,報酬最適化タンパク質配列の過渡的発現を観察する。
論文 参考訳（メタデータ） (2024-10-10T17:18:30Z) - Cross-conditioned Diffusion Model for Medical Image to Image Translation [22.020931436223204]
医用画像から画像への変換のためのクロスコンディショニング拡散モデル(CDM)を提案する。
まず、目的のモダリティの分布をモデル化するためのモダリティ固有表現モデル(MRM)を提案する。
そして、MDN(Modality-Decoupled Diffusion Network)を設計し、MRMから効率よく効果的に分布を学習する。
論文 参考訳（メタデータ） (2024-09-13T02:48:56Z) - Model Inversion Attacks Through Target-Specific Conditional Diffusion Models [54.69008212790426]
モデル反転攻撃(MIA)は、ターゲット分類器のトレーニングセットからプライベートイメージを再構築することを目的としており、それによってAIアプリケーションにおけるプライバシー上の懸念が高まる。
従来のGANベースのMIAは、GANの固有の欠陥と潜伏空間における最適化の偏りにより、劣った遺伝子的忠実度に悩まされる傾向にある。
これらの問題を緩和するために拡散モデル反転(Diff-MI)攻撃を提案する。
論文 参考訳（メタデータ） (2024-07-16T06:38:49Z) - Training Diffusion Models with Federated Learning [0.7373617024876727]
画像生成のための拡散ベースモデルのトレーニングは、一部のビッグテック企業によって主に制御されている。
本研究では,局所データを公開せずに拡散モデルの独立的かつ協調的な訓練を可能にする拡散モデル手法を提案する。
論文 参考訳（メタデータ） (2024-06-18T13:02:48Z) - FedDiff: Diffusion Model Driven Federated Learning for Multi-Modal and
Multi-Clients [32.59184269562571]
我々はFedDiffと呼ばれる多モード協調拡散学習フレームワークを提案する。
本フレームワークは,2つのモーダルデータをエンコーダの別々の分岐に入力するデュアルブランチ拡散モデル特徴抽出設定を確立する。
複数のクライアント間のプライベートかつ効率的なコミュニケーションの課題を考慮し、拡散モデルを連合学習コミュニケーション構造に組み込む。
論文 参考訳（メタデータ） (2023-11-16T02:29:37Z) - Over-the-Air Federated Learning and Optimization [52.5188988624998]
エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。
本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。
エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。
さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
論文 参考訳（メタデータ） (2023-10-16T05:49:28Z) - FedDM: Iterative Distribution Matching for Communication-Efficient
Federated Learning [87.08902493524556]
フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。
我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。
そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
論文 参考訳（メタデータ） (2022-07-20T04:55:18Z) - Fed-LAMB: Layerwise and Dimensionwise Locally Adaptive Optimization
Algorithm [24.42828071396353]
FL(Federated Learning)の新たなパラダイムでは、モバイルデバイスなどの大量のクライアントが、それぞれのデータに基づいてトレーニングされている。
低帯域幅のため、分散最適化手法は計算負荷をそれらのクライアントからサーバにシフトさせる必要がある。
我々は階層的なディープニューラルネットワークに基づく新しい学習手法であるFed-LAMBを提案する。
論文 参考訳（メタデータ） (2021-10-01T16:54:31Z) - Influence Estimation and Maximization via Neural Mean-Field Dynamics [60.91291234832546]
本稿では,ニューラル平均場(NMF)ダイナミクスを用いた新しい学習フレームワークを提案する。
我々のフレームワークは拡散ネットワークの構造とノード感染確率の進化を同時に学習することができる。
論文 参考訳（メタデータ） (2021-06-03T00:02:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。