論文の概要: SPIRE: Conditional Personalization for Federated Diffusion Generative Models

• arxiv url: http://arxiv.org/abs/2506.12303v1
• Date: Sat, 14 Jun 2025 01:40:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-17 17:28:45.783878
• Title: SPIRE: Conditional Personalization for Federated Diffusion Generative Models
• Title（参考訳）: SPIRE:フェデレーション拡散生成モデルのための条件付きパーソナライズ
• Authors: Kaan Ozkara, Ruida Zhou, Suhas Diggavi,
• Abstract要約: Shared Backbone Personal Identity Representation Embeddings (SPIRE)は、FLで条件付き生成としてクライアント拡散ベースの生成をキャストするフレームワークである。 SPIREは、ネットワークを(i)人口レベルのスコア関数を学習する高容量なグローバルバックボーンと、(ii)ローカルデータ統計を符号化する軽量で学習可能なクライアント埋め込みに分解する。 我々の分析は、クライアントの埋め込みが共有スコアネットワークをパーソナライズするバイアスとしてどのように振舞うかを示唆している。
• 参考スコア（独自算出の注目度）: 7.8583640700306585
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in diffusion models have revolutionized generative AI, but their sheer size makes on device personalization, and thus effective federated learning (FL), infeasible. We propose Shared Backbone Personal Identity Representation Embeddings (SPIRE), a framework that casts per client diffusion based generation as conditional generation in FL. SPIRE factorizes the network into (i) a high capacity global backbone that learns a population level score function and (ii) lightweight, learnable client embeddings that encode local data statistics. This separation enables parameter efficient finetuning that touches $\leq 0.01\%$ of weights. We provide the first theoretical bridge between conditional diffusion training and maximum likelihood estimation in Gaussian mixture models. For a two component mixture we prove that gradient descent on the DDPM with respect to mixing weights loss recovers the optimal mixing weights and enjoys dimension free error bounds. Our analysis also hints at how client embeddings act as biases that steer a shared score network toward personalized distributions. Empirically, SPIRE matches or surpasses strong baselines during collaborative pretraining, and vastly outperforms them when adapting to unseen clients, reducing Kernel Inception Distance while updating only hundreds of parameters. SPIRE further mitigates catastrophic forgetting and remains robust across finetuning learning rate and epoch choices.
• Abstract（参考訳）: 拡散モデルの最近の進歩は、生成AIに革命をもたらしたが、その大きなサイズはデバイスをパーソナライズし、効果的なフェデレーション学習(FL)を実現することは不可能である。 FLにおける条件付き生成としてクライアント拡散ベース生成をキャストするフレームワークである共有バックボーン・パーソナリティ表現埋め込み(SPIRE)を提案する。 SPIREはネットワークを分解する 一 人口レベルスコア関数を学習する大域的バックボーン (ii) ローカルデータの統計データをエンコードする軽量で学習可能なクライアント埋め込み。 この分離により、$\leq 0.01\%$の重みに触れるパラメータ効率の良い微調整が可能になる。 ガウス混合モデルにおける条件拡散訓練と最大極大推定の間の最初の理論的ブリッジを提供する。 2成分混合の場合、DDPMの混合重み損失に対する勾配降下が最適混合重みを回復させ、次元自由誤差境界を満足することを示す。 我々の分析は、クライアントの埋め込みが共有スコアネットワークをパーソナライズするバイアスとしてどのように振舞うかを示唆している。 経験的に、SPIREは協調事前トレーニング中に強いベースラインをマッチまたは超過し、見知らぬクライアントに適応する際のパフォーマンスが大幅に向上し、Kernel Inception Distanceを減らし、数百のパラメータのみを更新する。 SPIREはさらに破滅的な忘れを緩和し、微調整された学習速度とエポックな選択で頑健なままである。

関連論文リスト

• FedCAR: Cross-client Adaptive Re-weighting for Generative Models in Federated Learning [3.7088276910640365]
  フェデレーション学習は、データセンター間で分散データセットをトレーニングするためのプライバシ保護ソリューションである。 FL内における生成モデルの性能向上を目的とした新しいアルゴリズムを提案する。 3つの公開胸部X線データセットの実験結果から,医用画像生成において優れた性能を示した。
  論文  参考訳（メタデータ） (2024-12-16T05:43:14Z)
• Collaborative and Efficient Personalization with Mixtures of Adaptors [5.195669033269619]
  Federated Low-Rank Adaptive Learning (FLoRAL)は、低ランクのアダプタを混在させることで、クライアントがグループをパーソナライズすることを可能にする。 FLoRALは、パーソナライズされたフェデレーション学習をマルチタスク学習問題として活用するモデルパラメータ化である。
  論文  参考訳（メタデータ） (2024-10-04T15:11:15Z)
• Model Inversion Attacks Through Target-Specific Conditional Diffusion Models [54.69008212790426]
  モデル反転攻撃(MIA)は、ターゲット分類器のトレーニングセットからプライベートイメージを再構築することを目的としており、それによってAIアプリケーションにおけるプライバシー上の懸念が高まる。 従来のGANベースのMIAは、GANの固有の欠陥と潜伏空間における最適化の偏りにより、劣った遺伝子的忠実度に悩まされる傾向にある。 これらの問題を緩和するために拡散モデル反転(Diff-MI)攻撃を提案する。
  論文  参考訳（メタデータ） (2024-07-16T06:38:49Z)
• FedSPU: Personalized Federated Learning for Resource-constrained Devices with Stochastic Parameter Update [0.27309692684728615]
  フェデレートラーニング(PFL)は、高ボリュームの非IDクライアントデータを処理するために、IoTアプリケーションに広く使用されている。 FedSPUはFederated Dropoutを平均7.57%上回っている。 早期停止方式を導入し、高精度を維持しながらトレーニング時間を24.8%から70.4%削減した。
  論文  参考訳（メタデータ） (2024-03-18T04:31:38Z)
• FedImpro: Measuring and Improving Client Update in Federated Learning [77.68805026788836]
  フェデレートラーニング(FL)モデルは、不均一なデータによって引き起こされるクライアントのドリフトを経験することが多い。 我々は、クライアントのドリフトに対する別の視点を示し、改善されたローカルモデルを生成することにより、それを緩和することを目指している。
  論文  参考訳（メタデータ） (2024-02-10T18:14:57Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。