論文の概要: Training Diffusion Models with Federated Learning

• arxiv url: http://arxiv.org/abs/2406.12575v1
• Date: Tue, 18 Jun 2024 13:02:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-19 18:58:07.409658
• Title: Training Diffusion Models with Federated Learning
• Title（参考訳）: フェデレーション学習による拡散モデルの訓練
• Authors: Matthijs de Goede, Bart Cox, Jérémie Decouchant,
• Abstract要約: 画像生成のための拡散ベースモデルのトレーニングは、一部のビッグテック企業によって主に制御されている。 本研究では,局所データを公開せずに拡散モデルの独立的かつ協調的な訓練を可能にする拡散モデル手法を提案する。
• 参考スコア（独自算出の注目度）: 0.7373617024876727
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: The training of diffusion-based models for image generation is predominantly controlled by a select few Big Tech companies, raising concerns about privacy, copyright, and data authority due to their lack of transparency regarding training data. To ad-dress this issue, we propose a federated diffusion model scheme that enables the independent and collaborative training of diffusion models without exposing local data. Our approach adapts the Federated Averaging (FedAvg) algorithm to train a Denoising Diffusion Model (DDPM). Through a novel utilization of the underlying UNet backbone, we achieve a significant reduction of up to 74% in the number of parameters exchanged during training,compared to the naive FedAvg approach, whilst simultaneously maintaining image quality comparable to the centralized setting, as evaluated by the FID score.
• Abstract（参考訳）: 画像生成のための拡散ベースのモデルのトレーニングは、主に一部のビッグテック企業によって制御され、トレーニングデータに関する透明性の欠如により、プライバシ、著作権、データ権限に対する懸念が高まります。 この問題に対処するために,ローカルデータを公開せずに拡散モデルの独立的かつ協調的な訓練を可能にするフェデレーション拡散モデルスキームを提案する。 提案手法はFedAvg(Federated Averaging)アルゴリズムに適応し,DDPM(Denoising Diffusion Model)を訓練する。 基礎となるUNetバックボーンの新規利用により、FIDスコアで評価された画像品質を同時に維持しながら、トレーニング中に交換されたパラメータの最大74%の削減を実現した。

関連論文リスト

• Constrained Diffusion Models via Dual Training [80.03953599062365]
  拡散プロセスは、トレーニングデータセットのバイアスを反映したサンプルを生成する傾向がある。 所望の分布に基づいて拡散制約を付与し,制約付き拡散モデルを構築する。 本稿では,制約付き拡散モデルを用いて,目的と制約の最適なトレードオフを実現する混合データ分布から新しいデータを生成することを示す。
  論文  参考訳（メタデータ） (2024-08-27T14:25:42Z)
• Learning Differentially Private Diffusion Models via Stochastic Adversarial Distillation [20.62325580203137]
  DP-SADは, 逆蒸留法により個人拡散モデルを訓練する。 画像の質を向上するために,画像が教師と学生のどちらであるかを識別する識別器を導入する。
  論文  参考訳（メタデータ） (2024-08-27T02:29:29Z)
• Data-Free Federated Class Incremental Learning with Diffusion-Based Generative Memory [27.651921957220004]
  拡散型生成メモリ(DFedDGM)を用いた新しいデータフリーフェデレーションクラスインクリメンタルラーニングフレームワークを提案する。 FLにおける一般の非IID問題を軽減するために拡散モデルの訓練を支援するために,新しいバランスの取れたサンプルを設計する。 また、情報理論の観点からエントロピーに基づくサンプルフィルタリング手法を導入し、生成サンプルの品質を向上させる。
  論文  参考訳（メタデータ） (2024-05-22T20:59:18Z)
• The Journey, Not the Destination: How Data Guides Diffusion Models [75.19694584942623]
  大規模なデータセットでトレーニングされた拡散モデルは、顕著な品質と多様性のフォトリアリスティックなイメージを合成することができる。 i)拡散モデルの文脈でデータ属性の形式的概念を提供し、(ii)そのような属性を反実的に検証することを可能にする枠組みを提案する。
  論文  参考訳（メタデータ） (2023-12-11T08:39:43Z)
• One-Shot Federated Learning with Classifier-Guided Diffusion Models [44.604485649167216]
  ワンショット・フェデレーション・ラーニング (OSFL) は, 通信コストの低さから近年注目されている。 本稿では,OSFLに拡散モデルがもたらす新たな機会を探求し,FedCADOを提案する。 FedCADOはクライアントのディストリビューションに準拠したデータを生成し、その後、サーバ上で集約されたモデルをトレーニングします。
  論文  参考訳（メタデータ） (2023-11-15T11:11:25Z)
• Phoenix: A Federated Generative Diffusion Model [6.09170287691728]
  大規模な集中型データセットで生成モデルをトレーニングすることで、データのプライバシやセキュリティ、アクセシビリティといった面での課題が発生する可能性がある。 本稿では,フェデレートラーニング(FL)技術を用いて,複数のデータソースにまたがる拡散確率モデル(DDPM)の学習手法を提案する。
  論文  参考訳（メタデータ） (2023-06-07T01:43:09Z)
• Training Diffusion Models with Reinforcement Learning [82.29328477109826]
  拡散モデルは、ログのような目的に近似して訓練される。 本稿では,下流目的のための拡散モデルを直接最適化するための強化学習手法について検討する。 本稿では,多段階決定問題としてデノベーションを行うことによって,ポリシー勾配アルゴリズムのクラスを実現する方法について述べる。
  論文  参考訳（メタデータ） (2023-05-22T17:57:41Z)
• Denoising Diffusion Autoencoders are Unified Self-supervised Learners [58.194184241363175]
  本稿では,拡散モデルにおけるネットワーク,すなわち拡散オートエンコーダ(DDAE)が,自己教師型学習者の統合であることを示す。 DDAEはすでに、補助エンコーダを使わずに、中間層内で線形分離可能な表現を強く学習している。 CIFAR-10 と Tiny-ImageNet の線形評価精度は95.9% と 50.0% である。
  論文  参考訳（メタデータ） (2023-03-17T04:20:47Z)
• Extracting Training Data from Diffusion Models [77.11719063152027]
  拡散モデルはトレーニングデータから個々の画像を記憶し,生成時に出力することを示す。 生成とフィルタのパイプラインを用いて、最先端のモデルから数千以上のトレーニング例を抽出する。 さまざまな設定で何百もの拡散モデルをトレーニングし、モデリングとデータ決定の違いがプライバシに与える影響を分析する。
  論文  参考訳（メタデータ） (2023-01-30T18:53:09Z)
• FedDM: Iterative Distribution Matching for Communication-Efficient Federated Learning [87.08902493524556]
  フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。 我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。 そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
  論文  参考訳（メタデータ） (2022-07-20T04:55:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。