論文の概要: Phoenix: A Federated Generative Diffusion Model
- arxiv url: http://arxiv.org/abs/2306.04098v1
- Date: Wed, 7 Jun 2023 01:43:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-08 16:39:06.972930
- Title: Phoenix: A Federated Generative Diffusion Model
- Title(参考訳): phoenix: フェデレーション生成拡散モデル
- Authors: Fiona Victoria Stanley Jothiraj and Afra Mashhadi
- Abstract要約: 大規模な集中型データセットで生成モデルをトレーニングすることで、データのプライバシやセキュリティ、アクセシビリティといった面での課題が発生する可能性がある。
本稿では,フェデレートラーニング(FL)技術を用いて,複数のデータソースにまたがる拡散確率モデル(DDPM)の学習手法を提案する。
- 参考スコア(独自算出の注目度): 6.09170287691728
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Generative AI has made impressive strides in enabling users to create diverse
and realistic visual content such as images, videos, and audio. However,
training generative models on large centralized datasets can pose challenges in
terms of data privacy, security, and accessibility. Federated learning (FL) is
an approach that uses decentralized techniques to collaboratively train a
shared deep learning model while retaining the training data on individual edge
devices to preserve data privacy. This paper proposes a novel method for
training a Denoising Diffusion Probabilistic Model (DDPM) across multiple data
sources using FL techniques. Diffusion models, a newly emerging generative
model, show promising results in achieving superior quality images than
Generative Adversarial Networks (GANs). Our proposed method Phoenix is an
unconditional diffusion model that leverages strategies to improve the data
diversity of generated samples even when trained on data with statistical
heterogeneity or Non-IID (Non-Independent and Identically Distributed) data. We
demonstrate how our approach outperforms the default diffusion model in an FL
setting. These results indicate that high-quality samples can be generated by
maintaining data diversity, preserving privacy, and reducing communication
between data sources, offering exciting new possibilities in the field of
generative AI.
- Abstract(参考訳): Generative AIは、画像、ビデオ、オーディオなどの多様なリアルなビジュアルコンテンツを作成できるようにすることで、印象的な進歩を遂げた。
しかしながら、大規模な集中型データセットにおける生成モデルのトレーニングは、データのプライバシ、セキュリティ、アクセシビリティといった面で問題を引き起こす可能性がある。
フェデレーション・ラーニング(federated learning、fl)は、データプライバシを維持するために個々のエッジデバイスにトレーニングデータを保持しながら、共有ディープラーニングモデルを共同トレーニングするために分散技術を使用するアプローチである。
本稿では,FL手法を用いて複数のデータソースにまたがる拡散確率モデル(DDPM)の学習手法を提案する。
新たな生成モデルである拡散モデルは,GAN(Generative Adversarial Networks)よりも高品質な画像を実現する上で有望な結果を示す。
提案手法であるPhoenixは,統計的不均一性や非IID(非独立分散型および独立分散型)データを用いて訓練した場合でも,生成したサンプルのデータ多様性を改善するための戦略を利用する。
我々は,この手法がfl設定におけるデフォルト拡散モデルに勝ることを示す。
これらの結果は、データ多様性の維持、プライバシの保護、データソース間の通信の削減により、高品質なサンプルを生成できることを示している。
関連論文リスト
- Distribution-Aware Data Expansion with Diffusion Models [31.547348897780502]
分散認識拡散モデルに基づく効果的なデータ拡張フレームワークであるDistDiffを提案する。
分散一貫性のあるサンプルを生成する能力を示し,データ拡張タスクの大幅な改善を実現した。
論文 参考訳(メタデータ) (2024-03-11T14:07:53Z) - The Journey, Not the Destination: How Data Guides Diffusion Models [75.19694584942623]
大規模なデータセットでトレーニングされた拡散モデルは、顕著な品質と多様性のフォトリアリスティックなイメージを合成することができる。
i)拡散モデルの文脈でデータ属性の形式的概念を提供し、(ii)そのような属性を反実的に検証することを可能にする枠組みを提案する。
論文 参考訳(メタデータ) (2023-12-11T08:39:43Z) - Federated Learning Empowered by Generative Content [55.576885852501775]
フェデレートラーニング(FL)は、プライバシ保護方法でモデルのトレーニングに分散プライベートデータを活用可能にする。
本稿では,FedGCと呼ばれる新しいFLフレームワークを提案する。
我々は、さまざまなベースライン、データセット、シナリオ、モダリティをカバーする、FedGCに関する体系的な実証的研究を行う。
論文 参考訳(メタデータ) (2023-12-10T07:38:56Z) - One-Shot Federated Learning with Classifier-Guided Diffusion Models [44.604485649167216]
ワンショット・フェデレーション・ラーニング (OSFL) は, 通信コストの低さから近年注目されている。
本稿では,OSFLに拡散モデルがもたらす新たな機会を探求し,FedCADOを提案する。
FedCADOはクライアントのディストリビューションに準拠したデータを生成し、その後、サーバ上で集約されたモデルをトレーニングします。
論文 参考訳(メタデータ) (2023-11-15T11:11:25Z) - FedSym: Unleashing the Power of Entropy for Benchmarking the Algorithms
for Federated Learning [1.4656078321003647]
Federated Learning(FL)は、独立した学習者がデータをプライベートに処理する分散機械学習アプローチである。
現在普及しているデータ分割技術について検討し、その主な欠点を可視化する。
エントロピーと対称性を利用して「最も困難」かつ制御可能なデータ分布を構築する手法を提案する。
論文 参考訳(メタデータ) (2023-10-11T18:39:08Z) - DFRD: Data-Free Robustness Distillation for Heterogeneous Federated
Learning [20.135235291912185]
Federated Learning(FL)は、プライバシに制約のある分散機械学習パラダイムである。
本研究では,データヘテロジニアスおよびモデルヘテロジニアスFLシナリオにおいて,ロバストなグローバルモデルを学習するための新しいFL法(DFRD)を提案する。
論文 参考訳(メタデータ) (2023-09-24T04:29:22Z) - Improving Out-of-Distribution Robustness of Classifiers via Generative
Interpolation [56.620403243640396]
ディープニューラルネットワークは、独立かつ同一に分散されたデータ(すなわち、d)から学習する上で、優れたパフォーマンスを達成する。
しかし、アウト・オブ・ディストリビューション(OoD)データを扱う場合、その性能は著しく低下する。
多様なOoDサンプルを合成するために,複数のドメインから学習した生成モデルを融合するための生成補間法(Generative Interpolation)を開発した。
論文 参考訳(メタデータ) (2023-07-23T03:53:53Z) - Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。
これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。
パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
論文 参考訳(メタデータ) (2022-12-19T20:46:43Z) - A Survey on Generative Diffusion Model [75.93774014861978]
拡散モデルは、深層生成モデルの新たなクラスである。
時間を要する反復生成過程や高次元ユークリッド空間への閉じ込めなど、いくつかの制限がある。
本調査では,拡散モデルの向上を目的とした高度な手法を多数提示する。
論文 参考訳(メタデータ) (2022-09-06T16:56:21Z) - Implicit Data Augmentation Using Feature Interpolation for Diversified
Low-Shot Image Generation [11.4559888429977]
生成モデルのトレーニングは、低データ設定で容易に発散することができる。
そこで本研究では,安定したトレーニングと多様なサンプルの合成を容易にする,新しい暗黙的データ拡張手法を提案する。
論文 参考訳(メタデータ) (2021-12-04T23:55:46Z) - Negative Data Augmentation [127.28042046152954]
負のデータ拡張サンプルは、データ分散のサポートに関する情報を提供することを示す。
我々は、NDAを識別器の合成データの追加源として利用する新しいGAN訓練目標を提案する。
実験により,本手法で訓練したモデルでは,異常検出能力の向上とともに条件付き・条件付き画像生成の改善を実現している。
論文 参考訳(メタデータ) (2021-02-09T20:28:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。