Fugu-MT 論文翻訳(概要): Decentralized Diffusion Models

論文の概要: Decentralized Diffusion Models

arxiv url: http://arxiv.org/abs/2501.05450v2
Date: Fri, 10 Jan 2025 18:58:11 GMT
ステータス: 翻訳完了
システム内更新日: 2025-01-13 12:07:35.818901
Title: Decentralized Diffusion Models
Title（参考訳）: 分散拡散モデル
Authors: David McAllister, Matthew Tancik, Jiaming Song, Angjoo Kanazawa,
Abstract要約: 大規模なAIモデルトレーニングでは、数千のGPU間で作業が分割され、各ステップでグラデーションが同期される。これにより、集中型のモノリシッククラスタしかサポートできない、ネットワークの重大な負担が発生する。独立クラスタ間で拡散モデルのトレーニングを分散するスケーラブルなフレームワークである分散拡散モデルを提案する。
参考スコア（独自算出の注目度）: 53.89995588977048
License:
Abstract: Large-scale AI model training divides work across thousands of GPUs, then synchronizes gradients across them at each step. This incurs a significant network burden that only centralized, monolithic clusters can support, driving up infrastructure costs and straining power systems. We propose Decentralized Diffusion Models, a scalable framework for distributing diffusion model training across independent clusters or datacenters by eliminating the dependence on a centralized, high-bandwidth networking fabric. Our method trains a set of expert diffusion models over partitions of the dataset, each in full isolation from one another. At inference time, the experts ensemble through a lightweight router. We show that the ensemble collectively optimizes the same objective as a single model trained over the whole dataset. This means we can divide the training burden among a number of "compute islands," lowering infrastructure costs and improving resilience to localized GPU failures. Decentralized diffusion models empower researchers to take advantage of smaller, more cost-effective and more readily available compute like on-demand GPU nodes rather than central integrated systems. We conduct extensive experiments on ImageNet and LAION Aesthetics, showing that decentralized diffusion models FLOP-for-FLOP outperform standard diffusion models. We finally scale our approach to 24 billion parameters, demonstrating that high-quality diffusion models can now be trained with just eight individual GPU nodes in less than a week.
Abstract（参考訳）: 大規模なAIモデルトレーニングでは、数千のGPU間で作業が分割され、各ステップでグラデーションが同期される。これにより、集中型でモノリシックなクラスタのみがサポートでき、インフラストラクチャコストを削減し、電力系統を歪ませることのできる、ネットワークの重大な負担が発生する。独立クラスタやデータセンタに分散モデルのトレーニングを分散するスケーラブルなフレームワークである分散拡散モデルを提案する。提案手法は,データセットの分割に対して専門的な拡散モデルのセットを訓練し,それぞれが互いに完全に分離する。推測時には、専門家が軽量ルータをアンサンブルする。アンサンブルは、データセット全体にわたってトレーニングされた単一のモデルと同じ目的を総合的に最適化することを示す。つまり、トレーニングの負担を複数の“コンピュートアイランド”に分散し、インフラストラクチャコストを削減し、ローカライズされたGPU障害に対するレジリエンスを改善することができるのです。分散拡散モデルにより、研究者は中央統合システムではなく、オンデマンドGPUノードのような、より小さく、より費用効率が高く、より容易に利用できる計算を活用できるようになる。我々はImageNetとLAION Aestheticsの広範な実験を行い、分散拡散モデルFLOP-for-FLOPが標準拡散モデルより優れていることを示す。最終的に、我々のアプローチを24億のパラメータに拡張し、高品質な拡散モデルを1週間未満で8個のGPUノードでトレーニングできることを実証しました。

関連論文リスト

Flexiffusion: Segment-wise Neural Architecture Search for Flexible Denoising Schedule [50.260693393896716]
拡散モデル(diffusion model)は、多様な高品質な画像を生成するのに適した最先端の生成モデルである。近年,より高速な生成プロセスの自動探索技術が採用されている。拡散モデルの高速化を目的とした新しいトレーニングフリーNASパラダイムであるFlexiffusionを紹介する。
論文参考訳（メタデータ） (2024-09-26T06:28:05Z)
Constrained Diffusion Models via Dual Training [80.03953599062365]
拡散プロセスは、トレーニングデータセットのバイアスを反映したサンプルを生成する傾向がある。所望の分布に基づいて拡散制約を付与し,制約付き拡散モデルを構築する。本稿では,制約付き拡散モデルを用いて,目的と制約の最適なトレードオフを実現する混合データ分布から新しいデータを生成することを示す。
論文参考訳（メタデータ） (2024-08-27T14:25:42Z)
Guided Diffusion from Self-Supervised Diffusion Features [49.78673164423208]
ガイダンスは拡散モデルにおいて重要な概念として機能するが、その効果は追加のデータアノテーションや事前学習の必要性によって制限されることが多い。本稿では,拡散モデルからガイダンスを抽出するフレームワークを提案する。
論文参考訳（メタデータ） (2023-12-14T11:19:11Z)
NeFL: Nested Model Scaling for Federated Learning with System Heterogeneous Clients [44.89061671579694]
フェデレートラーニング(FL)は、データのプライバシを保ちながら分散トレーニングを可能にするが、ストラグラーのスローあるいは無効なクライアントは、トレーニング時間を大幅に短縮し、パフォーマンスを低下させる。深層ニューラルネットワークを深層スケールと幅ワイドスケーリングの両方を用いてサブモデルに効率的に分割するフレームワークであるネスト付きフェデレーションラーニング(NeFL)を提案する。 NeFLは、特に最低ケースのサブモデルでは、ベースラインアプローチに比べてパフォーマンスが向上する。
論文参考訳（メタデータ） (2023-08-15T13:29:14Z)
Fed-FSNet: Mitigating Non-I.I.D. Federated Learning via Fuzzy Synthesizing Network [19.23943687834319]
フェデレートラーニング(FL)は、将来性のあるプライバシ保護分散機械学習フレームワークとして登場した。我々は、Fed-FSNetと呼ばれる新しいFLトレーニングフレームワークを提案し、Fed-FSNet(Fed-FSNet)を適切に設計し、非I.I.D.のオープンソース問題を軽減する。
論文参考訳（メタデータ） (2022-08-21T18:40:51Z)
Supernet Training for Federated Image Classification under System Heterogeneity [15.2292571922932]
本研究では,2つのシナリオ,すなわちフェデレーション・オブ・スーパーネット・トレーニング(FedSup)を考えるための新しい枠組みを提案する。フェデレートラーニング(FL)のモデルアグリゲーション段階でのパラメータの平均化は、スーパーネットトレーニングにおけるウェイトシェアリングとどのように似ているかに着想を得ている。本フレームワークでは,通信コストの削減とトレーニングオーバーヘッドの低減のために,放送段階のクライアントにサブモデルを送信することで,効率的なアルゴリズム(E-FedSup)を提案する。
論文参考訳（メタデータ） (2022-06-03T02:21:01Z)
Decentralized Training of Foundation Models in Heterogeneous Environments [77.47261769795992]
GPT-3 や PaLM のようなトレーニング基盤モデルは、非常に高価である。ヘテロジニアスネットワーク上での分散型システムにおけるモデル並列化を用いた大規模基盤モデルのトレーニングに関する最初の研究について述べる。
論文参考訳（メタデータ） (2022-06-02T20:19:51Z)
Parallel Successive Learning for Dynamic Distributed Model Training over Heterogeneous Wireless Networks [50.68446003616802]
フェデレートラーニング(Federated Learning, FedL)は、一連の無線デバイスにモデルトレーニングを配布する一般的なテクニックとして登場した。我々は,FedLアーキテクチャを3次元に拡張した並列逐次学習(PSL)を開発した。我々の分析は、分散機械学習におけるコールド対ウォームアップモデルの概念とモデル慣性について光を当てている。
論文参考訳（メタデータ） (2022-02-07T05:11:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。