論文の概要: Heterogeneous Decentralized Diffusion Models

• arxiv url: http://arxiv.org/abs/2603.06741v1
• Date: Fri, 06 Mar 2026 08:43:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-10 15:13:13.012769
• Title: Heterogeneous Decentralized Diffusion Models
• Title（参考訳）: 不均一分散拡散モデル
• Authors: Zhiying Jiang, Raihan Seraj, Marcos Villagra, Bidhan Roy,
• Abstract要約: フロンティアスケールの拡散モデルの訓練には、しばしば密結合クラスタに集中した相当な計算資源を必要とする。 不均一なトレーニング目標をサポートしながら、リソース要求を削減できる効率的なフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 11.120199309935435
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training frontier-scale diffusion models often requires substantial computational resources concentrated in tightly coupled clusters, limiting participation to well-resourced institutions. While Decentralized Diffusion Models (DDM) enable training multiple experts in isolation, existing approaches require 1176 GPU-days and homogeneous training objectives across all experts. We present an efficient framework that reduces resource requirements while supporting heterogeneous training objectives. Our approach combines three contributions: (1) a heterogeneous decentralized training paradigm that allows experts to use different objectives (DDPM and Flow Matching), unified at inference time via a deterministic schedule-aware conversion into a common velocity space without retraining; (2) pretrained checkpoint conversion from ImageNet-DDPM to Flow Matching objectives, accelerating convergence and enabling initialization without objective-specific pretraining; and (3) PixArt-alpha's efficient AdaLN-Single architecture, reducing parameters while maintaining quality. Experiments on LAION-Aesthetics show that, relative to the training scale reported for prior DDM work, our approach reduces compute from 1176 to 72 GPU-days (16x) and data from 158M to 11M (14x). Under aligned inference settings, our heterogeneous 2DDPM:6FM configuration achieves better FID (11.88 vs. 12.45) and higher intra-prompt diversity (LPIPS 0.631 vs. 0.617) than the homogeneous 8FM baseline. By eliminating synchronization requirements and enabling mixed DDPM/FM objectives, our framework lowers infrastructure requirements for decentralized generative model training.
• Abstract（参考訳）: フロンティアスケールの拡散モデルの訓練は、しばしば、密結合されたクラスタに集中し、十分なリソースを持つ機関への参加を制限する、実質的な計算資源を必要とする。 Decentralized Diffusion Models(DDM)は、複数の専門家を独立してトレーニング可能にする一方で、既存のアプローチでは、すべての専門家に対して1176のGPU日と均質なトレーニング目標が必要である。 不均一なトレーニング目標をサポートしながら、リソース要求を削減できる効率的なフレームワークを提案する。 提案手法は,(1)異なる目的 (DDPM と Flow Matching ) を専門家が利用し,決定論的スケジュールを意識した推論時間で再トレーニングせずに共通速度空間に統一するヘテロジニアスな分散トレーニングパラダイム,(2)ImageNet-DDPM から Flow Matching への事前学習チェックポイント変換,収束の促進と目標固有の事前トレーニングなしでの初期化を可能にすること,(3) PixArt-alpha の効率的な AdaLN-Single アーキテクチャ, 品質を維持しながらパラメーターを削減すること,の3つを組み合わせたものである。 LAION-Aestheticsの実験では、従来のDDM作業で報告されたトレーニングスケールと比較して、計算量は1176日から72GPU日(16x)に減少し、データは158Mから1M(14x)に減少した。 不均一な2DDPM:6FM構成は、同質な8FMベースラインよりも優れたFID(11.88 vs. 12.45)と高いプロンプト内多様性(LPIPS 0.631 vs. 0.617)を達成する。 本フレームワークは、同期要求を排除し、DDPM/FMの混在を可能とすることにより、分散生成モデルトレーニングのためのインフラ要件を低くする。

関連論文リスト

• Decentralized Diffusion Models [53.89995588977048]
  大規模なAIモデルトレーニングでは、数千のGPU間で作業が分割され、各ステップでグラデーションが同期される。 これにより、集中型のモノリシッククラスタしかサポートできない、ネットワークの重大な負担が発生する。 独立クラスタ間で拡散モデルのトレーニングを分散するスケーラブルなフレームワークである分散拡散モデルを提案する。
  論文  参考訳（メタデータ） (2025-01-09T18:59:56Z)
• Adaptive Training Meets Progressive Scaling: Elevating Efficiency in Diffusion Models [52.1809084559048]
  TDCトレーニングと呼ばれる新しい2段階分割型トレーニング戦略を提案する。 タスクの類似性と難易度に基づいてタイムステップをグループ化し、高度にカスタマイズされた復調モデルを各グループに割り当て、拡散モデルの性能を向上させる。 2段階のトレーニングでは、各モデルを個別にトレーニングする必要がなくなるが、総トレーニングコストは、単一の統合されたデノナイジングモデルをトレーニングするよりもさらに低い。
  論文  参考訳（メタデータ） (2023-12-20T03:32:58Z)
• Simplifying Distributed Neural Network Training on Massive Graphs: Randomized Partitions Improve Model Aggregation [23.018715954992352]
  本稿では、前述のコスト操作に依存しない分散GNNトレーニングのための簡易フレームワークを提案する。 具体的には,トレーニンググラフの局所的に利用可能な部分の局所モデルを非同期に学習する独立したトレーナーを編成する。 最大13億エッジのソーシャルおよびeコマースネットワークの実験において、提案したRandomTMAおよびSuperTMAアプローチは、最速のベースラインと比較して最先端のパフォーマンスと2.31倍のスピードアップを達成する。
  論文  参考訳（メタデータ） (2023-05-17T01:49:44Z)
• Asynchronous Decentralized Federated Lifelong Learning for Landmark Localization in Medical Imaging [13.985136866888379]
  非同期分散型生涯学習(ADFLL)の新たな手法を提案する。 ADFLLは、中央ノードや同期トレーニングを必要とせずに、複数のタスクを同時にトレーニングできる。 左室局所化のための脳腫瘍セグメンテーションデータセットに優れた性能を示した。
  論文  参考訳（メタデータ） (2023-03-12T23:51:51Z)
• Decentralized Training of Foundation Models in Heterogeneous Environments [77.47261769795992]
  GPT-3 や PaLM のようなトレーニング基盤モデルは、非常に高価である。 ヘテロジニアスネットワーク上での分散型システムにおけるモデル並列化を用いた大規模基盤モデルのトレーニングに関する最初の研究について述べる。
  論文  参考訳（メタデータ） (2022-06-02T20:19:51Z)
• Adaptive Serverless Learning [114.36410688552579]
  本研究では,データから学習率を動的に計算できる適応型分散学習手法を提案する。 提案アルゴリズムは, 作業者数に対して線形高速化が可能であることを示す。 通信効率のオーバーヘッドを低減するため,通信効率のよい分散訓練手法を提案する。
  論文  参考訳（メタデータ） (2020-08-24T13:23:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。