論文の概要: Paris: A Decentralized Trained Open-Weight Diffusion Model

• arxiv url: http://arxiv.org/abs/2510.03434v1
• Date: Fri, 03 Oct 2025 18:53:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-07 16:52:59.041344
• Title: Paris: A Decentralized Trained Open-Weight Diffusion Model
• Title（参考訳）: パリ:分散学習型オープンウェイト拡散モデル
• Authors: Zhiying Jiang, Raihan Seraj, Marcos Villagra, Bidhan Roy,
• Abstract要約: 分散計算によって完全に事前訓練された最初の公開拡散モデルであるParisを提示する。 Paris氏は、インフラストラクチャを集中的に調整することなく、高品質のテキスト・ツー・イメージ生成が実現可能であることを実証している。
• 参考スコア（独自算出の注目度）: 11.120199309935435
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present Paris, the first publicly released diffusion model pre-trained entirely through decentralized computation. Paris demonstrates that high-quality text-to-image generation can be achieved without centrally coordinated infrastructure. Paris is open for research and commercial use. Paris required implementing our Distributed Diffusion Training framework from scratch. The model consists of 8 expert diffusion models (129M-605M parameters each) trained in complete isolation with no gradient, parameter, or intermediate activation synchronization. Rather than requiring synchronized gradient updates across thousands of GPUs, we partition data into semantically coherent clusters where each expert independently optimizes its subset while collectively approximating the full distribution. A lightweight transformer router dynamically selects appropriate experts at inference, achieving generation quality comparable to centrally coordinated baselines. Eliminating synchronization enables training on heterogeneous hardware without specialized interconnects. Empirical validation confirms that Paris's decentralized training maintains generation quality while removing the dedicated GPU cluster requirement for large-scale diffusion models. Paris achieves this using 14$\times$ less training data and 16$\times$ less compute than the prior decentralized baseline.
• Abstract（参考訳）: 分散計算によって完全に事前訓練された最初の公開拡散モデルであるParisを提示する。 Paris氏は、インフラストラクチャを集中的に調整することなく、高品質のテキスト・ツー・イメージ生成が実現可能であることを実証している。 パリは研究と商業利用が可能である。 Parisは、スクラッチから分散拡散トレーニングフレームワークを実装する必要がありました。 モデルは8つの専門拡散モデル(それぞれ129M-605Mパラメータ)から構成され、勾配、パラメータ、中間活性化同期を伴わない完全分離で訓練される。 数千のGPU間で同期された勾配更新を必要とするのではなく、データをセマンティックに一貫性のあるクラスタに分割する。 軽量トランスルータは、中央に調整されたベースラインに匹敵する生成品質を達成するため、推論時に適切な専門家を動的に選択する。 同期の除去は、特別な相互接続なしに異種ハードウェア上でのトレーニングを可能にする。 経験的検証により、パリの分散トレーニングは、大規模な拡散モデルのための専用のGPUクラスタ要件を取り除きながら、生成品質を維持していることを確認した。 Parisは14$\times$少ないトレーニングデータと16$\times$前の分散ベースラインよりも少ない計算データを使ってこれを達成している。

関連論文リスト

• DiLoCoX: A Low-Communication Large-Scale Training Framework for Decentralized Cluster [7.597885871452736]
  そこで我々は,低コミュニケーションの大規模分散クラスタトレーニングフレームワークであるDiLoCoXを提案する。 パイプライン並列性と、通信とローカルトレーニングのデュアルステップ遅延オーバーラップと、適応的なグラディエント圧縮スキームを組み合わせる。 本研究では,DiLoCoXがモデル収束の無視可能な劣化を維持しつつ,分散トレーニングにおいて357倍の高速化を実現可能であることを示す。
  論文  参考訳（メタデータ） (2025-06-26T13:45:04Z)
• Protocol Models: Scaling Decentralized Training with Communication-Efficient Model Parallelism [59.79227116582264]
  モデルスケーリングはディープラーニングの大幅な進歩につながったが、これらのモデルを分散環境でトレーニングすることは依然として難しい。 本研究では,前処理と後処理の両方を圧縮し,最大99%の圧縮が可能となる新しい圧縮アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-06-02T02:19:22Z)
• Decentralized Diffusion Models [53.89995588977048]
  大規模なAIモデルトレーニングでは、数千のGPU間で作業が分割され、各ステップでグラデーションが同期される。 これにより、集中型のモノリシッククラスタしかサポートできない、ネットワークの重大な負担が発生する。 独立クラスタ間で拡散モデルのトレーニングを分散するスケーラブルなフレームワークである分散拡散モデルを提案する。
  論文  参考訳（メタデータ） (2025-01-09T18:59:56Z)
• One-step Diffusion with Distribution Matching Distillation [54.723565605974294]
  本稿では,拡散モデルを1ステップ画像生成器に変換する手法である分散マッチング蒸留(DMD)を紹介する。 約KLの発散を最小化することにより,拡散モデルと分布レベルで一致した一段階画像生成装置を強制する。 提案手法は,イメージネット64x64では2.62 FID,ゼロショットCOCO-30kでは11.49 FIDに到達した。
  論文  参考訳（メタデータ） (2023-11-30T18:59:20Z)
• Decentralized Training of Foundation Models in Heterogeneous Environments [77.47261769795992]
  GPT-3 や PaLM のようなトレーニング基盤モデルは、非常に高価である。 ヘテロジニアスネットワーク上での分散型システムにおけるモデル並列化を用いた大規模基盤モデルのトレーニングに関する最初の研究について述べる。
  論文  参考訳（メタデータ） (2022-06-02T20:19:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。