論文の概要: PixArt-$\alpha$: Fast Training of Diffusion Transformer for Photorealistic Text-to-Image Synthesis

• arxiv url: http://arxiv.org/abs/2310.00426v3
• Date: Fri, 29 Dec 2023 16:42:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-03 01:33:54.960732
• Title: PixArt-$\alpha$: Fast Training of Diffusion Transformer for Photorealistic Text-to-Image Synthesis
• Title（参考訳）: PixArt-$\alpha$:フォトリアリスティックテキスト・画像合成のための拡散変換器の高速訓練
• Authors: Junsong Chen, Jincheng Yu, Chongjian Ge, Lewei Yao, Enze Xie, Yue Wu, Zhongdao Wang, James Kwok, Ping Luo, Huchuan Lu, Zhenguo Li
• Abstract要約: 本稿では,トランスフォーマーを用いたT2I拡散モデルであるPIXART-$alpha$について述べる。 最大1024pxまでの高解像度画像合成をサポートし、訓練コストが低い。 PIXART-$alpha$は画質、芸術性、セマンティックコントロールに優れていた。
• 参考スコア（独自算出の注目度）: 108.83343447275206
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The most advanced text-to-image (T2I) models require significant training costs (e.g., millions of GPU hours), seriously hindering the fundamental innovation for the AIGC community while increasing CO2 emissions. This paper introduces PIXART-$\alpha$, a Transformer-based T2I diffusion model whose image generation quality is competitive with state-of-the-art image generators (e.g., Imagen, SDXL, and even Midjourney), reaching near-commercial application standards. Additionally, it supports high-resolution image synthesis up to 1024px resolution with low training cost, as shown in Figure 1 and 2. To achieve this goal, three core designs are proposed: (1) Training strategy decomposition: We devise three distinct training steps that separately optimize pixel dependency, text-image alignment, and image aesthetic quality; (2) Efficient T2I Transformer: We incorporate cross-attention modules into Diffusion Transformer (DiT) to inject text conditions and streamline the computation-intensive class-condition branch; (3) High-informative data: We emphasize the significance of concept density in text-image pairs and leverage a large Vision-Language model to auto-label dense pseudo-captions to assist text-image alignment learning. As a result, PIXART-$\alpha$'s training speed markedly surpasses existing large-scale T2I models, e.g., PIXART-$\alpha$ only takes 10.8% of Stable Diffusion v1.5's training time (675 vs. 6,250 A100 GPU days), saving nearly \$300,000 (\$26,000 vs. \$320,000) and reducing 90% CO2 emissions. Moreover, compared with a larger SOTA model, RAPHAEL, our training cost is merely 1%. Extensive experiments demonstrate that PIXART-$\alpha$ excels in image quality, artistry, and semantic control. We hope PIXART-$\alpha$ will provide new insights to the AIGC community and startups to accelerate building their own high-quality yet low-cost generative models from scratch.
• Abstract（参考訳）: 最も先進的なテキスト・ツー・イメージ(T2I)モデルでは、膨大なトレーニングコスト(GPU時間など)が必要であり、AIGCコミュニティの根本的な革新を著しく妨げつつ、CO2排出量を増大させる。 本稿では,最新の画像生成装置 (imagen, sdxl, midjourney など) と画像生成品質が競合するトランスフォーマチックなt2i拡散モデルpixart-$\alpha$について紹介する。 さらに、図1と2に示すように、トレーニングコストの低い1024pxまでの高解像度画像合成をサポートする。 To achieve this goal, three core designs are proposed: (1) Training strategy decomposition: We devise three distinct training steps that separately optimize pixel dependency, text-image alignment, and image aesthetic quality; (2) Efficient T2I Transformer: We incorporate cross-attention modules into Diffusion Transformer (DiT) to inject text conditions and streamline the computation-intensive class-condition branch; (3) High-informative data: We emphasize the significance of concept density in text-image pairs and leverage a large Vision-Language model to auto-label dense pseudo-captions to assist text-image alignment learning. その結果、PIXART-$\alpha$のトレーニング速度は既存の大規模T2Iモデルを大きく上回り、例えば、PIXART-$\alpha$は安定拡散v1.5のトレーニング時間(675対6,250 A100 GPU日)の10.8%しか必要とせず、300,000ドル近く節約でき(26,000対320,000ドル)、90%のCO2排出量を削減できる。 さらに、より大きなSOTAモデルであるRAPHAELと比較して、トレーニングコストは1%に過ぎません。 大規模な実験により、PIXART-$\alpha$は画質、芸術性、セマンティックコントロールに優れていた。 PIXART-$\alpha$はAIGCコミュニティとスタートアップに新たな洞察を与えて、高品質で低コストな生成モデルをスクラッチから構築することを願っている。

関連論文リスト

• SANA: Efficient High-Resolution Image Synthesis with Linear Diffusion Transformers [41.79064227895747]
  Sanaは4096$times$4096解像度までの画像を生成できるテキスト・ツー・イメージのフレームワークである。 Sanaは、高解像度で高品質な画像を、強力なテキストイメージアライメントで驚くほど高速に合成し、ラップトップGPUにデプロイすることができる。
  論文  参考訳（メタデータ） (2024-10-14T15:36:42Z)
• Stretching Each Dollar: Diffusion Training from Scratch on a Micro-Budget [53.311109531586844]
  大規模T2I拡散変圧器モデルの低コスト化を実証する。 我々は16億のパラメータスパーストランスをわずか1890ドルの経済的コストで訓練し、ゼロショット世代で12.7 FIDを達成する。 我々は、マイクロ予算での大規模拡散モデルのトレーニングをさらに民主化するために、エンドツーエンドのトレーニングパイプラインをリリースすることを目指している。
  論文  参考訳（メタデータ） (2024-07-22T17:23:28Z)
• PixArt-Σ: Weak-to-Strong Training of Diffusion Transformer for 4K Text-to-Image Generation [110.10627872744254]
  PixArt-Sigmaは4K解像度で画像を直接生成できる拡散変換器モデルである。 PixArt-Sigmaは、非常に高い忠実度とテキストプロンプトとのアライメントを改善した画像を提供する。
  論文  参考訳（メタデータ） (2024-03-07T17:41:37Z)
• PIXART-{\delta}: Fast and Controllable Image Generation with Latent Consistency Models [93.29160233752413]
  PIXART-deltaはテキストと画像の合成フレームワークである。 LCM(Latent Consistency Model)とControlNetをPIXART-alphaモデルに統合する。 PIXART-deltaは1024x1024ピクセル画像を生成するのに0.5秒のブレークスルーを達成している。
  論文  参考訳（メタデータ） (2024-01-10T16:27:38Z)
• CommonCanvas: An Open Diffusion Model Trained with Creative-Commons Images [19.62509002853736]
  我々はCreative-Commons-Lensed (CC) 画像のデータセットを組み立て、テキストから画像への生成モデルを訓練する。 我々は直感的な転写学習技術を用いて、CC画像と組み合わせた高品質な合成キャプションのセットを作成する。 我々は既存のSD2モデルのトレーニングに必要なLAION-2Bデータの3%しか必要としないが、同等の品質が得られるデータと計算効率のトレーニングレシピを開発した。
  論文  参考訳（メタデータ） (2023-10-25T17:56:07Z)
• Emu: Enhancing Image Generation Models Using Photogenic Needles in a Haystack [75.00066365801993]
  Webスケールの画像-テキストペアによるテキスト-画像モデルのトレーニングにより、テキストから幅広い視覚概念を生成することができる。 これらの事前訓練されたモデルは、高度に美的な画像を生成することに関して、しばしば課題に直面します。 本稿では,高度に視覚的に魅力的な画像のみを生成するために,事前学習されたモデルを誘導する品質チューニングを提案する。
  論文  参考訳（メタデータ） (2023-09-27T17:30:19Z)
• SnapFusion: Text-to-Image Diffusion Model on Mobile Devices within Two Seconds [88.06788636008051]
  テキストから画像への拡散モデルは、プロのアーティストや写真家の作品に匹敵する自然言語の記述から素晴らしい画像を作り出すことができる。 これらのモデルは大規模で、複雑なネットワークアーキテクチャと数十のデノベーションイテレーションを持ち、計算コストが高く、実行が遅い。 モバイル端末上でテキストから画像への拡散モデルの実行を2ドル以下でアンロックする汎用的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-06-01T17:59:25Z)
• Wuerstchen: An Efficient Architecture for Large-Scale Text-to-Image Diffusion Models [6.821399706256863]
  W"urstchen"は、競争性能と前例のない費用対効果を組み合わせたテキスト対画像合成の新しいアーキテクチャである。 我々の研究の重要な貢献は、詳細だが非常にコンパクトなセマンティックイメージ表現を学習する潜伏拡散技術を開発することである。
  論文  参考訳（メタデータ） (2023-06-01T13:00:53Z)
• Towards Faster and Stabilized GAN Training for High-fidelity Few-shot Image Synthesis [21.40315235087551]
  1024*1024解像度で優れた品質を得る軽量GAN構造を提案します。 データとコンピューティングの予算が限られている場合、私たちのモデルが最先端のstylegan2よりも優れたパフォーマンスを示します。
  論文  参考訳（メタデータ） (2021-01-12T22:02:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。