論文の概要: ParaGAN: A Scalable Distributed Training Framework for Generative Adversarial Networks

• arxiv url: http://arxiv.org/abs/2411.03999v1
• Date: Wed, 06 Nov 2024 15:40:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-07 19:22:50.192763
• Title: ParaGAN: A Scalable Distributed Training Framework for Generative Adversarial Networks
• Title（参考訳）: ParaGAN: ジェネレーティブな敵ネットワークのためのスケーラブルな分散トレーニングフレームワーク
• Authors: Ziji Shi, Jialin Li, Yang You,
• Abstract要約: ParaGANは、非同期トレーニングと非対称最適化ポリシーを活用して、GANトレーニングを加速するスケーラブルな分散GANトレーニングフレームワークである。 ParaGANでは,BigGANのトレーニング時間を15日から14時間に短縮し,91%のスケーリング効率を実現した。 ParaGANは、BigGANを使った前例のない高解像度画像生成を可能にする。
• 参考スコア（独自算出の注目度）: 8.736828068085263
• License:
• Abstract: Recent advances in Generative Artificial Intelligence have fueled numerous applications, particularly those involving Generative Adversarial Networks (GANs), which are essential for synthesizing realistic photos and videos. However, efficiently training GANs remains a critical challenge due to their computationally intensive and numerically unstable nature. Existing methods often require days or even weeks for training, posing significant resource and time constraints. In this work, we introduce ParaGAN, a scalable distributed GAN training framework that leverages asynchronous training and an asymmetric optimization policy to accelerate GAN training. ParaGAN employs a congestion-aware data pipeline and hardware-aware layout transformation to enhance accelerator utilization, resulting in over 30% improvements in throughput. With ParaGAN, we reduce the training time of BigGAN from 15 days to 14 hours while achieving 91% scaling efficiency. Additionally, ParaGAN enables unprecedented high-resolution image generation using BigGAN.
• Abstract（参考訳）: ジェネレーティブ・人工知能の最近の進歩は、現実的な写真やビデオの合成に不可欠なジェネレーティブ・アドバイサル・ネットワーク(GAN)を含む多くの応用に拍車をかけた。 しかしながら、GANを効率的に訓練することは、計算集約的で数値的に不安定な性質のため、依然として重要な課題である。 既存の手法では、トレーニングに数日や数週間を要し、重要なリソースと時間的制約を伴います。 本稿では,非同期学習と非対称最適化を利用した分散GANトレーニングフレームワークであるParaGANを紹介する。 ParaGANは、集約対応のデータパイプラインとハードウェア対応レイアウト変換を採用して、アクセラレーションの利用率を向上し、スループットが30%以上向上した。 ParaGANでは,BigGANのトレーニング時間を15日から14時間に短縮し,91%のスケーリング効率を実現した。 さらに、ParaGANはBigGANを使った前例のない高解像度画像生成を可能にする。

関連論文リスト

• E$^{2}$GAN: Efficient Training of Efficient GANs for Image-to-Image Translation [69.72194342962615]
  拡散モデルからGANを蒸留するプロセスは、より効率的にできるのか? まず、一般化された特徴を持つベースGANモデルを構築し、微調整により異なる概念に適応し、スクラッチからトレーニングの必要性を排除した。 第2に,ベースモデル全体の微調整を行うのではなく,低ランク適応(LoRA)を簡易かつ効果的なランク探索プロセスで行う。 第3に、微調整に必要な最小限のデータ量を調査し、トレーニング時間を短縮する。
  論文  参考訳（メタデータ） (2024-01-11T18:59:14Z)
• LD-GAN: Low-Dimensional Generative Adversarial Network for Spectral Image Generation with Variance Regularization [72.4394510913927]
  ディープラーニング法はスペクトル画像(SI)計算タスクの最先端技術である。 GANは、データ分散から学習およびサンプリングすることで、多様な拡張を可能にする。 この種のデータの高次元性は、GANトレーニングの収束を妨げるため、GANベースのSI生成は困難である。 本稿では, オートエンコーダ訓練における低次元表現分散を制御し, GANで生成されたサンプルの多様性を高めるための統計正則化を提案する。
  論文  参考訳（メタデータ） (2023-04-29T00:25:02Z)
• Time Efficient Training of Progressive Generative Adversarial Network using Depthwise Separable Convolution and Super Resolution Generative Adversarial Network [0.0]
  本稿では,プログレッシブGANと若干の修正とスーパーレゾリューションGANを組み合わせた新しいパイプラインを提案する。 スーパーレゾリューションGANは低解像度画像を高解像度画像にサンプリングし、トレーニング時間を指数関数的に短縮するのに有用な資源であることが証明できる。
  論文  参考訳（メタデータ） (2022-02-24T19:53:37Z)
• EAGAN: Efficient Two-stage Evolutionary Architecture Search for GANs [25.791031022393643]
  GAN(Generative Adversarial Networks)は画像生成タスクにおいて大きな成功を収めている。 我々は,効率的な2段階進化アルゴリズム (EA) を用いて,textbfEAGAN と呼ばれる GAN の探索を行う。
  論文  参考訳（メタデータ） (2021-11-30T03:28:09Z)
• Ultra-Data-Efficient GAN Training: Drawing A Lottery Ticket First, Then Training It Toughly [114.81028176850404]
  限られたデータでGAN(generative adversarial network)を訓練すると、一般的に性能が低下し、モデルが崩壊する。 データハングリーGANトレーニングを2つのシーケンシャルサブプロブレムに分解する。 このような協調フレームワークにより、より低い複雑さとよりデータ効率のよいサブ問題に集中することができます。
  論文  参考訳（メタデータ） (2021-02-28T05:20:29Z)
• Learning Efficient GANs for Image Translation via Differentiable Masks and co-Attention Distillation [130.30465659190773]
  Generative Adversarial Networks (GAN) は画像翻訳において広く利用されているが、その高い計算とストレージコストがモバイルデバイスへの展開を妨げる。 DMADと呼ばれる新しいGAN圧縮手法を提案する。 実験の結果、DMADはCycleGANのMultiply Accumulate Operations (MAC)を13倍、Pix2Pixを4倍削減し、フルモデルに匹敵する性能を維持することができた。
  論文  参考訳（メタデータ） (2020-11-17T02:39:19Z)
• Improving the Speed and Quality of GAN by Adversarial Training [87.70013107142142]
  我々は,GAN訓練の高速化と品質向上を目的としたFastGANを開発した。 当社のトレーニングアルゴリズムは,2-4GPUを必要とすることによって,ImageNetのトレーニングを一般向けに提供しています。
  論文  参考訳（メタデータ） (2020-08-07T20:21:31Z)
• Improving GAN Training with Probability Ratio Clipping and Sample Reweighting [145.5106274085799]
  GAN(Generative Adversarial Network)は、不安定なトレーニングにより性能が低下することが多い。 本稿では,より優れたトレーニング安定性を享受する新しい変分GANトレーニングフレームワークを提案する。 多様な最先端のGANアーキテクチャにトレーニングアプローチを組み込むことで、幅広いタスクに対して大幅な性能向上を実現した。
  論文  参考訳（メタデータ） (2020-06-12T01:39:48Z)
• FusedProp: Towards Efficient Training of Generative Adversarial Networks [0.0]
  本稿では,識別器と共通GANの生成器を同時に訓練するために,融合伝搬アルゴリズムを提案する。 本稿では,FusedPropが従来のGANのトレーニングの1.49倍のトレーニング速度を達成したことを示す。
  論文  参考訳（メタデータ） (2020-03-30T06:46:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。