論文の概要: Don't Be So Dense: Sparse-to-Sparse GAN Training Without Sacrificing Performance

• arxiv url: http://arxiv.org/abs/2203.02770v1
• Date: Sat, 5 Mar 2022 15:18:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-08 15:23:09.397579
• Title: Don't Be So Dense: Sparse-to-Sparse GAN Training Without Sacrificing Performance
• Title（参考訳）: パフォーマンスを犠牲にすることなく、sparse-to-sparse ganトレーニング。
• Authors: Shiwei Liu, Yuesong Tian, Tianlong Chen, Li Shen
• Abstract要約: GAN(Generative Adversarial Network)は、生成データの品質の高さから提案されて以来、関心が高まっている。 推論のために、既存のモデル圧縮技術は、同等のパフォーマンスでモデルの複雑さを減らすことができる。 本稿では,スパークス GAN をスクラッチから直接訓練できる可能性について検討する。
• 参考スコア（独自算出の注目度）: 47.94567935516651
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Generative adversarial networks (GANs) have received an upsurging interest since being proposed due to the high quality of the generated data. While achieving increasingly impressive results, the resource demands associated with the large model size hinders the usage of GANs in resource-limited scenarios. For inference, the existing model compression techniques can reduce the model complexity with comparable performance. However, the training efficiency of GANs has less been explored due to the fragile training process of GANs. In this paper, we, for the first time, explore the possibility of directly training sparse GAN from scratch without involving any dense or pre-training steps. Even more unconventionally, our proposed method enables directly training sparse unbalanced GANs with an extremely sparse generator from scratch. Instead of training full GANs, we start with sparse GANs and dynamically explore the parameter space spanned over the generator throughout training. Such a sparse-to-sparse training procedure enhances the capacity of the highly sparse generator progressively while sticking to a fixed small parameter budget with appealing training and inference efficiency gains. Extensive experiments with modern GAN architectures validate the effectiveness of our method. Our sparsified GANs, trained from scratch in one single run, are able to outperform the ones learned by expensive iterative pruning and re-training. Perhaps most importantly, we find instead of inheriting parameters from expensive pre-trained GANs, directly training sparse GANs from scratch can be a much more efficient solution. For example, only training with a 80% sparse generator and a 70% sparse discriminator, our method can achieve even better performance than the dense BigGAN.
• Abstract（参考訳）: generative adversarial networks (gans) は、生成データの高品質のために提案されて以来、高い関心を集めている。 ますます印象的な結果を達成する一方で、大きなモデルサイズに関連するリソース要求は、リソース制限シナリオにおけるGANの使用を妨げる。 推論のために、既存のモデル圧縮技術は、同等の性能でモデルの複雑さを低減できる。 しかし,GANの脆弱なトレーニングプロセスのため,GANのトレーニング効率は低下している。 本稿では,スパークス GAN をスクラッチから直接訓練する可能性について,高密度あるいは事前学習のステップを伴わずに検討する。 さらに、本提案手法は、スクラッチから非常にスパースな発電機でスパース非バランスなGANを直接訓練することができる。 完全なGANをトレーニングする代わりに、スパースGANから始めて、トレーニングを通じてジェネレータにまたがるパラメータ空間を動的に探索します。 このようなスパース・ツー・スパースなトレーニング手順は、高いスパース・ジェネレータのキャパシティを段階的に向上させ、一定の小さなパラメータ予算に固執し、魅力的なトレーニングと推論効率の向上をもたらす。 最新のGANアーキテクチャを用いた大規模な実験により,本手法の有効性が検証された。 当社のsparsified ganは、1回のランニングでスクラッチからトレーニングされ、高価な反復的な刈り取りと再トレーニングで学んだものよりも優れています。 おそらく最も重要なことは、高価な事前訓練されたGANからパラメータを継承する代わりに、スクラッチから直接スパースGANをトレーニングする方がずっと効率的なソリューションになるということです。 例えば、80%のスパースジェネレータと70%のスパースディミネータでのみトレーニングを行うことで、より高密度なBigGANよりも優れた性能が得られる。

関連論文リスト

• ESRL: Efficient Sampling-based Reinforcement Learning for Sequence Generation [43.506732624371786]
  本稿では,RLを用いたトレーニングシーケンス生成モデルにおいて,サンプリング効率を向上させるための2段階サンプリング手法と動的サンプリング手法を提案する。 実験結果から,ESRLと呼ばれる効率的なサンプリングベースRLは,トレーニング効率とメモリ消費の両方の観点から,すべてのベースラインを上回り得ることが示された。
  論文  参考訳（メタデータ） (2023-08-04T09:35:45Z)
• Accurate Neural Network Pruning Requires Rethinking Sparse Optimization [87.90654868505518]
  標準コンピュータビジョンと自然言語処理の疎度ベンチマークを用いたモデルトレーニングにおいて,高い疎度が与える影響について述べる。 本稿では,視覚モデルのスパース事前学習と言語モデルのスパース微調整の両面において,この問題を軽減するための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-08-03T21:49:14Z)
• Balanced Training for Sparse GANs [16.045866864231417]
  本研究では, スパース発生器と判別器のバランスを研究するために, BRと呼ばれる新しい指標を提案する。 また、GANトレーニング中にBRを制御し、性能と計算コストのトレードオフを良好に達成するために、バランスド・ダイナミックスパース・トレーニング(ADAPT)と呼ばれる新しい手法を導入する。
  論文  参考訳（メタデータ） (2023-02-28T15:34:01Z)
• Dynamic Sparse Training via Balancing the Exploration-Exploitation Trade-off [19.230329532065635]
  スパーストレーニングは、モデルサイズを減らすことで、トレーニングコストを大幅に削減する可能性がある。 既存のスパーストレーニング方法は、主にランダムベースまたはグリーディベースのドロップ・アンド・グロー戦略を使用する。 本研究では,動的スパース学習をスパース接続探索問題として考察する。 実験の結果,提案手法により得られたスパースモデル(最大98%のスパース)は,SOTAスパース訓練法より優れていた。
  論文  参考訳（メタデータ） (2022-11-30T01:22:25Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• AC/DC: Alternating Compressed/DeCompressed Training of Deep Neural Networks [78.62086125399831]
  本稿では、ディープニューラルネットワーク(DNN)のAC/DCトレーニング(Alternating Compressed/DeCompressed)と呼ばれる一般的なアプローチを提案する。 AC/DCは、類似の計算予算で既存のスパーストレーニング方法よりも精度が高い。 AC/DCの重要な特性は、密度とスパースモデルのコトレーニングが可能であり、トレーニングプロセスの終了時に正確なスパース・ダンスモデルペアが得られることである。
  論文  参考訳（メタデータ） (2021-06-23T13:23:00Z)
• Effective Model Sparsification by Scheduled Grow-and-Prune Methods [73.03533268740605]
  本稿では,高密度モデルの事前学習を伴わない新規なGrow-and-prune(GaP)手法を提案する。 実験により、そのようなモデルは様々なタスクにおいて80%の間隔で高度に最適化された高密度モデルの品質に適合または打ち勝つことができることが示された。
  論文  参考訳（メタデータ） (2021-06-18T01:03:13Z)
• TaylorGAN: Neighbor-Augmented Policy Update for Sample-Efficient Natural Language Generation [79.4205462326301]
  TaylorGANは関数ベースの自然言語生成のための新しいアプローチである。 オフポリシー更新による勾配推定と1階のTaylor拡張が強化される。 これにより、より小さなバッチサイズで、スクラッチからNLGモデルをトレーニングすることができます。
  論文  参考訳（メタデータ） (2020-11-27T02:26:15Z)
• A Distributed Training Algorithm of Generative Adversarial Networks with Quantized Gradients [8.202072658184166]
  本稿では,量子化勾配を用いた分散GAN学習アルゴリズムDQGANを提案する。 この新しい方法は、OMDアルゴリズムと呼ばれる特定の単一マシンアルゴリズムに基づいてGANを訓練し、一般的な$delta$-approximate圧縮器を満たす任意の勾配圧縮手法に適用できる。 理論的には、DQGANアルゴリズムの1次定常点への非漸近収束を確立し、提案アルゴリズムが線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2020-10-26T06:06:43Z)
• FusedProp: Towards Efficient Training of Generative Adversarial Networks [0.0]
  本稿では,識別器と共通GANの生成器を同時に訓練するために,融合伝搬アルゴリズムを提案する。 本稿では,FusedPropが従来のGANのトレーニングの1.49倍のトレーニング速度を達成したことを示す。
  論文  参考訳（メタデータ） (2020-03-30T06:46:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。