論文の概要: Double Dynamic Sparse Training for GANs

• arxiv url: http://arxiv.org/abs/2302.14670v1
• Date: Tue, 28 Feb 2023 15:34:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-01 15:59:03.934013
• Title: Double Dynamic Sparse Training for GANs
• Title（参考訳）: GANのためのダブルダイナミックスパーストレーニング
• Authors: Yite Wang, Jing Wu, Naira Hovakimyan, Ruoyu Sun
• Abstract要約: 本稿では, 発生器と判別器のバランスを定量化するために, 平衡比 (BR) という量を導入する。 DDSTは識別器の密度を自動的に決定し,複数のデータセット上でのスパースGANの性能を大幅に向上させることを示す。
• 参考スコア（独自算出の注目度）: 18.174996394271663
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The past decade has witnessed a drastic increase in modern deep neural networks (DNNs) size, especially for generative adversarial networks (GANs). Since GANs usually suffer from high computational complexity, researchers have shown an increased interest in applying pruning methods to reduce the training and inference costs of GANs. Among different pruning methods invented for supervised learning, dynamic sparse training (DST) has gained increasing attention recently as it enjoys excellent training efficiency with comparable performance to post-hoc pruning. Hence, applying DST on GANs, where we train a sparse GAN with a fixed parameter count throughout training, seems to be a good candidate for reducing GAN training costs. However, a few challenges, including the degrading training instability, emerge due to the adversarial nature of GANs. Hence, we introduce a quantity called balance ratio (BR) to quantify the balance of the generator and the discriminator. We conduct a series of experiments to show the importance of BR in understanding sparse GAN training. Building upon single dynamic sparse training (SDST), where only the generator is adjusted during training, we propose double dynamic sparse training (DDST) to control the BR during GAN training. Empirically, DDST automatically determines the density of the discriminator and greatly boosts the performance of sparse GANs on multiple datasets.
• Abstract（参考訳）: 過去10年で、特にGAN(Generative Adversarial Network)では、現代のディープニューラルネットワーク(DNN)サイズが大幅に増加した。 GANは通常、高い計算複雑性に悩まされているため、研究者はGANのトレーニングと推論コストを減らすためにプルーニング手法を適用することへの関心が高まっている。 教師あり学習のために考案された様々なプルーニング手法の中で,ポストホットプルーニングに匹敵する優れたトレーニング効率を享受するダイナミックスパーストレーニング(DST)が近年注目を集めている。 したがって, DST を GAN に適用し, トレーニング期間を通じてパラメータ数を一定に設定したスパース GAN を訓練することで, GAN のトレーニングコストを削減できる可能性が示唆された。 しかし、GANの敵対的な性質から、劣化するトレーニング不安定性を含むいくつかの課題が浮かび上がっている。 そこで我々は, 発生器と判別器のバランスを定量化するために, 平衡比 (BR) という量を導入する。 我々は,スパース GAN トレーニングの理解において BR の重要性を示す一連の実験を行った。 単一のsdst(single dynamic sparse training, sdst)に基づいて,gan訓練中にbrを制御するための二重動的スパーストレーニング(double dynamic sparse training, ddst)を提案する。 DDSTは、識別器の密度を自動的に決定し、複数のデータセット上でスパースGANの性能を大幅に向上させる。

関連論文リスト

• Efficient Training of Deep Neural Operator Networks via Randomized Sampling [0.0]
  ディープオペレータネットワーク(DeepNet)は、様々な科学的・工学的応用における複雑な力学のリアルタイム予測に成功している。 本稿では,DeepONetのトレーニングを取り入れたランダムサンプリング手法を提案する。 実験の結果,訓練中にトランクネットワーク入力にランダム化を組み込むことで,DeepONetの効率性と堅牢性が向上し,複雑な物理系のモデリングにおけるフレームワークの性能向上に期待できる道筋が得られた。
  論文  参考訳（メタデータ） (2024-09-20T07:18:31Z)
• Always-Sparse Training by Growing Connections with Guided Stochastic Exploration [46.4179239171213]
  本研究では,より大規模かつスペーサーなモデルへのスケーリングに優れる,効率的な常時スパーストレーニングアルゴリズムを提案する。 我々は,VGGモデルとVTモデルを用いて,CIFAR-10/100 と ImageNet の手法を評価し,様々なスペーサー化手法と比較した。
  論文  参考訳（メタデータ） (2024-01-12T21:32:04Z)
• Accurate Neural Network Pruning Requires Rethinking Sparse Optimization [87.90654868505518]
  標準コンピュータビジョンと自然言語処理の疎度ベンチマークを用いたモデルトレーニングにおいて,高い疎度が与える影響について述べる。 本稿では,視覚モデルのスパース事前学習と言語モデルのスパース微調整の両面において,この問題を軽減するための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-08-03T21:49:14Z)
• SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural Networks [56.35403810762512]
  イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。 本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
  論文  参考訳（メタデータ） (2023-02-01T04:22:59Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Don't Be So Dense: Sparse-to-Sparse GAN Training Without Sacrificing Performance [47.94567935516651]
  GAN(Generative Adversarial Network)は、生成データの品質の高さから提案されて以来、関心が高まっている。 推論のために、既存のモデル圧縮技術は、同等のパフォーマンスでモデルの複雑さを減らすことができる。 本稿では,スパークス GAN をスクラッチから直接訓練できる可能性について検討する。
  論文  参考訳（メタデータ） (2022-03-05T15:18:03Z)
• Class Balancing GAN with a Classifier in the Loop [58.29090045399214]
  本稿では,GANを学習するための理論的動機付けクラスバランス正則化器を提案する。 我々の正規化器は、訓練済みの分類器からの知識を利用して、データセット内のすべてのクラスのバランスの取れた学習を確実にします。 複数のデータセットにまたがる既存手法よりも優れた性能を達成し,長期分布の学習表現における正規化器の有用性を実証する。
  論文  参考訳（メタデータ） (2021-06-17T11:41:30Z)
• Regularizing Generative Adversarial Networks under Limited Data [88.57330330305535]
  本研究は、限られたデータ上で堅牢なGANモデルをトレーニングするための正規化手法を提案する。 正規化損失とLeCam-divergenceと呼ばれるf-divergenceの関連性を示す。
  論文  参考訳（メタデータ） (2021-04-07T17:59:06Z)
• DBS: Dynamic Batch Size For Distributed Deep Neural Network Training [19.766163856388694]
  ディープニューラルネットワーク(DNN)の分散学習のための動的バッチサイズ(DBS)戦略を提案する。 具体的には、前のエポックの事実に基づいて各ワーカーのパフォーマンスを第一に評価し、バッチサイズとデータセット分割を動的に調整する。 実験結果から,提案手法はクラスタの性能を十分に活用し,トレーニング時間を短縮し,無関係なタスクによる障害に強いロバスト性を有することを示す。
  論文  参考訳（メタデータ） (2020-07-23T07:31:55Z)
• Distributed Training of Deep Neural Network Acoustic Models for Automatic Speech Recognition [33.032361181388886]
  ASRのためのディープニューラルネットワーク音響モデルのための分散トレーニング手法の概要について述べる。 提案手法の収束, 高速化, 認識性能を調べるために, 一般のベンチマークで実験を行った。
  論文  参考訳（メタデータ） (2020-02-24T19:31:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。