論文の概要: GANs Can Play Lottery Tickets Too

• arxiv url: http://arxiv.org/abs/2106.00134v1
• Date: Mon, 31 May 2021 23:03:00 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-02 14:41:53.676732
• Title: GANs Can Play Lottery Tickets Too
• Title（参考訳）: GANはロッキーなチケットも演奏できる
• Authors: Xuxi Chen, Zhenyu Zhang, Yongduo Sui, Tianlong Chen
• Abstract要約: GAN(Deep Generative Adversarial Network)は、多くのシナリオで人気が高まっている。 圧縮技術を適用すると、GANのトレーニング不安定さが悪名高いため、通常不満足な結果につながる。 本研究では,深部GANにおけるこのようなトレーニング可能なマッチングワークの存在を初めて研究する。
• 参考スコア（独自算出の注目度）: 22.23049949075936
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep generative adversarial networks (GANs) have gained growing popularity in numerous scenarios, while usually suffer from high parameter complexities for resource-constrained real-world applications. However, the compression of GANs has less been explored. A few works show that heuristically applying compression techniques normally leads to unsatisfactory results, due to the notorious training instability of GANs. In parallel, the lottery ticket hypothesis shows prevailing success on discriminative models, in locating sparse matching subnetworks capable of training in isolation to full model performance. In this work, we for the first time study the existence of such trainable matching subnetworks in deep GANs. For a range of GANs, we certainly find matching subnetworks at 67%-74% sparsity. We observe that with or without pruning discriminator has a minor effect on the existence and quality of matching subnetworks, while the initialization weights used in the discriminator play a significant role. We then show the powerful transferability of these subnetworks to unseen tasks. Furthermore, extensive experimental results demonstrate that our found subnetworks substantially outperform previous state-of-the-art GAN compression approaches in both image generation (e.g. SNGAN) and image-to-image translation GANs (e.g. CycleGAN). Codes available at https://github.com/VITA-Group/GAN-LTH.
• Abstract（参考訳）: GAN(Deep Generative Adversarial Network)は、多くのシナリオで人気が高まり、リソース制約された現実世界のアプリケーションでは高いパラメータの複雑さに悩まされる。 しかし、gansの圧縮についてはあまり研究されていない。 いくつかの研究は、GANのトレーニング不安定さが悪名高いため、通常、ヒューリスティックな圧縮技術の適用は不満足な結果をもたらすことを示している。 並行して、抽選券仮説は、完全なモデル性能に分離してトレーニングできるスパースマッチングサブネットワークを見つけることで、識別モデルで広く成功していることを示している。 本研究では,深部GANにおけるこのようなトレーニング可能なサブネットワークの存在を初めて研究する。 さまざまなGANに対して、マッチングサブネットワークが67%-74%の間隔で存在していることは確かです。 識別器の刈り取りの有無がサブネットワークのマッチングの有無や品質に与える影響は小さいが,識別器で使用される初期化重みは重要な役割を担っている。 次に、これらのサブネットワークの強力な転送可能性を示してタスクを検知する。 さらに, 得られたサブネットワークは, 両画像生成において, 従来のGAN圧縮手法を大幅に上回っていることを示す。 SNGAN) と Image-to-image translation GANs (例) CycleGAN)。 コードはhttps://github.com/VITA-Group/GAN-LTHで公開されている。

関連論文リスト

• Dual Lottery Ticket Hypothesis [71.95937879869334]
  Lottery Ticket hypothesis (LTH)は、スパースネットワークトレーニングを調査し、その能力を維持するための新しい視点を提供する。 本稿では,LTHの当選チケットをトレーニング可能なサブネットワークとして,その性能をベンチマークとして検討する。 本稿では,簡単なスパースネットワークトレーニング戦略であるランダムスパースネットワークトランスフォーメーション(RST)を提案し,DLTHを裏付ける。
  論文  参考訳（メタデータ） (2022-03-08T18:06:26Z)
• Self-Ensembling GAN for Cross-Domain Semantic Segmentation [107.27377745720243]
  本稿では,セマンティックセグメンテーションのためのクロスドメインデータを利用した自己理解型生成逆数ネットワーク(SE-GAN)を提案する。 SE-GANでは、教師ネットワークと学生ネットワークは、意味分節マップを生成するための自己組織化モデルを構成する。 その単純さにもかかわらず、SE-GANは敵の訓練性能を大幅に向上させ、モデルの安定性を高めることができる。
  論文  参考訳（メタデータ） (2021-12-15T09:50:25Z)
• Prb-GAN: A Probabilistic Framework for GAN Modelling [20.181803514993778]
  本稿では,ネットワークパラメータ上の分布を生成するためにドロップアウトを用いた新しいバリエーションを提案する。 我々の手法は非常にシンプルで、既存のGANアーキテクチャの変更はほとんど必要ありません。
  論文  参考訳（メタデータ） (2021-07-12T08:04:13Z)
• Forward Super-Resolution: How Can GANs Learn Hierarchical Generative Models for Real-World Distributions [66.05472746340142]
  生成ネットワーク(GAN)は、複雑で現実世界の分布を学習する上で最も成功したネットワークの一つである。 本稿では,GANが実写画像の分布を効率的に学習する方法について述べる。
  論文  参考訳（メタデータ） (2021-06-04T17:33:29Z)
• Exploring DeshuffleGANs in Self-Supervised Generative Adversarial Networks [0.0]
  本稿では,デシャッフルGANを一般化可能な文脈でデシャッフルする自己超越タスクの寄与について検討する。 DeshuffleGANは、他の自己教師型GANと比較して、複数のデータセットに対して最良のFID結果が得られることを示す。 我々は,cDeshuffleGANと呼ばれる条件付きDeshuffleGANを設計し,学習した表現の質を評価する。
  論文  参考訳（メタデータ） (2020-11-03T14:22:54Z)
• Feature Quantization Improves GAN Training [126.02828112121874]
  識別器の特徴量子化(FQ)は、真と偽のデータの両方を共有離散空間に埋め込む。 本手法は,既存のGANモデルに容易に接続でき,訓練における計算オーバーヘッドがほとんどない。
  論文  参考訳（メタデータ） (2020-04-05T04:06:50Z)
• Freeze the Discriminator: a Simple Baseline for Fine-Tuning GANs [104.85633684716296]
  判別器の冷凍下層を有するGANの簡易微調整が驚くほど良好であることを示す。 この単純なベースラインであるFreezeDは、非条件GANと条件GANの両方で使用されている従来の技術よりも大幅に優れている。
  論文  参考訳（メタデータ） (2020-02-25T15:30:17Z)
• When Relation Networks meet GANs: Relation GANs with Triplet Loss [110.7572918636599]
  GAN(Generative Adversarial Network)の学習安定性はいまだに悩みの種である 本稿では,判別器のための関係ネットワークアーキテクチャについて検討し,より優れた一般化と安定性を実現する三重項損失を設計する。 ベンチマークデータセットの実験により、提案された関係判別器と新たな損失は、可変視覚タスクに大幅な改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2020-02-24T11:35:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。