論文の概要: Winning Lottery Tickets in Deep Generative Models
- arxiv url: http://arxiv.org/abs/2010.02350v2
- Date: Fri, 29 Jan 2021 18:44:21 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-10 20:55:23.080166
- Title: Winning Lottery Tickets in Deep Generative Models
- Title（参考訳）: 深部生成モデルにおけるロッテリティケットの獲得
- Authors: Neha Mukund Kalibhat, Yogesh Balaji, Soheil Feizi
- Abstract要約: 本稿では,GANやVAEなどの深層生成モデルにおいて,入賞チケットの存在を示す。
また、異なる生成モデル間での当選チケットの転送可能性を示す。
- 参考スコア（独自算出の注目度）: 64.79920299421255
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The lottery ticket hypothesis suggests that sparse, sub-networks of a given
neural network, if initialized properly, can be trained to reach comparable or
even better performance to that of the original network. Prior works in lottery
tickets have primarily focused on the supervised learning setup, with several
papers proposing effective ways of finding "winning tickets" in classification
problems. In this paper, we confirm the existence of winning tickets in deep
generative models such as GANs and VAEs. We show that the popular iterative
magnitude pruning approach (with late rewinding) can be used with generative
losses to find the winning tickets. This approach effectively yields tickets
with sparsity up to 99% for AutoEncoders, 93% for VAEs and 89% for GANs on
CIFAR and Celeb-A datasets. We also demonstrate the transferability of winning
tickets across different generative models (GANs and VAEs) sharing the same
architecture, suggesting that winning tickets have inductive biases that could
help train a wide range of deep generative models. Furthermore, we show the
practical benefits of lottery tickets in generative models by detecting tickets
at very early stages in training called "early-bird tickets". Through
early-bird tickets, we can achieve up to 88% reduction in floating-point
operations (FLOPs) and 54% reduction in training time, making it possible to
train large-scale generative models over tight resource constraints. These
results out-perform existing early pruning methods like SNIP (Lee, Ajanthan,
and Torr 2019) and GraSP (Wang, Zhang, and Grosse 2020). Our findings shed
light towards existence of proper network initializations that could improve
convergence and stability of generative models.
- Abstract（参考訳）: 抽選券仮説は、与えられたニューラルネットワークのスパースなサブネットワークが、適切に初期化されれば、元のネットワークと同等あるいはそれ以上のパフォーマンスに達するように訓練できることを示唆している。
抽選チケットの先行研究は、主に教師付き学習設定に焦点を当てており、いくつかの論文は分類問題において「勝者チケット」を見つける効果的な方法を提案している。
本稿では,GANやVAEなどの深層生成モデルにおける入賞チケットの存在を確認した。
提案手法は, (遅延巻き戻しを伴って) 人気反復等級プルーニング手法を用いて, 獲得チケットの獲得に有効であることを示す。
このアプローチによって、AutoEncodersでは99%、VAEでは93%、CIFARとCeleb-Aデータセットでは89%のチケットが有効になる。
また,同一アーキテクチャを共有する異なる生成モデル(gansとvaes)間での入賞チケットの転送性を実証し,入賞チケットには多種多様な深層生成モデルのトレーニングに役立つ帰納バイアスがあることを示唆した。
さらに,「早期切符」と呼ばれるトレーニングのごく初期の段階での切符の検出により,生成モデルにおける抽選券の実用性を示す。
早期のバードチケットにより,浮動小数点演算(FLOP)の最大88%の削減とトレーニング時間の最大54%の削減を実現し,資源制約の厳しい大規模生成モデルのトレーニングを可能にした。
これらの結果は、SNIP(Lee、Ajanthan、Torr 2019)やGraSP(Wang、Zhang、Grosse 2020)といった既存のアーリープルーニング手法よりも優れています。
本研究は,生成モデルの収束と安定性を向上できる適切なネットワーク初期化の存在に光を当てた。
関連論文リスト
- COLT: Cyclic Overlapping Lottery Tickets for Faster Pruning of
Convolutional Neural Networks [5.956029437413275]
本研究の目的は、抽選チケットの集合から当選した宝くじを発生させることである。
本稿では,スクラッチからプルーンドネットワークをスクラッチに分割し,周期的再学習を行うことにより,Cyclic Overlapping Lottery Ticket (COLT) と呼ばれる新しい当選チケットを導入する。
論文 参考訳（メタデータ） (2022-12-24T16:38:59Z) - Can We Find Strong Lottery Tickets in Generative Models? [24.405555822170896]
重み付けを伴わずに良好な生成性能が得られる生成モデルでは、強力な宝くじが見つかる。
我々の知る限りでは、私たちは生成モデルにおける強力な宝くじの存在を初めて示し、それを見つけるアルゴリズムを提供する。
論文 参考訳（メタデータ） (2022-12-16T07:20:28Z) - Dual Lottery Ticket Hypothesis [71.95937879869334]
Lottery Ticket hypothesis (LTH)は、スパースネットワークトレーニングを調査し、その能力を維持するための新しい視点を提供する。
本稿では,LTHの当選チケットをトレーニング可能なサブネットワークとして,その性能をベンチマークとして検討する。
本稿では,簡単なスパースネットワークトレーニング戦略であるランダムスパースネットワークトランスフォーメーション(RST)を提案し,DLTHを裏付ける。
論文 参考訳（メタデータ） (2022-03-08T18:06:26Z) - Efficient Lottery Ticket Finding: Less Data is More [87.13642800792077]
Lottery ticket hypothesis (LTH) は、高密度ネットワークに対する当選チケット(希少だが批判的)の存在を明らかにする。
入場券の発見には, 列車プルー・リトラクションのプロセスにおいて, 煩雑な計算が必要となる。
本稿では、特別に選択されたデータのみを用いて、より効率的に宝くじを発見できる新しい視点を探求する。
論文 参考訳（メタデータ） (2021-06-06T19:58:17Z) - Super Tickets in Pre-Trained Language Models: From Model Compression to
Improving Generalization [65.23099004725461]
非常に過度にパラメータ化されたモデルにおいて,このようなチケットのコレクションを「勝利チケット」と呼ぶ。
また, ある圧縮比において, 当選チケットの一般化性能は, 一致しただけでなく, フルモデルを上回ることが確認された。
論文 参考訳（メタデータ） (2021-05-25T15:10:05Z) - The Elastic Lottery Ticket Hypothesis [106.79387235014379]
Lottery Ticket Hypothesisは、スパーストレーニング可能なワークスや優勝チケットの識別に注意を向けています。
そのような勝利チケットを識別する最も効果的な方法は、まだ反復マグニチュードベースのPruningです。
我々は,同じモデルファミリーの異なるネットワークから得られる当選チケットを微調整する様々な戦略を提案する。
論文 参考訳（メタデータ） (2021-03-30T17:53:45Z) - Good Students Play Big Lottery Better [84.6111281091602]
宝くじの仮説は、高密度ニューラルネットワークは、元の高密度ネットのテスト精度に一致できる疎サブネットワークを含むことを示唆している。
近年の研究では、巻き戻し技術を用いてスパースサブネットワークが得られることが示されている。
本論文では,KDチケット (Knowledge Distillation Ticket) と呼ばれるサブネットワークを再訓練する手法を提案する。
論文 参考訳（メタデータ） (2021-01-08T23:33:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。