論文の概要: Can We Find Strong Lottery Tickets in Generative Models?

• arxiv url: http://arxiv.org/abs/2212.08311v1
• Date: Fri, 16 Dec 2022 07:20:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-19 14:45:17.278942
• Title: Can We Find Strong Lottery Tickets in Generative Models?
• Title（参考訳）: 生成モデルに強力なロテリチケットが見つかるか?
• Authors: Sangyeop Yeo, Yoojin Jang, Jy-yong Sohn, Dongyoon Han, Jaejun Yoo
• Abstract要約: 重み付けを伴わずに良好な生成性能が得られる生成モデルでは、強力な宝くじが見つかる。 我々の知る限りでは、私たちは生成モデルにおける強力な宝くじの存在を初めて示し、それを見つけるアルゴリズムを提供する。
• 参考スコア（独自算出の注目度）: 24.405555822170896
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Yes. In this paper, we investigate strong lottery tickets in generative models, the subnetworks that achieve good generative performance without any weight update. Neural network pruning is considered the main cornerstone of model compression for reducing the costs of computation and memory. Unfortunately, pruning a generative model has not been extensively explored, and all existing pruning algorithms suffer from excessive weight-training costs, performance degradation, limited generalizability, or complicated training. To address these problems, we propose to find a strong lottery ticket via moment-matching scores. Our experimental results show that the discovered subnetwork can perform similarly or better than the trained dense model even when only 10% of the weights remain. To the best of our knowledge, we are the first to show the existence of strong lottery tickets in generative models and provide an algorithm to find it stably. Our code and supplementary materials are publicly available.
• Abstract（参考訳）: はい。 本稿では,重み更新を伴わずに生成性能を向上するサブネットワークである生成モデルにおいて,強力な抽選チケットについて検討する。 ニューラルネットワークのプルーニングは、計算とメモリのコストを削減するためのモデル圧縮の基盤となっている。 残念ながら、生成モデルのプルーニングは広範に検討されておらず、既存のプルーニングアルゴリズムは、過剰な重量訓練コスト、性能劣化、限定的な一般化性、複雑な訓練に悩まされている。 これらの問題に対処するために,モーメントマッチングスコアによる強力な宝くじを探すことを提案する。 実験の結果, 検出されたサブネットワークは, 10%の重みしか残っていない場合でも, 訓練された密集モデルと同等かそれ以上の性能を発揮することがわかった。 私たちの知る限りでは、私たちは生成モデルにおける強力な抽選チケットの存在を初めて示し、それを安定的に見つけるためのアルゴリズムを提供します。 私たちのコードと補足資料は公開されています。

関連論文リスト

• Finding Strong Lottery Ticket Networks with Genetic Algorithms [3.1267592104279776]
  Strong Lottery Ticket仮説によると、ランダムな重みを持つ十分に大きなニューラルネットワークには、トレーニングされたスーパーネットワークと同様に、与えられたタスクのために既に機能しているサブネットワークが含まれている。 遺伝的アルゴリズムをベースとしたアプローチとして,トレーニングや勾配計算を行わずに,このような強力な宝くじのサブネットワークを見つける方法を提案する。
  論文  参考訳（メタデータ） (2024-11-07T12:35:35Z)
• Dual Lottery Ticket Hypothesis [71.95937879869334]
  Lottery Ticket hypothesis (LTH)は、スパースネットワークトレーニングを調査し、その能力を維持するための新しい視点を提供する。 本稿では,LTHの当選チケットをトレーニング可能なサブネットワークとして,その性能をベンチマークとして検討する。 本稿では,簡単なスパースネットワークトレーニング戦略であるランダムスパースネットワークトランスフォーメーション(RST)を提案し,DLTHを裏付ける。
  論文  参考訳（メタデータ） (2022-03-08T18:06:26Z)
• You are caught stealing my winning lottery ticket! Making a lottery ticket claim its ownership [87.13642800792077]
  Lottery ticket hypothesis (LTH) は、特別なスパースサブネットワークを活用するための有望なフレームワークとして出現する。 しかし、LTHの主な資源ボトルネックは、当選チケットのスパースマスクを見つけるのに特別なコストである。 私たちの設定は、深層モデルの知的財産権侵害から保護することに対する最近の関心に新たな次元を与えます。
  論文  参考訳（メタデータ） (2021-10-30T03:38:38Z)
• Lottery Jackpots Exist in Pre-trained Models [69.17690253938211]
  未拡張幅の事前学習モデルには,「ロテリ・ジャックポット」と呼ばれる重量訓練を伴わずに,高性能で疎結合なサブネットワークが存在していることを示す。 トレーニング損失に悪影響を及ぼす可能性のあるマスクの変化を制限するための,新しい短い制限法を提案する。
  論文  参考訳（メタデータ） (2021-04-18T03:50:28Z)
• The Elastic Lottery Ticket Hypothesis [106.79387235014379]
  Lottery Ticket Hypothesisは、スパーストレーニング可能なワークスや優勝チケットの識別に注意を向けています。 そのような勝利チケットを識別する最も効果的な方法は、まだ反復マグニチュードベースのPruningです。 我々は,同じモデルファミリーの異なるネットワークから得られる当選チケットを微調整する様々な戦略を提案する。
  論文  参考訳（メタデータ） (2021-03-30T17:53:45Z)
• Lottery Ticket Implies Accuracy Degradation, Is It a Desirable Phenomenon? [43.47794674403988]
  ディープモデル圧縮では、最近の発見 "Lottery Ticket Hypothesis" (LTH) (Frankle & Carbin) は、勝利チケットが存在する可能性があることを指摘しました。 勝利特性の背後にある基礎的条件と理論的根拠を調査し,その基礎的理由が重みと最終訓練重みの相関関係に大きく関係していることを見いだした。 宝くじのスパーストレーニングを一貫して上回る"pruning & fine-tuning"方式を提案します。
  論文  参考訳（メタデータ） (2021-02-19T14:49:46Z)
• Good Students Play Big Lottery Better [84.6111281091602]
  宝くじの仮説は、高密度ニューラルネットワークは、元の高密度ネットのテスト精度に一致できる疎サブネットワークを含むことを示唆している。 近年の研究では、巻き戻し技術を用いてスパースサブネットワークが得られることが示されている。 本論文では,KDチケット (Knowledge Distillation Ticket) と呼ばれるサブネットワークを再訓練する手法を提案する。
  論文  参考訳（メタデータ） (2021-01-08T23:33:53Z)
• Winning Lottery Tickets in Deep Generative Models [64.79920299421255]
  本稿では,GANやVAEなどの深層生成モデルにおいて,入賞チケットの存在を示す。 また、異なる生成モデル間での当選チケットの転送可能性を示す。
  論文  参考訳（メタデータ） (2020-10-05T21:45:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。