論文の概要: Lottery Jackpots Exist in Pre-trained Models

• arxiv url: http://arxiv.org/abs/2104.08700v7
• Date: Sat, 2 Sep 2023 05:09:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-07 12:34:19.138859
• Title: Lottery Jackpots Exist in Pre-trained Models
• Title（参考訳）: 豪華なジャックポット、訓練済みモデルで現存
• Authors: Yuxin Zhang, Mingbao Lin, Yunshan Zhong, Fei Chao, Rongrong Ji
• Abstract要約: 未拡張幅の事前学習モデルには,「ロテリ・ジャックポット」と呼ばれる重量訓練を伴わずに,高性能で疎結合なサブネットワークが存在していることを示す。 トレーニング損失に悪影響を及ぼす可能性のあるマスクの変化を制限するための,新しい短い制限法を提案する。
• 参考スコア（独自算出の注目度）: 69.17690253938211
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Network pruning is an effective approach to reduce network complexity with acceptable performance compromise. Existing studies achieve the sparsity of neural networks via time-consuming weight training or complex searching on networks with expanded width, which greatly limits the applications of network pruning. In this paper, we show that high-performing and sparse sub-networks without the involvement of weight training, termed "lottery jackpots", exist in pre-trained models with unexpanded width. Furthermore, we improve the efficiency for searching lottery jackpots from two perspectives. Firstly, we observe that the sparse masks derived from many existing pruning criteria have a high overlap with the searched mask of our lottery jackpot, among which, the magnitude-based pruning results in the most similar mask with ours. Consequently, our searched lottery jackpot removes 90% weights in ResNet-50, while it easily obtains more than 70% top-1 accuracy using only 5 searching epochs on ImageNet. In compliance with this insight, we initialize our sparse mask using the magnitude-based pruning, resulting in at least 3x cost reduction on the lottery jackpot searching while achieving comparable or even better performance. Secondly, we conduct an in-depth analysis of the searching process for lottery jackpots. Our theoretical result suggests that the decrease in training loss during weight searching can be disturbed by the dependency between weights in modern networks. To mitigate this, we propose a novel short restriction method to restrict change of masks that may have potential negative impacts on the training loss. Our code is available at https://github.com/zyxxmu/lottery-jackpots.
• Abstract（参考訳）: ネットワークプルーニングは、許容できる性能の妥協によってネットワークの複雑さを減らす効果的なアプローチである。 既存の研究では、時間を要する重みトレーニングや、幅が拡大したネットワークの複雑な探索によって、ニューラルネットワークのスパース性を実現している。 本稿では,未拡張幅の事前学習モデルにおいて,重みトレーニングを伴わないハイパフォーマンスでスパースなサブネットワークであるlottery jackpotsの存在を示す。 さらに,2つの視点から宝くじの探索効率を向上させる。 まず,既存の刈り取り基準から得られたスパースマスクは,我々の宝くじの探索マスクと重なり合い,その内,等級に基づく刈り取りは我々のものと最もよく似たマスクとなることを観察した。 その結果、検索した宝くじのジャックポットはResNet-50の90%の重量を除去し、ImageNetの検索エポックは5つしかなく、70%以上のトップ-1の精度を得ることができた。 この知見に従えば、大まかなプルーニングを用いてスパースマスクを初期化し、ロタリー・ジャックポット探索において少なくとも3倍のコスト削減を実現しつつ、同等またはそれ以上の性能を達成することができる。 次に,宝くじの探索過程を詳細に解析する。 我々の理論的結果は、現代のネットワークにおける重み間の依存により、重量探索におけるトレーニング損失の減少が妨げられることを示唆している。 これを軽減するために,トレーニング損失に悪影響を及ぼす可能性のあるマスクの変化を制限するための,新しい制限手法を提案する。 私たちのコードはhttps://github.com/zyxxmu/lottery-jackpotsで利用可能です。

関連論文リスト

• Can We Find Strong Lottery Tickets in Generative Models? [24.405555822170896]
  重み付けを伴わずに良好な生成性能が得られる生成モデルでは、強力な宝くじが見つかる。 我々の知る限りでは、私たちは生成モデルにおける強力な宝くじの存在を初めて示し、それを見つけるアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2022-12-16T07:20:28Z)
• Training Your Sparse Neural Network Better with Any Mask [106.134361318518]
  高品質で独立したトレーニング可能なスパースマスクを作成するために、大規模なニューラルネットワークをプルーニングすることが望ましい。 本稿では、デフォルトの高密度ネットワークトレーニングプロトコルから逸脱するためにスパーストレーニングテクニックをカスタマイズできる別の機会を示す。 我々の新しいスパーストレーニングレシピは、スクラッチから様々なスパースマスクでトレーニングを改善するために一般的に適用されます。
  論文  参考訳（メタデータ） (2022-06-26T00:37:33Z)
• Dual Lottery Ticket Hypothesis [71.95937879869334]
  Lottery Ticket hypothesis (LTH)は、スパースネットワークトレーニングを調査し、その能力を維持するための新しい視点を提供する。 本稿では,LTHの当選チケットをトレーニング可能なサブネットワークとして,その性能をベンチマークとして検討する。 本稿では,簡単なスパースネットワークトレーニング戦略であるランダムスパースネットワークトランスフォーメーション(RST)を提案し,DLTHを裏付ける。
  論文  参考訳（メタデータ） (2022-03-08T18:06:26Z)
• You are caught stealing my winning lottery ticket! Making a lottery ticket claim its ownership [87.13642800792077]
  Lottery ticket hypothesis (LTH) は、特別なスパースサブネットワークを活用するための有望なフレームワークとして出現する。 しかし、LTHの主な資源ボトルネックは、当選チケットのスパースマスクを見つけるのに特別なコストである。 私たちの設定は、深層モデルの知的財産権侵害から保護することに対する最近の関心に新たな次元を与えます。
  論文  参考訳（メタデータ） (2021-10-30T03:38:38Z)
• Good Students Play Big Lottery Better [84.6111281091602]
  宝くじの仮説は、高密度ニューラルネットワークは、元の高密度ネットのテスト精度に一致できる疎サブネットワークを含むことを示唆している。 近年の研究では、巻き戻し技術を用いてスパースサブネットワークが得られることが示されている。 本論文では,KDチケット (Knowledge Distillation Ticket) と呼ばれるサブネットワークを再訓練する手法を提案する。
  論文  参考訳（メタデータ） (2021-01-08T23:33:53Z)
• Greedy Optimization Provably Wins the Lottery: Logarithmic Number of Winning Tickets is Enough [19.19644194006565]
  精度低下の許容範囲が指定されたニューラルネットワークのプルーク数を示す。 提案手法は,プルーンドネットワークと元のネットワークとの差が指数関数的に速い速度で減衰することを保証している。 本研究では,ResNet や MobilenetV2/V3 など,様々なネットワークアーキテクチャを ImageNet 上で刈り取る手法を実証的に改良する。
  論文  参考訳（メタデータ） (2020-10-29T22:06:31Z)
• ESPN: Extremely Sparse Pruned Networks [50.436905934791035]
  簡単な反復マスク探索法により,非常に深いネットワークの最先端の圧縮を実現することができることを示す。 本アルゴリズムは,シングルショット・ネットワーク・プルーニング法とロッテ・ティケット方式のハイブリッド・アプローチを示す。
  論文  参考訳（メタデータ） (2020-06-28T23:09:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。