論文の概要: Lottery Jackpots Exist in Pre-trained Models

• arxiv url: http://arxiv.org/abs/2104.08700v1
• Date: Sun, 18 Apr 2021 03:50:28 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-22 12:26:47.006362
• Title: Lottery Jackpots Exist in Pre-trained Models
• Title（参考訳）: 豪華なジャックポット、訓練済みモデルで現存
• Authors: Yuxin Zhang, Mingbao Lin, Fei Chao, Yan Wang, Yongjian Wu, Feiyue Huang, Mingliang Xu, Yonghong Tian, Rongrong Ji
• Abstract要約: 未拡張幅の事前学習モデルにハイパフォーマンス・スパースサブネットワークが存在することを示す。 私たちはわずか10%のパラメータを持つ宝くじジャックポットを取得し、まだ元の高密度VGGNet-19のパフォーマンスに達します。
• 参考スコア（独自算出の注目度）: 114.17565072544672
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Network pruning is an effective approach to reduce network complexity without performance compromise. Existing studies achieve the sparsity of neural networks via time-consuming weight tuning or complex search on networks with expanded width, which greatly limits the applications of network pruning. In this paper, we show that high-performing and sparse sub-networks without the involvement of weight tuning, termed "lottery jackpots", exist in pre-trained models with unexpanded width. For example, we obtain a lottery jackpot that has only 10% parameters and still reaches the performance of the original dense VGGNet-19 without any modifications on the pre-trained weights. Furthermore, we observe that the sparse masks derived from many existing pruning criteria have a high overlap with the searched mask of our lottery jackpot, among which, the magnitude-based pruning results in the most similar mask with ours. Based on this insight, we initialize our sparse mask using the magnitude pruning, resulting in at least 3x cost reduction on the lottery jackpot search while achieves comparable or even better performance. Specifically, our magnitude-based lottery jackpot removes 90% weights in the ResNet-50, while easily obtains more than 70% top-1 accuracy using only 10 searching epochs on ImageNet.
• Abstract（参考訳）: ネットワークプルーニングは、パフォーマンスを損なうことなく、ネットワークの複雑さを減らす効果的なアプローチである。 既存の研究は、時間を要する重み付けや、幅の広いネットワーク上の複雑な探索を通じて、ニューラルネットワークの空間性を達成している。 本稿では, 重み調整を伴わない高パフォーマンス, スパースなサブネットワークであるlottery jackpotsが, 未拡張幅の事前学習モデルに存在していることを示す。 例えば、10%のパラメータしか持たず、事前訓練された重みの修正なしに元のvggnet-19の性能に到達した宝くじジャックポットを得る。 さらに,既存のプルーニング基準から導出したばらばらなマスクは,宝くじジャッキポットの検索されたマスクと重なり,マグニチュードに基づくプルーニングは我々のマスクと最もよく似たマスクとなることを観察した。 この知見に基づいて,大まかなプルーニングを用いてスパースマスクを初期化することにより,宝くじ検索における少なくとも3倍のコスト削減を実現し,同等あるいはそれ以上の性能を実現した。 具体的には、我々の等級ベースの宝くじジャックポットはResNet-50の90%の重量を除去するが、ImageNetの検索エポックはわずか10回で70%以上の精度が得られる。

関連論文リスト

• Can We Find Strong Lottery Tickets in Generative Models? [24.405555822170896]
  重み付けを伴わずに良好な生成性能が得られる生成モデルでは、強力な宝くじが見つかる。 我々の知る限りでは、私たちは生成モデルにおける強力な宝くじの存在を初めて示し、それを見つけるアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2022-12-16T07:20:28Z)
• Training Your Sparse Neural Network Better with Any Mask [106.134361318518]
  高品質で独立したトレーニング可能なスパースマスクを作成するために、大規模なニューラルネットワークをプルーニングすることが望ましい。 本稿では、デフォルトの高密度ネットワークトレーニングプロトコルから逸脱するためにスパーストレーニングテクニックをカスタマイズできる別の機会を示す。 我々の新しいスパーストレーニングレシピは、スクラッチから様々なスパースマスクでトレーニングを改善するために一般的に適用されます。
  論文  参考訳（メタデータ） (2022-06-26T00:37:33Z)
• Dual Lottery Ticket Hypothesis [71.95937879869334]
  Lottery Ticket hypothesis (LTH)は、スパースネットワークトレーニングを調査し、その能力を維持するための新しい視点を提供する。 本稿では,LTHの当選チケットをトレーニング可能なサブネットワークとして,その性能をベンチマークとして検討する。 本稿では,簡単なスパースネットワークトレーニング戦略であるランダムスパースネットワークトランスフォーメーション(RST)を提案し,DLTHを裏付ける。
  論文  参考訳（メタデータ） (2022-03-08T18:06:26Z)
• You are caught stealing my winning lottery ticket! Making a lottery ticket claim its ownership [87.13642800792077]
  Lottery ticket hypothesis (LTH) は、特別なスパースサブネットワークを活用するための有望なフレームワークとして出現する。 しかし、LTHの主な資源ボトルネックは、当選チケットのスパースマスクを見つけるのに特別なコストである。 私たちの設定は、深層モデルの知的財産権侵害から保護することに対する最近の関心に新たな次元を与えます。
  論文  参考訳（メタデータ） (2021-10-30T03:38:38Z)
• Good Students Play Big Lottery Better [84.6111281091602]
  宝くじの仮説は、高密度ニューラルネットワークは、元の高密度ネットのテスト精度に一致できる疎サブネットワークを含むことを示唆している。 近年の研究では、巻き戻し技術を用いてスパースサブネットワークが得られることが示されている。 本論文では,KDチケット (Knowledge Distillation Ticket) と呼ばれるサブネットワークを再訓練する手法を提案する。
  論文  参考訳（メタデータ） (2021-01-08T23:33:53Z)
• Greedy Optimization Provably Wins the Lottery: Logarithmic Number of Winning Tickets is Enough [19.19644194006565]
  精度低下の許容範囲が指定されたニューラルネットワークのプルーク数を示す。 提案手法は,プルーンドネットワークと元のネットワークとの差が指数関数的に速い速度で減衰することを保証している。 本研究では,ResNet や MobilenetV2/V3 など,様々なネットワークアーキテクチャを ImageNet 上で刈り取る手法を実証的に改良する。
  論文  参考訳（メタデータ） (2020-10-29T22:06:31Z)
• ESPN: Extremely Sparse Pruned Networks [50.436905934791035]
  簡単な反復マスク探索法により,非常に深いネットワークの最先端の圧縮を実現することができることを示す。 本アルゴリズムは,シングルショット・ネットワーク・プルーニング法とロッテ・ティケット方式のハイブリッド・アプローチを示す。
  論文  参考訳（メタデータ） (2020-06-28T23:09:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。