論文の概要: COLT: Cyclic Overlapping Lottery Tickets for Faster Pruning of Convolutional Neural Networks

• arxiv url: http://arxiv.org/abs/2212.12770v1
• Date: Sat, 24 Dec 2022 16:38:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-27 14:33:29.389286
• Title: COLT: Cyclic Overlapping Lottery Tickets for Faster Pruning of Convolutional Neural Networks
• Title（参考訳）: colt: 畳み込みニューラルネットワークの高速プルーニングのための繰り返し重複抽選券
• Authors: Md. Ismail Hossain, Mohammed Rakib, M. M. Lutfe Elahi, Nabeel Mohammed and Shafin Rahman
• Abstract要約: 本研究の目的は、抽選チケットの集合から当選した宝くじを発生させることである。 本稿では,スクラッチからプルーンドネットワークをスクラッチに分割し,周期的再学習を行うことにより,Cyclic Overlapping Lottery Ticket (COLT) と呼ばれる新しい当選チケットを導入する。
• 参考スコア（独自算出の注目度）: 5.956029437413275
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pruning refers to the elimination of trivial weights from neural networks. The sub-networks within an overparameterized model produced after pruning are often called Lottery tickets. This research aims to generate winning lottery tickets from a set of lottery tickets that can achieve similar accuracy to the original unpruned network. We introduce a novel winning ticket called Cyclic Overlapping Lottery Ticket (COLT) by data splitting and cyclic retraining of the pruned network from scratch. We apply a cyclic pruning algorithm that keeps only the overlapping weights of different pruned models trained on different data segments. Our results demonstrate that COLT can achieve similar accuracies (obtained by the unpruned model) while maintaining high sparsities. We show that the accuracy of COLT is on par with the winning tickets of Lottery Ticket Hypothesis (LTH) and, at times, is better. Moreover, COLTs can be generated using fewer iterations than tickets generated by the popular Iterative Magnitude Pruning (IMP) method. In addition, we also notice COLTs generated on large datasets can be transferred to small ones without compromising performance, demonstrating its generalizing capability. We conduct all our experiments on Cifar-10, Cifar-100 & TinyImageNet datasets and report superior performance than the state-of-the-art methods.
• Abstract（参考訳）: プルーニング(Pruning)とは、ニューラルネットワークから自明な重みを取り除くことを指す。 プランニング後に生成された過パラメータモデル内のサブネットワークは、しばしば宝くじと呼ばれる。 本研究は、原型未使用のネットワークと同様の精度を実現できる宝くじのセットから当選宝くじを生成することを目的としている。 本稿では,スクラッチからプルーンドネットワークを分割し,周期的に再学習することで,COLT(Cyclic Overlapping Lottery Ticket)と呼ばれる新しい当選チケットを導入する。 我々は、異なるデータセグメントで訓練された異なるプルーニングモデルの重み付けのみを保持する巡回プルーニングアルゴリズムを適用した。 以上の結果から,COLTは高い空隙を保ちながら(未開きモデルにより達成される)類似の精度を達成できることが示唆された。 また,COLTの精度は,LTH(Lottery Ticket hypothesis)の当選チケットと同等であり,時には良好であることを示す。 さらに、COLTは、人気のあるIMP(Iterative Magnitude Pruning)メソッドによって生成されるチケットよりも少ないイテレーションで生成することができる。 さらに,大規模データセット上で生成されたCOLTは,性能を損なうことなく,その一般化能力を示すことができる。 我々は,Cifar-10,Cifar-100およびTinyImageNetデータセット上で実験を行い,最先端の手法よりも優れた性能を報告した。

関連論文リスト

• Dual Lottery Ticket Hypothesis [71.95937879869334]
  Lottery Ticket hypothesis (LTH)は、スパースネットワークトレーニングを調査し、その能力を維持するための新しい視点を提供する。 本稿では,LTHの当選チケットをトレーニング可能なサブネットワークとして,その性能をベンチマークとして検討する。 本稿では,簡単なスパースネットワークトレーニング戦略であるランダムスパースネットワークトランスフォーメーション(RST)を提案し,DLTHを裏付ける。
  論文  参考訳（メタデータ） (2022-03-08T18:06:26Z)
• Coarsening the Granularity: Towards Structurally Sparse Lottery Tickets [127.56361320894861]
  ロッテリーチケット仮説 (LTH) は、密集したモデルには厳密なスパースワーク(すなわち当選チケット)が含まれており、完全な正確性に合わせるために単独で訓練できることを示した。 本稿では,構造的にスパースな入賞券が一般に有効に発見できるという,最初の肯定的な結果を示す。 具体的には、まず、重要と考えられるいくつかのチャネルで「再充填」された要素を返却し、次に非ゼロ要素を「再群」して、柔軟なグループ単位の構造パターンを作成します。
  論文  参考訳（メタデータ） (2022-02-09T21:33:51Z)
• Super Tickets in Pre-Trained Language Models: From Model Compression to Improving Generalization [65.23099004725461]
  非常に過度にパラメータ化されたモデルにおいて,このようなチケットのコレクションを「勝利チケット」と呼ぶ。 また, ある圧縮比において, 当選チケットの一般化性能は, 一致しただけでなく, フルモデルを上回ることが確認された。
  論文  参考訳（メタデータ） (2021-05-25T15:10:05Z)
• The Elastic Lottery Ticket Hypothesis [106.79387235014379]
  Lottery Ticket Hypothesisは、スパーストレーニング可能なワークスや優勝チケットの識別に注意を向けています。 そのような勝利チケットを識別する最も効果的な方法は、まだ反復マグニチュードベースのPruningです。 我々は,同じモデルファミリーの異なるネットワークから得られる当選チケットを微調整する様々な戦略を提案する。
  論文  参考訳（メタデータ） (2021-03-30T17:53:45Z)
• Good Students Play Big Lottery Better [84.6111281091602]
  宝くじの仮説は、高密度ニューラルネットワークは、元の高密度ネットのテスト精度に一致できる疎サブネットワークを含むことを示唆している。 近年の研究では、巻き戻し技術を用いてスパースサブネットワークが得られることが示されている。 本論文では,KDチケット (Knowledge Distillation Ticket) と呼ばれるサブネットワークを再訓練する手法を提案する。
  論文  参考訳（メタデータ） (2021-01-08T23:33:53Z)
• Winning Lottery Tickets in Deep Generative Models [64.79920299421255]
  本稿では,GANやVAEなどの深層生成モデルにおいて,入賞チケットの存在を示す。 また、異なる生成モデル間での当選チケットの転送可能性を示す。
  論文  参考訳（メタデータ） (2020-10-05T21:45:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。