論文の概要: Coarsening the Granularity: Towards Structurally Sparse Lottery Tickets
- arxiv url: http://arxiv.org/abs/2202.04736v1
- Date: Wed, 9 Feb 2022 21:33:51 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-11 14:42:58.650126
- Title: Coarsening the Granularity: Towards Structurally Sparse Lottery Tickets
- Title（参考訳）: 粒状化:構造的に粗末な宝くじをめざして
- Authors: Tianlong Chen, Xuxi Chen, Xiaolong Ma, Yanzhi Wang, Zhangyang Wang
- Abstract要約: ロッテリーチケット仮説 (LTH) は、密集したモデルには厳密なスパースワーク(すなわち当選チケット)が含まれており、完全な正確性に合わせるために単独で訓練できることを示した。
本稿では,構造的にスパースな入賞券が一般に有効に発見できるという,最初の肯定的な結果を示す。
具体的には、まず、重要と考えられるいくつかのチャネルで「再充填」された要素を返却し、次に非ゼロ要素を「再群」して、柔軟なグループ単位の構造パターンを作成します。
- 参考スコア（独自算出の注目度）: 127.56361320894861
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The lottery ticket hypothesis (LTH) has shown that dense models contain
highly sparse subnetworks (i.e., winning tickets) that can be trained in
isolation to match full accuracy. Despite many exciting efforts being made,
there is one "commonsense" seldomly challenged: a winning ticket is found by
iterative magnitude pruning (IMP) and hence the resultant pruned subnetworks
have only unstructured sparsity. That gap limits the appeal of winning tickets
in practice, since the highly irregular sparse patterns are challenging to
accelerate on hardware. Meanwhile, directly substituting structured pruning for
unstructured pruning in IMP damages performance more severely and is usually
unable to locate winning tickets.
In this paper, we demonstrate the first positive result that a structurally
sparse winning ticket can be effectively found in general. The core idea is to
append "post-processing techniques" after each round of (unstructured) IMP, to
enforce the formation of structural sparsity. Specifically, we first "re-fill"
pruned elements back in some channels deemed to be important, and then
"re-group" non-zero elements to create flexible group-wise structural patterns.
Both our identified channel- and group-wise structural subnetworks win the
lottery, with substantial inference speedups readily supported by existing
hardware. Extensive experiments, conducted on diverse datasets across multiple
network backbones, consistently validate our proposal, showing that the
hardware acceleration roadblock of LTH is now removed. Specifically, the
structural winning tickets obtain up to {64.93%, 64.84%, 64.84%} running time
savings at {36% ~ 80%, 74%, 58%} sparsity on {CIFAR, Tiny-ImageNet, ImageNet},
while maintaining comparable accuracy. Codes are available in
https://github.com/VITA-Group/Structure-LTH.
- Abstract（参考訳）: 宝くじ仮説(lth: lottery ticket hypothesis)は、密集したモデルに非常にスパースなサブネットワーク(すなわち勝利のチケット)が含まれており、完全な正確性に合うように訓練できることを示した。
多くのエキサイティングな努力がなされているにもかかわらず、勝利のチケットはイテレーティブ・マグニチュード・プルーニング(IMP)によって見出され、その結果、プルーニングされたサブネットは非構造化の空間しか持たない。
このギャップは、非常に不規則なスパースパターンがハードウェア上で加速することが難しいため、実際に勝つチケットの魅力を制限する。
一方,unstructured pruning for unstructured pruning in impによる構造的pruningの直接置換は,より厳しい性能を損なう。
本稿では,構造的にばらばらな入賞券を効果的に発見できる最初のポジティブな結果を示す。
中心となる考え方は、各ラウンド(非構造化)impの後に「後処理技術」を付加し、構造的スパーシティの形成を強制することである。
具体的には、まず「再充填」した要素を重要と見なされるいくつかのチャネルに戻すと、非ゼロ要素を「再グループ化」して、柔軟なグループ的な構造パターンを作ります。
我々の特定チャネルおよびグループ単位の構造サブネットが、既存のハードウェアで容易にサポートされ、宝くじに勝つ。
複数のネットワークバックボーンにまたがる多様なデータセットで実施された大規模な実験は、我々の提案を一貫して検証し、LTHのハードウェアアクセラレーションの障害が取り除かれたことを示す。
具体的には、構造的な当選チケットは{64.93%, 64.84%, 64.84%} 実行時間の節約が {36% ~ 80%, 74%, 58%} となり、{cifar, tiny-imagenet, imagenet} と同等の精度を保っている。
コードはhttps://github.com/VITA-Group/Structure-LTHで公開されている。
関連論文リスト
- Instant Soup: Cheap Pruning Ensembles in A Single Pass Can Draw Lottery
Tickets from Large Models [106.19385911520652]
Lottery Ticket hypothesis (LTH)とその変種は、パラメーターワークを生成する大規模な事前訓練モデルを作成するために利用されてきた。
LTHは反復的フルトレーニングと反復的マグニチュードプルーニング(IMP)のプルーニングルーチンによって著しく抑制される
Instant Soup Pruning (ISP) を提案する。
論文 参考訳（メタデータ） (2023-06-18T03:09:52Z) - When Layers Play the Lottery, all Tickets Win at Initialization [0.0]
プルーニングはディープネットワークの計算コストを削減する手法である。
そこで本研究では,プルーニング処理によって層が取り除かれた場合の当選チケットの発見を提案する。
優勝チケットは特にトレーニングフェーズをスピードアップし、二酸化炭素排出量の最大51%を削減しています。
論文 参考訳（メタデータ） (2023-01-25T21:21:15Z) - COLT: Cyclic Overlapping Lottery Tickets for Faster Pruning of
Convolutional Neural Networks [5.956029437413275]
本研究の目的は、抽選チケットの集合から当選した宝くじを発生させることである。
本稿では,スクラッチからプルーンドネットワークをスクラッチに分割し,周期的再学習を行うことにより,Cyclic Overlapping Lottery Ticket (COLT) と呼ばれる新しい当選チケットを導入する。
論文 参考訳（メタデータ） (2022-12-24T16:38:59Z) - Dual Lottery Ticket Hypothesis [71.95937879869334]
Lottery Ticket hypothesis (LTH)は、スパースネットワークトレーニングを調査し、その能力を維持するための新しい視点を提供する。
本稿では,LTHの当選チケットをトレーニング可能なサブネットワークとして,その性能をベンチマークとして検討する。
本稿では,簡単なスパースネットワークトレーニング戦略であるランダムスパースネットワークトランスフォーメーション(RST)を提案し,DLTHを裏付ける。
論文 参考訳（メタデータ） (2022-03-08T18:06:26Z) - Plant 'n' Seek: Can You Find the Winning Ticket? [6.85316573653194]
宝くじの仮説は、構造学習を行うプルーニングアルゴリズムの急速な発展を引き起こした。
我々は、非常に疎いネットワークトポロジを手作りし、それらを大きなニューラルネットワークに植え込み、最先端の宝くじ改札方法を評価する。
論文 参考訳（メタデータ） (2021-11-22T12:32:25Z) - Efficient Lottery Ticket Finding: Less Data is More [87.13642800792077]
Lottery ticket hypothesis (LTH) は、高密度ネットワークに対する当選チケット(希少だが批判的)の存在を明らかにする。
入場券の発見には, 列車プルー・リトラクションのプロセスにおいて, 煩雑な計算が必要となる。
本稿では、特別に選択されたデータのみを用いて、より効率的に宝くじを発見できる新しい視点を探求する。
論文 参考訳（メタデータ） (2021-06-06T19:58:17Z) - The Elastic Lottery Ticket Hypothesis [106.79387235014379]
Lottery Ticket Hypothesisは、スパーストレーニング可能なワークスや優勝チケットの識別に注意を向けています。
そのような勝利チケットを識別する最も効果的な方法は、まだ反復マグニチュードベースのPruningです。
我々は,同じモデルファミリーの異なるネットワークから得られる当選チケットを微調整する様々な戦略を提案する。
論文 参考訳（メタデータ） (2021-03-30T17:53:45Z) - Good Students Play Big Lottery Better [84.6111281091602]
宝くじの仮説は、高密度ニューラルネットワークは、元の高密度ネットのテスト精度に一致できる疎サブネットワークを含むことを示唆している。
近年の研究では、巻き戻し技術を用いてスパースサブネットワークが得られることが示されている。
本論文では,KDチケット (Knowledge Distillation Ticket) と呼ばれるサブネットワークを再訓練する手法を提案する。
論文 参考訳（メタデータ） (2021-01-08T23:33:53Z) - Bespoke vs. Pr\^et-\`a-Porter Lottery Tickets: Exploiting Mask
Similarity for Trainable Sub-Network Finding [0.913755431537592]
Lottery Ticketsは、過度にパラメータ化されたネットワーク内のスパースサブネットワークである。
精巧な宝くじを生成するためのコンセンサスに基づく手法を提案する。
これらのサブネットワークを通常の宝くじに匹敵するパフォーマンスでトレーニングすることに成功しました。
論文 参考訳（メタデータ） (2020-07-06T22:48:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。