論文の概要: Lottery Ticket Implies Accuracy Degradation, Is It a Desirable Phenomenon?

• arxiv url: http://arxiv.org/abs/2102.11068v1
• Date: Fri, 19 Feb 2021 14:49:46 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-23 15:24:24.503669
• Title: Lottery Ticket Implies Accuracy Degradation, Is It a Desirable Phenomenon?
• Title（参考訳）: 宝くじは精度の低下を招き、望まれる現象か?
• Authors: Ning Liu, Geng Yuan, Zhengping Che, Xuan Shen, Xiaolong Ma, Qing Jin, Jian Ren, Jian Tang, Sijia Liu, Yanzhi Wang
• Abstract要約: ディープモデル圧縮では、最近の発見 "Lottery Ticket Hypothesis" (LTH) (Frankle & Carbin) は、勝利チケットが存在する可能性があることを指摘しました。 勝利特性の背後にある基礎的条件と理論的根拠を調査し,その基礎的理由が重みと最終訓練重みの相関関係に大きく関係していることを見いだした。 宝くじのスパーストレーニングを一貫して上回る"pruning & fine-tuning"方式を提案します。
• 参考スコア（独自算出の注目度）: 43.47794674403988
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In deep model compression, the recent finding "Lottery Ticket Hypothesis" (LTH) (Frankle & Carbin, 2018) pointed out that there could exist a winning ticket (i.e., a properly pruned sub-network together with original weight initialization) that can achieve competitive performance than the original dense network. However, it is not easy to observe such winning property in many scenarios, where for example, a relatively large learning rate is used even if it benefits training the original dense model. In this work, we investigate the underlying condition and rationale behind the winning property, and find that the underlying reason is largely attributed to the correlation between initialized weights and final-trained weights when the learning rate is not sufficiently large. Thus, the existence of winning property is correlated with an insufficient DNN pretraining, and is unlikely to occur for a well-trained DNN. To overcome this limitation, we propose the "pruning & fine-tuning" method that consistently outperforms lottery ticket sparse training under the same pruning algorithm and the same total training epochs. Extensive experiments over multiple deep models (VGG, ResNet, MobileNet-v2) on different datasets have been conducted to justify our proposals.
• Abstract（参考訳）: ディープモデル圧縮において、最近発見された"Lottery Ticket hypothesis" (LTH) (Frankle & Carbin, 2018) は、オリジナルの高密度ネットワークよりも競争性能を達成できる勝利チケット(すなわち、オリジナルの重量初期化と共に適切に切断されたサブネットワーク)が存在することを指摘した。 しかし,多くのシナリオにおいて,このような勝利特性の観察は容易ではない。例えば,元の高密度モデルの学習に有用であるとしても,比較的大きな学習率が使用される。 本研究では,勝利特性の背景にある条件と理論的根拠について検討し,学習速度が不十分な場合,初期化重みと最終訓練重みとの相関が大きいことを明らかにする。 したがって、勝利特性の存在は不十分なDNN前訓練と相関しており、十分に訓練されたDNNでは起こりそうにない。 この制限を克服するために,同一のプルーニングアルゴリズムと同一のトータルトレーニング期間において,宝くじのスパーストレーニングを一貫して上回る「プルーニング&微調整」手法を提案する。 提案を正当化するために,複数の深層モデル(vgg,resnet,mobilenet-v2)に関する実験を行った。

関連論文リスト

• LOFT: Finding Lottery Tickets through Filter-wise Training [15.06694204377327]
  本稿では,このようなチケットの出現を効果的に識別し,この観測結果を用いて,効率的な事前学習アルゴリズムの設計を行う方法を示す。 We present the emphLOttery ticket through filter-wise Training algorithm, called textscLoFT。 textscLoFT $i)$は保存され、良い宝くじを見つける。
  論文  参考訳（メタデータ） (2022-10-28T14:43:42Z)
• Data-Efficient Double-Win Lottery Tickets from Robust Pre-training [129.85939347733387]
  本稿では,事前学習したモデルからのサブネットワークを,様々な下流タスクで独立に転送できるDouble-Win Lottery Ticketsを紹介する。 頑健な事前訓練は、標準的なものよりも優れたパフォーマンスで、スペーサーのダブルウィン・宝くじを製作する傾向にある。
  論文  参考訳（メタデータ） (2022-06-09T20:52:50Z)
• Dual Lottery Ticket Hypothesis [71.95937879869334]
  Lottery Ticket hypothesis (LTH)は、スパースネットワークトレーニングを調査し、その能力を維持するための新しい視点を提供する。 本稿では,LTHの当選チケットをトレーニング可能なサブネットワークとして,その性能をベンチマークとして検討する。 本稿では,簡単なスパースネットワークトレーニング戦略であるランダムスパースネットワークトランスフォーメーション(RST)を提案し,DLTHを裏付ける。
  論文  参考訳（メタデータ） (2022-03-08T18:06:26Z)
• Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity on Pruned Neural Networks [79.74580058178594]
  目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。 本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
  論文  参考訳（メタデータ） (2021-10-12T01:11:07Z)
• Towards Understanding Iterative Magnitude Pruning: Why Lottery Tickets Win [20.97456178983006]
  宝くじの仮説では、スパースワークはランダムに密集したネットワークに存在し、密集したネットワークと同じ精度でトレーニングすることができる。 線形モード接続に関して安定なトレーニング手法を用いることで、大規模なネットワークを初期化に完全に巻き戻すことができることを示す。
  論文  参考訳（メタデータ） (2021-06-13T10:06:06Z)
• The Elastic Lottery Ticket Hypothesis [106.79387235014379]
  Lottery Ticket Hypothesisは、スパーストレーニング可能なワークスや優勝チケットの識別に注意を向けています。 そのような勝利チケットを識別する最も効果的な方法は、まだ反復マグニチュードベースのPruningです。 我々は,同じモデルファミリーの異なるネットワークから得られる当選チケットを微調整する様々な戦略を提案する。
  論文  参考訳（メタデータ） (2021-03-30T17:53:45Z)
• Good Students Play Big Lottery Better [84.6111281091602]
  宝くじの仮説は、高密度ニューラルネットワークは、元の高密度ネットのテスト精度に一致できる疎サブネットワークを含むことを示唆している。 近年の研究では、巻き戻し技術を用いてスパースサブネットワークが得られることが示されている。 本論文では,KDチケット (Knowledge Distillation Ticket) と呼ばれるサブネットワークを再訓練する手法を提案する。
  論文  参考訳（メタデータ） (2021-01-08T23:33:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。