論文の概要: Juvenile state hypothesis: What we can learn from lottery ticket hypothesis researches?

• arxiv url: http://arxiv.org/abs/2109.03862v1
• Date: Wed, 8 Sep 2021 18:22:00 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-11 10:26:06.325137
• Title: Juvenile state hypothesis: What we can learn from lottery ticket hypothesis researches?
• Title（参考訳）: 少年国家仮説:宝くじ券仮説の研究から何が学べるのか?
• Authors: Di Zhang
• Abstract要約: オリジナルの抽選チケット仮説は、トレーニング収束後のプルーニングとウェイトリセットを実行する。 本稿では,ニューラルネットワーク構造探索とプルーニングアルゴリズムを併用してこの問題を緩和する戦略を提案する。
• 参考スコア（独自算出の注目度）: 1.701869491238765
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The proposition of lottery ticket hypothesis revealed the relationship between network structure and initialization parameters and the learning potential of neural networks. The original lottery ticket hypothesis performs pruning and weight resetting after training convergence, exposing it to the problem of forgotten learning knowledge and potential high cost of training. Therefore, we propose a strategy that combines the idea of neural network structure search with a pruning algorithm to alleviate this problem. This algorithm searches and extends the network structure on existing winning ticket sub-network to producing new winning ticket recursively. This allows the training and pruning process to continue without compromising performance. A new winning ticket sub-network with deeper network structure, better generalization ability and better test performance can be obtained in this recursive manner. This method can solve: the difficulty of training or performance degradation of the sub-networks after pruning, the forgetting of the weights of the original lottery ticket hypothesis and the difficulty of generating winning ticket sub-network when the final network structure is not given. We validate this strategy on the MNIST and CIFAR-10 datasets. And after relating it to similar biological phenomena and relevant lottery ticket hypothesis studies in recent years, we will further propose a new hypothesis to discuss which factors that can keep a network juvenile, i.e., those possible factors that influence the learning potential or generalization performance of a neural network during training.
• Abstract（参考訳）: 抽選券仮説の提案は、ネットワーク構造と初期化パラメータとニューラルネットワークの学習ポテンシャルの関係を明らかにした。 オリジナルの抽選券仮説は、トレーニング収束後のプルーニングとウェイトリセットを行い、忘れられた学習知識の問題と潜在的な訓練コストに公開する。 そこで本稿では,ニューラルネットワーク構造探索とプルーニングアルゴリズムを併用してこの問題を緩和する戦略を提案する。 このアルゴリズムは、既存の入賞券サブネットワーク上のネットワーク構造を検索して拡張し、新たな入賞券を再帰的に生成する。 これにより、トレーニングとプルーニングプロセスがパフォーマンスを損なうことなく継続できる。 この再帰的な方法で、より深いネットワーク構造、より良い一般化能力、より良いテスト性能を有する新しい入賞切符サブネットワークを得ることができる。 プルーニング後のサブネットワークの訓練や性能低下の難しさ、元の抽選券仮説の重み付けの忘れ、最終ネットワーク構造が与えられていない場合の当選券サブネットワークの生成の難しさを解決できる。 MNISTとCIFAR-10データセットでこの戦略を検証する。 そして,近年の同様の生物学的現象と関連する宝くじの仮説を関連づけた上で,ネットワークの幼少期を維持する要因,すなわちトレーニング中のニューラルネットワークの学習可能性や一般化性能に影響を与える要因について議論する新たな仮説を提案する。

関連論文リスト

• Dual Lottery Ticket Hypothesis [71.95937879869334]
  Lottery Ticket hypothesis (LTH)は、スパースネットワークトレーニングを調査し、その能力を維持するための新しい視点を提供する。 本稿では,LTHの当選チケットをトレーニング可能なサブネットワークとして,その性能をベンチマークとして検討する。 本稿では,簡単なスパースネットワークトレーニング戦略であるランダムスパースネットワークトランスフォーメーション(RST)を提案し,DLTHを裏付ける。
  論文  参考訳（メタデータ） (2022-03-08T18:06:26Z)
• Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity on Pruned Neural Networks [79.74580058178594]
  目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。 本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
  論文  参考訳（メタデータ） (2021-10-12T01:11:07Z)
• FreeTickets: Accurate, Robust and Efficient Deep Ensemble by Training with Dynamic Sparsity [74.58777701536668]
  我々は、疎い畳み込みニューラルネットワークの性能を、ネットワークの高密度な部分よりも大きなマージンで向上させることができるFreeTicketsの概念を紹介した。 本研究では, ダイナミックな間隔を持つ2つの新しい効率的なアンサンブル手法を提案し, スパーストレーニング過程において, 多数の多様かつ正確なチケットを「無償」で撮影する。
  論文  参考訳（メタデータ） (2021-06-28T10:48:20Z)
• The Elastic Lottery Ticket Hypothesis [106.79387235014379]
  Lottery Ticket Hypothesisは、スパーストレーニング可能なワークスや優勝チケットの識別に注意を向けています。 そのような勝利チケットを識別する最も効果的な方法は、まだ反復マグニチュードベースのPruningです。 我々は,同じモデルファミリーの異なるネットワークから得られる当選チケットを微調整する様々な戦略を提案する。
  論文  参考訳（メタデータ） (2021-03-30T17:53:45Z)
• Good Students Play Big Lottery Better [84.6111281091602]
  宝くじの仮説は、高密度ニューラルネットワークは、元の高密度ネットのテスト精度に一致できる疎サブネットワークを含むことを示唆している。 近年の研究では、巻き戻し技術を用いてスパースサブネットワークが得られることが示されている。 本論文では,KDチケット (Knowledge Distillation Ticket) と呼ばれるサブネットワークを再訓練する手法を提案する。
  論文  参考訳（メタデータ） (2021-01-08T23:33:53Z)
• Towards Practical Lottery Ticket Hypothesis for Adversarial Training [78.30684998080346]
  トレーニングプロセス中にはるかに高速に収束する,前述のサブネットワークのサブセットが存在することを示す。 本研究の実践的応用として,このようなサブネットワークは,対人訓練の総時間を短縮する上で有効であることを示す。
  論文  参考訳（メタデータ） (2020-03-06T03:11:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。