論文の概要: Finding Strong Lottery Ticket Networks with Genetic Algorithms
- arxiv url: http://arxiv.org/abs/2411.04658v1
- Date: Thu, 07 Nov 2024 12:35:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-08 19:39:43.987879
- Title: Finding Strong Lottery Ticket Networks with Genetic Algorithms
- Title（参考訳）: 遺伝的アルゴリズムによる強ロッキーチケットネットワークの探索
- Authors: Philipp Altmann, Julian Schönberger, Maximilian Zorn, Thomas Gabor,
- Abstract要約: Strong Lottery Ticket仮説によると、ランダムな重みを持つ十分に大きなニューラルネットワークには、トレーニングされたスーパーネットワークと同様に、与えられたタスクのために既に機能しているサブネットワークが含まれている。
遺伝的アルゴリズムをベースとしたアプローチとして,トレーニングや勾配計算を行わずに,このような強力な宝くじのサブネットワークを見つける方法を提案する。
- 参考スコア（独自算出の注目度）: 3.1267592104279776
- License:
- Abstract: According to the Strong Lottery Ticket Hypothesis, every sufficiently large neural network with randomly initialized weights contains a sub-network which - still with its random weights - already performs as well for a given task as the trained super-network. We present the first approach based on a genetic algorithm to find such strong lottery ticket sub-networks without training or otherwise computing any gradient. We show that, for smaller instances of binary classification tasks, our evolutionary approach even produces smaller and better-performing lottery ticket networks than the state-of-the-art approach using gradient information.
- Abstract（参考訳）: Strong Lottery Ticket仮説によると、ランダムに初期化された重みを持つ十分に大きなニューラルネットワークにはサブネットワークが含まれている。
遺伝的アルゴリズムをベースとしたアプローチとして,トレーニングや勾配計算を行わずに,このような強力な宝くじのサブネットワークを見つける方法を提案する。
我々の進化的アプローチは、二項分類タスクの小さなインスタンスに対して、勾配情報を用いた最先端手法よりも小さくて優れた宝くじチケットネットワークを創出することさえ示している。
関連論文リスト
- Dual Lottery Ticket Hypothesis [71.95937879869334]
Lottery Ticket hypothesis (LTH)は、スパースネットワークトレーニングを調査し、その能力を維持するための新しい視点を提供する。
本稿では,LTHの当選チケットをトレーニング可能なサブネットワークとして,その性能をベンチマークとして検討する。
本稿では,簡単なスパースネットワークトレーニング戦略であるランダムスパースネットワークトランスフォーメーション(RST)を提案し,DLTHを裏付ける。
論文 参考訳（メタデータ） (2022-03-08T18:06:26Z) - Plant 'n' Seek: Can You Find the Winning Ticket? [6.85316573653194]
宝くじの仮説は、構造学習を行うプルーニングアルゴリズムの急速な発展を引き起こした。
我々は、非常に疎いネットワークトポロジを手作りし、それらを大きなニューラルネットワークに植え込み、最先端の宝くじ改札方法を評価する。
論文 参考訳（メタデータ） (2021-11-22T12:32:25Z) - Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity
on Pruned Neural Networks [79.74580058178594]
目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。
本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
論文 参考訳（メタデータ） (2021-10-12T01:11:07Z) - FreeTickets: Accurate, Robust and Efficient Deep Ensemble by Training
with Dynamic Sparsity [74.58777701536668]
我々は、疎い畳み込みニューラルネットワークの性能を、ネットワークの高密度な部分よりも大きなマージンで向上させることができるFreeTicketsの概念を紹介した。
本研究では, ダイナミックな間隔を持つ2つの新しい効率的なアンサンブル手法を提案し, スパーストレーニング過程において, 多数の多様かつ正確なチケットを「無償」で撮影する。
論文 参考訳（メタデータ） (2021-06-28T10:48:20Z) - Multi-Prize Lottery Ticket Hypothesis: Finding Accurate Binary Neural
Networks by Pruning A Randomly Weighted Network [13.193734014710582]
マルチプライズチケット(MPT)の検索アルゴリズムを提案し,CIFAR-10およびImageNetデータセット上で一連の実験を行うことで試験する。
当社のMTTs-1/32は、新しいバイナリウェイトネットワーク最新(SOTA)Top-1精度(CIFAR-10では94.8%、ImageNetでは74.03%)を設定するだけでなく、それぞれ1.78%と0.76%に上る。
論文 参考訳（メタデータ） (2021-03-17T00:31:24Z) - Good Students Play Big Lottery Better [84.6111281091602]
宝くじの仮説は、高密度ニューラルネットワークは、元の高密度ネットのテスト精度に一致できる疎サブネットワークを含むことを示唆している。
近年の研究では、巻き戻し技術を用いてスパースサブネットワークが得られることが示されている。
本論文では,KDチケット (Knowledge Distillation Ticket) と呼ばれるサブネットワークを再訓練する手法を提案する。
論文 参考訳（メタデータ） (2021-01-08T23:33:53Z) - ESPN: Extremely Sparse Pruned Networks [50.436905934791035]
簡単な反復マスク探索法により,非常に深いネットワークの最先端の圧縮を実現することができることを示す。
本アルゴリズムは,シングルショット・ネットワーク・プルーニング法とロッテ・ティケット方式のハイブリッド・アプローチを示す。
論文 参考訳（メタデータ） (2020-06-28T23:09:27Z) - Proving the Lottery Ticket Hypothesis: Pruning is All You Need [56.25432563818297]
抽選券仮説では、ランダムなdネットワークには、独立した訓練を受けた場合、元のネットワークの性能と競合する小さなサブネットワークが含まれている。
我々は、全ての有界分布と、有界重みを持つ全ての対象ネットワークに対して、ランダム重みを持つ十分に過度にパラメータ化されたニューラルネットワークは、目標ネットワークとほぼ同じ精度のサブネットワークを、それ以上のトレーニングなしに含んでいることを証明し、さらに強い仮説を証明した。
論文 参考訳（メタデータ） (2020-02-03T07:23:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。