論文の概要: Partial Search in a Frozen Network is Enough to Find a Strong Lottery Ticket

• arxiv url: http://arxiv.org/abs/2402.14029v1
• Date: Tue, 20 Feb 2024 03:14:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-23 17:30:16.598870
• Title: Partial Search in a Frozen Network is Enough to Find a Strong Lottery Ticket
• Title（参考訳）: 冷凍ネットワークにおける部分探索は、強力なロテリチケットを見つけるのに十分である
• Authors: Hikari Otsuka, Daiki Chijiwa, \'Angel L\'opez Garc\'ia-Arias, Yasuyuki Okoshi, Kazushi Kawamura, Thiem Van Chu, Daichi Fujiki, Susumu Takeuchi, Masato Motomura
• Abstract要約: ランダムに密集したネットワークは、ウェイトラーニングなしで高い精度を達成する--強い宝くじ(SLT) 本稿では,所望のSLT間隔に依存しない任意の比でSLT探索空間を縮小する手法を提案する。 実験により,提案手法は高密度あるいはランダムに切断されたソースネットワークから得られたSLTよりも精度が高く,モデルサイズのトレードオフも良好であることがわかった。
• 参考スコア（独自算出の注目度）: 4.296242531100888
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Randomly initialized dense networks contain subnetworks that achieve high accuracy without weight learning -- strong lottery tickets (SLTs). Recently, Gadhikar et al. (2023) demonstrated theoretically and experimentally that SLTs can also be found within a randomly pruned source network, thus reducing the SLT search space. However, this limits the search to SLTs that are even sparser than the source, leading to worse accuracy due to unintentionally high sparsity. This paper proposes a method that reduces the SLT search space by an arbitrary ratio that is independent of the desired SLT sparsity. A random subset of the initial weights is excluded from the search space by freezing it -- i.e., by either permanently pruning them or locking them as a fixed part of the SLT. Indeed, the SLT existence in such a reduced search space is theoretically guaranteed by our subset-sum approximation with randomly frozen variables. In addition to reducing search space, the random freezing pattern can also be exploited to reduce model size in inference. Furthermore, experimental results show that the proposed method finds SLTs with better accuracy and model size trade-off than the SLTs obtained from dense or randomly pruned source networks. In particular, the SLT found in a frozen graph neural network achieves higher accuracy than its weight trained counterpart while reducing model size by $40.3\times$.
• Abstract（参考訳）: Randomly initialized dense networks contain subnetworks that achieve high accuracy without weight learning -- strong lottery tickets (SLTs). Recently, Gadhikar et al. (2023) demonstrated theoretically and experimentally that SLTs can also be found within a randomly pruned source network, thus reducing the SLT search space. However, this limits the search to SLTs that are even sparser than the source, leading to worse accuracy due to unintentionally high sparsity. This paper proposes a method that reduces the SLT search space by an arbitrary ratio that is independent of the desired SLT sparsity. A random subset of the initial weights is excluded from the search space by freezing it -- i.e., by either permanently pruning them or locking them as a fixed part of the SLT. 実際、そのような縮小探索空間におけるSLTの存在は、ランダムに凍結された変数を持つ部分集合sum近似によって理論的に保証される。 探索空間の削減に加えて、ランダム凍結パターンを利用して推論のモデルサイズを縮小することもできる。 さらに, 実験結果から, SLTの精度とモデルサイズとのトレードオフが, 濃密あるいはランダムな音源ネットワークから得られたSLTよりも優れていることがわかった。 特に、凍結グラフニューラルネットワークで見つかったSLTは、トレーニング対象の重量よりも高い精度を実現し、モデルサイズを40.3\times$に削減する。

関連論文リスト

• On the Sparsity of the Strong Lottery Ticket Hypothesis [8.47014750905382]
  最近の研究で、任意のニューラルネットワークを正確に近似できるランダムニューラルネットワークの$N$ containsworksが示されている。 古典的セッティングにおけるStrong Lottery Ticket仮説の最初の証明を提供する。
  論文  参考訳（メタデータ） (2024-10-18T06:57:37Z)
• Random Search as a Baseline for Sparse Neural Network Architecture Search [0.0]
  スパースニューラルネットワークは、高いパラメータ効率を保ちながら、密度の高いニューラルネットワークと同じような、あるいはより良い性能を示している。 これは、高性能なスパースネットワークを学習したり、検索したりするための多くの研究の動機となった。 本稿では,適切なスパース構成を求めるためのベースラインアルゴリズムとしてランダム検索を提案し,その性能について検討する。 本研究では,このスパースアーキテクチャ探索タスクにおいて,ランダムサーチによって発見されたスパースネットワークは,ランダムサーチよりも効率よくも効率良くも収束もできないことを観察する。
  論文  参考訳（メタデータ） (2024-03-13T05:32:13Z)
• ELSA: Partial Weight Freezing for Overhead-Free Sparse Network Deployment [95.04504362111314]
  本稿では,異なるレベルの空間に容易に展開可能な深層ネットワーク構築のための実用的ソリューションであるELSAを提案する。 中心となる考え方は、重みの適切なサブセットとして、1つの高密度ネットワークに1つ以上のスパースネットワークを埋め込むことである。 予測時には、任意のスパースモデルを、予め定義されたマスクに従って単純に重みをゼロにすることができる。
  論文  参考訳（メタデータ） (2023-12-11T22:44:05Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• Efficient Stein Variational Inference for Reliable Distribution-lossless Network Pruning [23.22021752821507]
  バニラPという新しい分布損失の無い刈り取り法を提案し,ベイズ処理における刈り取り抽選の理論的検討を行った。 本手法は,プルーニングモデルの信頼性を定量化しながら,高性能なスペーサーネットワークを実現する。
  論文  参考訳（メタデータ） (2022-12-07T09:31:47Z)
• Not All Lotteries Are Made Equal [0.0]
  本研究は, モデルサイズとこれらのスパースサブネットワークの発見容易性の関係について検討する。 意外なことに、有限の予算の下では、小さなモデルの方がTicket Search(TS)の恩恵を受けることを示す実験を通して示します。
  論文  参考訳（メタデータ） (2022-06-16T13:41:36Z)
• Learning N:M Fine-grained Structured Sparse Neural Networks From Scratch [75.69506249886622]
  ディープニューラルネットワーク(DNN)におけるスパーシティは、資源制約された環境でモデルを圧縮し、加速するために広く研究されている。 本稿では,N:M細粒構造スパースネットワークのスクラッチからトレーニングを初めて行う。
  論文  参考訳（メタデータ） (2021-02-08T05:55:47Z)
• Self Sparse Generative Adversarial Networks [73.590634413751]
  GAN(Generative Adversarial Networks)は、敵対的トレーニングを通じてデータ分布を学習する監視されていない生成モデルである。 本論文では,パラメータ空間を小さくし,ゼロ勾配問題を軽減するSelf Sparse Generative Adversarial Network (Self-Sparse GAN)を提案する。
  論文  参考訳（メタデータ） (2021-01-26T04:49:12Z)
• Good Students Play Big Lottery Better [84.6111281091602]
  宝くじの仮説は、高密度ニューラルネットワークは、元の高密度ネットのテスト精度に一致できる疎サブネットワークを含むことを示唆している。 近年の研究では、巻き戻し技術を用いてスパースサブネットワークが得られることが示されている。 本論文では,KDチケット (Knowledge Distillation Ticket) と呼ばれるサブネットワークを再訓練する手法を提案する。
  論文  参考訳（メタデータ） (2021-01-08T23:33:53Z)
• ESPN: Extremely Sparse Pruned Networks [50.436905934791035]
  簡単な反復マスク探索法により,非常に深いネットワークの最先端の圧縮を実現することができることを示す。 本アルゴリズムは,シングルショット・ネットワーク・プルーニング法とロッテ・ティケット方式のハイブリッド・アプローチを示す。
  論文  参考訳（メタデータ） (2020-06-28T23:09:27Z)
• Variational Depth Search in ResNets [2.6763498831034043]
  ワンショットのニューラルアーキテクチャサーチにより、ウェイトとネットワークアーキテクチャの合同学習が可能になり、計算コストが削減される。 探索空間を残差ネットワークの深さに制限し、解析的に抽出可能な変分目的を定式化し、1ショットで近似された奥行きの奥行きの偏りを許容する。 MNIST, Fashion-MNIST, SVHNデータセットのネットワーク深度を手動で探索する手法の比較を行った。
  論文  参考訳（メタデータ） (2020-02-06T16:00:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。