論文の概要: Partially Frozen Random Networks Contain Compact Strong Lottery Tickets

• arxiv url: http://arxiv.org/abs/2402.14029v3
• Date: Sat, 08 Feb 2025 05:48:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-11 14:28:36.394319
• Title: Partially Frozen Random Networks Contain Compact Strong Lottery Tickets
• Title（参考訳）: 小型ロテリティケットを含む部分凍結ランダムネットワーク
• Authors: Hikari Otsuka, Daiki Chijiwa, Ángel López García-Arias, Yasuyuki Okoshi, Kazushi Kawamura, Thiem Van Chu, Daichi Fujiki, Susumu Takeuchi, Masato Motomura,
• Abstract要約: 本稿では, SLT の空間幅を制限することなく, SLT メモリサイズを小さくする手法を提案する。 実験結果から,Edge-Popupは,高密度あるいはランダムに切断されたソースネットワークよりも,冷凍ネットワーク内でのモデル間サイズトレードオフが良好であることがわかった。
• 参考スコア（独自算出の注目度）: 4.677449143134506
• License:
• Abstract: Randomly initialized dense networks contain subnetworks that achieve high accuracy without weight learning--strong lottery tickets (SLTs). Recently, Gadhikar et al. (2023) demonstrated that SLTs could also be found within a randomly pruned source network. This phenomenon can be exploited to further compress the small memory size required by SLTs. However, their method is limited to SLTs that are even sparser than the source, leading to worse accuracy due to unintentionally high sparsity. This paper proposes a method for reducing the SLT memory size without restricting the sparsity of the SLTs that can be found. A random subset of the initial weights is frozen by either permanently pruning them or locking them as a fixed part of the SLT, resulting in a smaller model size. Experimental results show that Edge-Popup (Ramanujan et al., 2020; Sreenivasan et al., 2022) finds SLTs with better accuracy-to-model size trade-off within frozen networks than within dense or randomly pruned source networks. In particular, freezing $70\%$ of a ResNet on ImageNet provides $3.3 \times$ compression compared to the SLT found within a dense counterpart, raises accuracy by up to $14.12$ points compared to the SLT found within a randomly pruned counterpart, and offers a better accuracy-model size trade-off than both.
• Abstract（参考訳）: ランダムに初期化された高密度ネットワークには、ウェイトラーニングなしで高い精度を達成するサブネット(SLT)が含まれている。 最近、Gadhikar et al (2023) は、ランダムに切断されたソースネットワーク内でも SLT が検出可能であることを示した。 この現象は、SLTが必要とする小さなメモリサイズをさらに圧縮するために利用することができる。 しかし、それらの手法はソースよりもスペーサーなSLTに限られており、意図しない高いスパシティのために精度が悪くなる。 本稿では, SLT の空間幅を制限することなく, SLT メモリサイズを小さくする手法を提案する。 初期重みのランダムな部分集合は、永久にプルーニングするか、SLTの固定部分としてロックすることで凍結され、結果としてモデルサイズが小さくなる。 実験結果から、Edge-Popup (Ramanujan et al , 2020; Sreenivasan et al , 2022) は、密あるいはランダムに切断されたソースネットワークよりも、冷凍ネットワーク内での精度とモデルサイズのトレードオフが優れていることがわかった。 特に、ImageNet上のResNetの凍結$70\%は、密度の高いSLTと比較して3.3 \times$圧縮を提供し、ランダムに切断されたSLTと比較して14.12$ポイントの精度を高め、両者よりも精度の高いモデルサイズトレードオフを提供する。

関連論文リスト

• On the Sparsity of the Strong Lottery Ticket Hypothesis [8.47014750905382]
  最近の研究で、任意のニューラルネットワークを正確に近似できるランダムニューラルネットワークの$N$ containsworksが示されている。 古典的セッティングにおけるStrong Lottery Ticket仮説の最初の証明を提供する。
  論文  参考訳（メタデータ） (2024-10-18T06:57:37Z)
• ELSA: Partial Weight Freezing for Overhead-Free Sparse Network Deployment [95.04504362111314]
  本稿では,異なるレベルの空間に容易に展開可能な深層ネットワーク構築のための実用的ソリューションであるELSAを提案する。 中心となる考え方は、重みの適切なサブセットとして、1つの高密度ネットワークに1つ以上のスパースネットワークを埋め込むことである。 予測時には、任意のスパースモデルを、予め定義されたマスクに従って単純に重みをゼロにすることができる。
  論文  参考訳（メタデータ） (2023-12-11T22:44:05Z)
• Lottery Pools: Winning More by Interpolating Tickets without Increasing Training or Inference Cost [28.70692607078139]
  ロッテリーチケット(LT)は、密集したネットワークの性能に合わせるために単独で訓練できる正確でまばらな作業を見つけることができる。 また,本手法は,流通シナリオとアウト・オブ・ディストリビューションシナリオの両方において,大幅な性能向上を実現していることを示す。
  論文  参考訳（メタデータ） (2022-08-23T09:50:55Z)
• Not All Lotteries Are Made Equal [0.0]
  本研究は, モデルサイズとこれらのスパースサブネットワークの発見容易性の関係について検討する。 意外なことに、有限の予算の下では、小さなモデルの方がTicket Search(TS)の恩恵を受けることを示す実験を通して示します。
  論文  参考訳（メタデータ） (2022-06-16T13:41:36Z)
• Dual Lottery Ticket Hypothesis [71.95937879869334]
  Lottery Ticket hypothesis (LTH)は、スパースネットワークトレーニングを調査し、その能力を維持するための新しい視点を提供する。 本稿では,LTHの当選チケットをトレーニング可能なサブネットワークとして,その性能をベンチマークとして検討する。 本稿では,簡単なスパースネットワークトレーニング戦略であるランダムスパースネットワークトランスフォーメーション(RST)を提案し,DLTHを裏付ける。
  論文  参考訳（メタデータ） (2022-03-08T18:06:26Z)
• Efficient Lottery Ticket Finding: Less Data is More [87.13642800792077]
  Lottery ticket hypothesis (LTH) は、高密度ネットワークに対する当選チケット(希少だが批判的)の存在を明らかにする。 入場券の発見には, 列車プルー・リトラクションのプロセスにおいて, 煩雑な計算が必要となる。 本稿では、特別に選択されたデータのみを用いて、より効率的に宝くじを発見できる新しい視点を探求する。
  論文  参考訳（メタデータ） (2021-06-06T19:58:17Z)
• Multi-Prize Lottery Ticket Hypothesis: Finding Accurate Binary Neural Networks by Pruning A Randomly Weighted Network [13.193734014710582]
  マルチプライズチケット(MPT)の検索アルゴリズムを提案し,CIFAR-10およびImageNetデータセット上で一連の実験を行うことで試験する。 当社のMTTs-1/32は、新しいバイナリウェイトネットワーク最新(SOTA)Top-1精度(CIFAR-10では94.8%、ImageNetでは74.03%)を設定するだけでなく、それぞれ1.78%と0.76%に上る。
  論文  参考訳（メタデータ） (2021-03-17T00:31:24Z)
• Learning N:M Fine-grained Structured Sparse Neural Networks From Scratch [75.69506249886622]
  ディープニューラルネットワーク(DNN)におけるスパーシティは、資源制約された環境でモデルを圧縮し、加速するために広く研究されている。 本稿では,N:M細粒構造スパースネットワークのスクラッチからトレーニングを初めて行う。
  論文  参考訳（メタデータ） (2021-02-08T05:55:47Z)
• Good Students Play Big Lottery Better [84.6111281091602]
  宝くじの仮説は、高密度ニューラルネットワークは、元の高密度ネットのテスト精度に一致できる疎サブネットワークを含むことを示唆している。 近年の研究では、巻き戻し技術を用いてスパースサブネットワークが得られることが示されている。 本論文では,KDチケット (Knowledge Distillation Ticket) と呼ばれるサブネットワークを再訓練する手法を提案する。
  論文  参考訳（メタデータ） (2021-01-08T23:33:53Z)
• Proving the Lottery Ticket Hypothesis: Pruning is All You Need [56.25432563818297]
  抽選券仮説では、ランダムなdネットワークには、独立した訓練を受けた場合、元のネットワークの性能と競合する小さなサブネットワークが含まれている。 我々は、全ての有界分布と、有界重みを持つ全ての対象ネットワークに対して、ランダム重みを持つ十分に過度にパラメータ化されたニューラルネットワークは、目標ネットワークとほぼ同じ精度のサブネットワークを、それ以上のトレーニングなしに含んでいることを証明し、さらに強い仮説を証明した。
  論文  参考訳（メタデータ） (2020-02-03T07:23:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。