論文の概要: Randomly Initialized Subnetworks with Iterative Weight Recycling

• arxiv url: http://arxiv.org/abs/2303.15953v1
• Date: Tue, 28 Mar 2023 13:12:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-29 15:07:50.232473
• Title: Randomly Initialized Subnetworks with Iterative Weight Recycling
• Title（参考訳）: 繰り返し再資源化によるランダム初期化サブネット
• Authors: Matt Gorbett, Darrell Whitley
• Abstract要約: Multi-Prize Lottery Ticket仮説は、ランダムなニューラルネットワークには、同じアーキテクチャの完全に訓練されたモデルに匹敵する精度を達成する複数の作業が含まれていることを示唆している。 本稿では,ストレージコストやスケーリングを伴わずに高精度な処理を行う2つの最先端アルゴリズムの修正を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: The Multi-Prize Lottery Ticket Hypothesis posits that randomly initialized neural networks contain several subnetworks that achieve comparable accuracy to fully trained models of the same architecture. However, current methods require that the network is sufficiently overparameterized. In this work, we propose a modification to two state-of-the-art algorithms (Edge-Popup and Biprop) that finds high-accuracy subnetworks with no additional storage cost or scaling. The algorithm, Iterative Weight Recycling, identifies subsets of important weights within a randomly initialized network for intra-layer reuse. Empirically we show improvements on smaller network architectures and higher prune rates, finding that model sparsity can be increased through the "recycling" of existing weights. In addition to Iterative Weight Recycling, we complement the Multi-Prize Lottery Ticket Hypothesis with a reciprocal finding: high-accuracy, randomly initialized subnetwork's produce diverse masks, despite being generated with the same hyperparameter's and pruning strategy. We explore the landscapes of these masks, which show high variability.
• Abstract（参考訳）: マルチプライズ抽選券仮説は、ランダムに初期化されたニューラルネットワークには、同じアーキテクチャの完全に訓練されたモデルと同等の精度を達成するいくつかのサブネットワークが含まれていると仮定している。 しかし、現在の手法ではネットワークが十分に過度にパラメータ化されている必要がある。 本研究では,2つの最先端アルゴリズム(Edge-PopupとBiprop)を改良し,ストレージコストやスケーリングを伴わない高精度サブネットワークを提案する。 このアルゴリズムは、層内再利用のためにランダムに初期化されたネットワーク内で重要な重みのサブセットを同定する。 経験的に、より小さなネットワークアーキテクチャとより高いプーンレートの改善を示し、既存の重みの「リサイクル」によってモデル空間が拡大できることを見出した。 繰り返し重みのリサイクルに加えて,マルチプライズ抽選券仮説を補完し,高精度,ランダム初期化サブネットワークは,同一のハイパーパラメータとプルーニング戦略で生成されたにもかかわらず,多様なマスクを生産する。 我々はこれらのマスクの景観を探索し、高い変動性を示す。

関連論文リスト

• Post-Training Quantization for Re-parameterization via Coarse & Fine Weight Splitting [13.270381125055275]
  本稿では,重みの量子化誤差を低減するために,粗大かつ微細な重み分割法(CFWS)を提案する。 我々は、活性化のための最適な量子化尺度を決定するために改良されたKLメトリックを開発した。 例えば、量子化されたRepVGG-A1モデルは、わずか0.3%の精度損失を示す。
  論文  参考訳（メタデータ） (2023-12-17T02:31:20Z)
• Random Weights Networks Work as Loss Prior Constraint for Image Restoration [50.80507007507757]
  「画像復元の優先制約としてランダムウェイトネットワークを機能させることができる」という信念を提示する。」 我々の信念は、計算コストのトレーニングやテストなしに、既存のネットワークに直接挿入することができる。 強調しておきたいのは、損失関数の領域を刺激し、現在無視されている状態を保存することです。
  論文  参考訳（メタデータ） (2023-03-29T03:43:51Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• Parameter-Efficient Masking Networks [61.43995077575439]
  先進的なネットワーク設計は、しばしば多数の繰り返し構造を含む(例: Transformer)。 本研究では,マスクの学習により,一意値に制限された固定ランダムウェイトの代表的ポテンシャルについて検討する。 これはモデル圧縮のための新しいパラダイムをもたらし、モデルサイズを減少させます。
  論文  参考訳（メタデータ） (2022-10-13T03:39:03Z)
• Signing the Supermask: Keep, Hide, Invert [0.9475039534437331]
  ニューラルネットワークの初期重みを落とすか、それぞれの符号を反転させる新しいアプローチを提案する。 我々は,様々なベースラインモデルと過去のモデルとをマッチングまたはオーバーしながら,最大99%のプルーニング率を達成する。
  論文  参考訳（メタデータ） (2022-01-31T17:17:37Z)
• Multi-Prize Lottery Ticket Hypothesis: Finding Accurate Binary Neural Networks by Pruning A Randomly Weighted Network [13.193734014710582]
  マルチプライズチケット(MPT)の検索アルゴリズムを提案し,CIFAR-10およびImageNetデータセット上で一連の実験を行うことで試験する。 当社のMTTs-1/32は、新しいバイナリウェイトネットワーク最新(SOTA)Top-1精度(CIFAR-10では94.8%、ImageNetでは74.03%)を設定するだけでなく、それぞれ1.78%と0.76%に上る。
  論文  参考訳（メタデータ） (2021-03-17T00:31:24Z)
• Manifold Regularized Dynamic Network Pruning [102.24146031250034]
  本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。 提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-10T03:59:03Z)
• ESPN: Extremely Sparse Pruned Networks [50.436905934791035]
  簡単な反復マスク探索法により,非常に深いネットワークの最先端の圧縮を実現することができることを示す。 本アルゴリズムは,シングルショット・ネットワーク・プルーニング法とロッテ・ティケット方式のハイブリッド・アプローチを示す。
  論文  参考訳（メタデータ） (2020-06-28T23:09:27Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。