論文の概要: Progressive Skeletonization: Trimming more fat from a network at initialization

• arxiv url: http://arxiv.org/abs/2006.09081v5
• Date: Fri, 19 Mar 2021 13:06:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-20 19:44:48.485343
• Title: Progressive Skeletonization: Trimming more fat from a network at initialization
• Title（参考訳）: 進行性骨格化:初期化時にネットワークから脂肪をトリミングする
• Authors: Pau de Jorge, Amartya Sanyal, Harkirat S. Behl, Philip H.S. Torr, Gregory Rogez, Puneet K. Dokania
• Abstract要約: 本稿では,接続感度が最大となるスケルトン化ネットワークを提案する。 次に、目的を最大化する2つの近似手順を提案する。 提案手法は, 高い刈り込みレベルにおいて, 性能を著しく向上させる。
• 参考スコア（独自算出の注目度）: 76.11947969140608
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent studies have shown that skeletonization (pruning parameters) of networks \textit{at initialization} provides all the practical benefits of sparsity both at inference and training time, while only marginally degrading their performance. However, we observe that beyond a certain level of sparsity (approx $95\%$), these approaches fail to preserve the network performance, and to our surprise, in many cases perform even worse than trivial random pruning. To this end, we propose an objective to find a skeletonized network with maximum {\em foresight connection sensitivity} (FORCE) whereby the trainability, in terms of connection sensitivity, of a pruned network is taken into consideration. We then propose two approximate procedures to maximize our objective (1) Iterative SNIP: allows parameters that were unimportant at earlier stages of skeletonization to become important at later stages; and (2) FORCE: iterative process that allows exploration by allowing already pruned parameters to resurrect at later stages of skeletonization. Empirical analyses on a large suite of experiments show that our approach, while providing at least as good a performance as other recent approaches on moderate pruning levels, provides remarkably improved performance on higher pruning levels (could remove up to $99.5\%$ parameters while keeping the networks trainable). Code can be found in https://github.com/naver/force.
• Abstract（参考訳）: 近年の研究では、ネットワークのスケルトン化(プルーニングパラメータ)が推論とトレーニング時間の両方においてスパーシティの実用的利点を全て与えているが、その性能はわずかに低下している。 しかし,ネットワーク性能を一定レベル(約9,5\%)を超えると,これらの手法はネットワーク性能の維持に失敗し,意外なことに,多くの場合,自明なランダムプルーニングよりもさらにパフォーマンスが低下する。 そこで本研究では,ネットワークの接続感度を考慮に入れた最大接続感度(力)を有するスケルトン化ネットワークを探索する目的を提案する。 次に, 目的を最大化するための2つの近似手順を提案する。(1) 骨格化の初期段階で重要でないパラメータが後段で重要になるようにするための反復的スニップ, (2) 既に刈り取ったパラメータを後段で復活させることで探索を可能にする反復的プロセス。 大規模な実験スイートに関する実証分析では、我々のアプローチは、他の中程度の刈り込みレベルに対するアプローチよりも少なくとも優れた性能を提供する一方で、高い刈り出しレベルに対する性能を著しく向上させる(ネットワークをトレーニングしながら、99.5 %のパラメータを削除できる)。 コードはhttps://github.com/naver/force.comにある。

関連論文リスト

• FGGP: Fixed-Rate Gradient-First Gradual Pruning [2.0940682212182975]
  パラメータ選択のための勾配第一等級戦略を導入し、これらのステップ間の固定レート選択基準がより有効であることを示す。 提案手法は, 上述の実験条件のほとんどにおいて, 最先端の代替品よりも高い性能を示す。
  論文  参考訳（メタデータ） (2024-11-08T12:02:25Z)
• Stochastic Subnetwork Annealing: A Regularization Technique for Fine Tuning Pruned Subnetworks [4.8951183832371]
  少数の連続した訓練エポックの後、訓練されたモデルから大量のパラメータを除去できるが、精度の低下はほとんど見分けがつかない。 反復的プルーニングアプローチは、複数のエポック上の少数のパラメータを徐々に取り除き、これを緩和する。 我々は、Subnetwork Annealingと呼ばれる正規化技術により、ニューラルワークをチューニングするための、新しく効果的なアプローチを紹介します。
  論文  参考訳（メタデータ） (2024-01-16T21:07:04Z)
• Slimmable Networks for Contrastive Self-supervised Learning [69.9454691873866]
  自己教師付き学習は、大規模なモデルを事前訓練する上で大きな進歩を遂げるが、小さなモデルでは苦労する。 追加の教師を必要とせず、訓練済みの小型モデルを得るための1段階のソリューションも導入する。 スリム化可能なネットワークは、完全なネットワークと、様々なネットワークを得るために一度にトレーニングできるいくつかの重み共有サブネットワークから構成される。
  論文  参考訳（メタデータ） (2022-09-30T15:15:05Z)
• Prospect Pruning: Finding Trainable Weights at Initialization using Meta-Gradients [36.078414964088196]
  初期化時にニューラルネットワークをプルーニングすることで、元のネットワークの精度を保ったスパースモデルを見つけることができる。 現在の方法は、この最適化を可能にするには不十分であり、モデル性能の大幅な低下につながります。 提案するProspect Pruning(ProsPr)は,最適化の最初の数ステップを通じてメタグラディエントを用いて,どの重み付けを行うかを決定する。 本手法は,従来のプルーニング・アット・初期化手法と比較して,データの少ない1ショットで,様々な視覚分類タスクにおける最先端のプルーニング性能を実現する。
  論文  参考訳（メタデータ） (2022-02-16T15:18:55Z)
• Sparse Training via Boosting Pruning Plasticity with Neuroregeneration [79.78184026678659]
  本研究では, プラスティック性の観点から, 訓練を通しての刈り込みの効果について検討した。 ゼロコスト神経再生(GraNet)と動的スパーストレーニング(DST)変異(GraNet-ST)を併用した段階的プラニング(gradual pruning)法を考案した。 おそらく最も印象的なのは、ImageNet上のResNet-50との大きなマージンで、さまざまな密集したスパースメソッドに対するスパース・ツー・スパーストレーニングのパフォーマンスを初めて向上させたことだ。
  論文  参考訳（メタデータ） (2021-06-19T02:09:25Z)
• Emerging Paradigms of Neural Network Pruning [82.9322109208353]
  この問題に対する後処理ソリューションとしてPruningが採用され、パフォーマンスを損なわないニューラルネットワークの不要なパラメータの除去を目指している。 最近の研究では、パフォーマンスと密接なそれとを一致させるように訓練できるランダムなスパースネットワークを発見することによって、この信念に挑戦している。 この調査は、従来のアルゴリズムとうまく適合できるように、一般的な刈り取りフレームワークを提案し、ギャップを埋めることを目指しています。
  論文  参考訳（メタデータ） (2021-03-11T05:01:52Z)
• Neural Pruning via Growing Regularization [82.9322109208353]
  プルーニングの2つの中心的な問題:プルーニングのスケジュールと重み付けの重要度だ。 具体的には, ペナルティ要因が増大するL2正規化変種を提案し, 精度が著しく向上することを示した。 提案アルゴリズムは,構造化プルーニングと非構造化プルーニングの両方において,大規模データセットとネットワークの実装が容易かつスケーラブルである。
  論文  参考訳（メタデータ） (2020-12-16T20:16:28Z)
• FlipOut: Uncovering Redundant Weights via Sign Flipping [0.0]
  そこで本研究では,トレーニング中に重みが作用する0ドル前後の振動を用いて,その正当性を決定する新しいプルーニング法を提案する。 提案手法は,ネットワークが収束する前にプルーニングを行うことができ,チューニングの手間が少なく,ユーザが望むスパシティのレベルを直接的にターゲットすることができる。 各種オブジェクト分類アーキテクチャを用いて実施した本実験は,既存手法と競合し,99.6%以上のスパーシリティレベルの最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2020-09-05T20:27:32Z)
• Rapid Structural Pruning of Neural Networks with Set-based Task-Adaptive Meta-Pruning [83.59005356327103]
  既存のプルーニング技術に共通する制限は、プルーニングの前に少なくとも1回はネットワークの事前トレーニングが必要であることである。 本稿では,ターゲットデータセットの関数としてプルーニングマスクを生成することにより,大規模な参照データセット上で事前訓練されたネットワークをタスク適応的にプルークするSTAMPを提案する。 ベンチマークデータセット上での最近の先進的なプルーニング手法に対するSTAMPの有効性を検証する。
  論文  参考訳（メタデータ） (2020-06-22T10:57:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。