論文の概要: Stochastic Subnetwork Annealing: A Regularization Technique for Fine Tuning Pruned Subnetworks

• arxiv url: http://arxiv.org/abs/2401.08830v1
• Date: Tue, 16 Jan 2024 21:07:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-18 17:49:14.031416
• Title: Stochastic Subnetwork Annealing: A Regularization Technique for Fine Tuning Pruned Subnetworks
• Title（参考訳）: 確率的サブネットワークアニーリング:微調整サブネットワークの正則化手法
• Authors: Tim Whitaker, Darrell Whitley
• Abstract要約: 少数の連続した訓練エポックの後、訓練されたモデルから大量のパラメータを除去できるが、精度の低下はほとんど見分けがつかない。 反復的プルーニングアプローチは、複数のエポック上の少数のパラメータを徐々に取り除き、これを緩和する。 我々は、Subnetwork Annealingと呼ばれる正規化技術により、ニューラルワークをチューニングするための、新しく効果的なアプローチを紹介します。
• 参考スコア（独自算出の注目度）: 4.8951183832371
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pruning methods have recently grown in popularity as an effective way to reduce the size and computational complexity of deep neural networks. Large numbers of parameters can be removed from trained models with little discernible loss in accuracy after a small number of continued training epochs. However, pruning too many parameters at once often causes an initial steep drop in accuracy which can undermine convergence quality. Iterative pruning approaches mitigate this by gradually removing a small number of parameters over multiple epochs. However, this can still lead to subnetworks that overfit local regions of the loss landscape. We introduce a novel and effective approach to tuning subnetworks through a regularization technique we call Stochastic Subnetwork Annealing. Instead of removing parameters in a discrete manner, we instead represent subnetworks with stochastic masks where each parameter has a probabilistic chance of being included or excluded on any given forward pass. We anneal these probabilities over time such that subnetwork structure slowly evolves as mask values become more deterministic, allowing for a smoother and more robust optimization of subnetworks at high levels of sparsity.
• Abstract（参考訳）: プルーニング手法は、ディープニューラルネットワークのサイズと計算複雑性を減らす効果的な方法として最近人気が高まっている。 少数の連続した訓練エポックの後、訓練されたモデルから大量のパラメータを除去できるが、精度の低下はほとんど認められない。 しかし、一度に多くのパラメータをプルーニングすると、コンバージェンスの品質を損なう可能性のある最初の急激な精度が低下する。 反復プルーニングアプローチは、複数のエポック上の少数のパラメータを徐々に取り除き、これを緩和する。 しかし、これは、損失の風景のローカルな領域をオーバーフィットするサブネットワークに繋がる可能性がある。 我々は、Stochastic Subnetwork Annealingと呼ばれる正規化手法により、サブネットのチューニングに新しく効果的なアプローチを導入する。 パラメータを離散的に削除する代わりに、各パラメータが任意のフォワードパスに含まれたり排除されたりする確率的確率を持つ確率的マスクを持つサブネットワークを表現する。 マスクの値がより決定論的になるにつれて、サブネットワーク構造が徐々に進化し、よりスムーズで堅牢なサブネットワークの高レベルな最適化を可能にします。

関連論文リスト

• Optimization Guarantees of Unfolded ISTA and ADMM Networks With Smooth Soft-Thresholding [57.71603937699949]
  我々は,学習エポックの数の増加とともに,ほぼゼロに近いトレーニング損失を達成するための最適化保証について検討した。 トレーニングサンプル数に対する閾値は,ネットワーク幅の増加とともに増加することを示す。
  論文  参考訳（メタデータ） (2023-09-12T13:03:47Z)
• Layer Ensembles [95.42181254494287]
  本稿では,ネットワークの各層に対する独立なカテゴリ分布の集合を考慮した不確実性推定手法を提案する。 その結果,メモリと実行時間が少なくなるモデルが得られた。
  論文  参考訳（メタデータ） (2022-10-10T17:52:47Z)
• Likelihood-Free Inference with Generative Neural Networks via Scoring Rule Minimization [0.0]
  推測法は、難易度のあるシミュレーターモデルに対する後部近似を導出する。 多くの研究は、難易度または後部に直接近似するようにニューラルネットワークを訓練した。 本稿では,スコーリングルールの最小化によって訓練された生成ネットワークに後部を近似することを提案する。
  論文  参考訳（メタデータ） (2022-05-31T13:32:55Z)
• Boosting Pruned Networks with Linear Over-parameterization [8.796518772724955]
  構造化プルーニングは、高速な推論のためのチャネル(フィルタ)を減らし、実行時にフットプリントを低くすることで、ニューラルネットワークを圧縮する。 プルーニング後の精度を回復するため、細調整は通常、プルーニングネットワークに適用される。 そこで我々は,まず,細調整パラメータの数を増やすために,刈り込みネットワーク内のコンパクト層を線形に過剰にパラメータ化する手法を提案する。
  論文  参考訳（メタデータ） (2022-04-25T05:30:26Z)
• Extracting Effective Subnetworks with Gumebel-Softmax [9.176056742068813]
  我々は、より大規模な未訓練の作業から効果的な作業作業場を抽出できる別の作業方法を提案する。 本手法は, Gumbel Softmax を用いた様々なトポロジーを探索し, 抽出する。 結果として得られた作業は、トレーニング時間を短縮し、パフォーマンスを改善する、非常に効率的な再スケーリングメカニズムを使用してさらに強化される。
  論文  参考訳（メタデータ） (2022-02-25T21:31:30Z)
• Manifold Regularized Dynamic Network Pruning [102.24146031250034]
  本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。 提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-10T03:59:03Z)
• Tunable Subnetwork Splitting for Model-parallelism of Neural Network Training [12.755664985045582]
  本稿では,深層ニューラルネットワークの分解を調整可能なサブネットワーク分割法(TSSM)を提案する。 提案するTSSMは,トレーニング精度を損なうことなく,大幅な高速化を実現することができる。
  論文  参考訳（メタデータ） (2020-09-09T01:05:12Z)
• ESPN: Extremely Sparse Pruned Networks [50.436905934791035]
  簡単な反復マスク探索法により,非常に深いネットワークの最先端の圧縮を実現することができることを示す。 本アルゴリズムは,シングルショット・ネットワーク・プルーニング法とロッテ・ティケット方式のハイブリッド・アプローチを示す。
  論文  参考訳（メタデータ） (2020-06-28T23:09:27Z)
• Rapid Structural Pruning of Neural Networks with Set-based Task-Adaptive Meta-Pruning [83.59005356327103]
  既存のプルーニング技術に共通する制限は、プルーニングの前に少なくとも1回はネットワークの事前トレーニングが必要であることである。 本稿では,ターゲットデータセットの関数としてプルーニングマスクを生成することにより,大規模な参照データセット上で事前訓練されたネットワークをタスク適応的にプルークするSTAMPを提案する。 ベンチマークデータセット上での最近の先進的なプルーニング手法に対するSTAMPの有効性を検証する。
  論文  参考訳（メタデータ） (2020-06-22T10:57:43Z)
• Progressive Skeletonization: Trimming more fat from a network at initialization [76.11947969140608]
  本稿では,接続感度が最大となるスケルトン化ネットワークを提案する。 次に、目的を最大化する2つの近似手順を提案する。 提案手法は, 高い刈り込みレベルにおいて, 性能を著しく向上させる。
  論文  参考訳（メタデータ） (2020-06-16T11:32:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。