論文の概要: Why is Pruning at Initialization Immune to Reinitializing and Shuffling?

• arxiv url: http://arxiv.org/abs/2107.01808v1
• Date: Mon, 5 Jul 2021 06:04:56 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-06 20:57:16.045189
• Title: Why is Pruning at Initialization Immune to Reinitializing and Shuffling?
• Title（参考訳）: 初期化のpruningはなぜ再活性化とシャッフルに免疫があるのか?
• Authors: Sahib Singh, Rosanne Liu
• Abstract要約: 近年のプルーニングニューラルネットワーク法の有効性を評価する研究で、驚くべき発見が判明した。 各プルーニング・アット・初期化法では, ランダム化操作により, 未切断重量の分布は最小限に変化した。
• 参考スコア（独自算出の注目度）: 10.196185472801236
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent studies assessing the efficacy of pruning neural networks methods uncovered a surprising finding: when conducting ablation studies on existing pruning-at-initialization methods, namely SNIP, GraSP, SynFlow, and magnitude pruning, performances of these methods remain unchanged and sometimes even improve when randomly shuffling the mask positions within each layer (Layerwise Shuffling) or sampling new initial weight values (Reinit), while keeping pruning masks the same. We attempt to understand the reason behind such network immunity towards weight/mask modifications, by studying layer-wise statistics before and after randomization operations. We found that under each of the pruning-at-initialization methods, the distribution of unpruned weights changed minimally with randomization operations.
• Abstract（参考訳）: 既存のプルーニング・アット・初期化法(SNIP, GraSP, SynFlow, およびマグニチュードプルーニング)のアブレーション研究を行う場合、各層内のマスク位置をランダムにシャッフルしたり、新しい初期重量値(Reinit)をサンプリングする場合、これらの手法の性能は変化せず、時には改善される。 本研究では, ランダム化操作前後の層次統計から, 重み・マスク修正に対するネットワーク免疫の背景を解明しようとする。 その結果,pruning-at-initialization法では,無作為化操作により未作為重みの分布が最小限に変化することが判明した。

関連論文リスト

• Concurrent Training and Layer Pruning of Deep Neural Networks [0.0]
  トレーニングの初期段階において、ニューラルネットワークの無関係な層を特定し、排除できるアルゴリズムを提案する。 本研究では,非線形区間を切断した後にネットワークを流れる情報の流れを,非線形ネットワーク区間の周囲の残差接続を用いた構造を用いる。
  論文  参考訳（メタデータ） (2024-06-06T23:19:57Z)
• The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
  本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。 我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
  論文  参考訳（メタデータ） (2023-03-17T02:01:11Z)
• Theoretical Characterization of How Neural Network Pruning Affects its Generalization [131.1347309639727]
  この研究は、異なるプルーニング率がモデルの勾配降下ダイナミクスと一般化にどのように影響するかを研究する最初の試みである。 プルーニング率が一定の閾値以下である限り、勾配降下はトレーニング損失をゼロに導くことができる。 より驚くべきことに、プルーニング分数が大きくなるにつれて、一般化境界はより良くなる。
  論文  参考訳（メタデータ） (2023-01-01T03:10:45Z)
• GFlowOut: Dropout with Generative Flow Networks [76.59535235717631]
  モンテカルロ・ドロップアウトは近似推論の比較的安価な方法として広く利用されている。 最近の研究は、ドロップアウトマスクを潜伏変数と見なすことができ、変動推論で推測できることを示している。 GFlowOutleveragesは、最近提案されたジェネレーティブフローネットワーク(GFlowNets)の確率的フレームワークを使用して、ドロップアウトマスク上の後部分布を学習する。
  論文  参考訳（メタデータ） (2022-10-24T03:00:01Z)
• What to Prune and What Not to Prune at Initialization [0.0]
  トレーニング後のドロップアウトベースのアプローチは、高いスパシティを実現する。 ネットワークの計算コストのスケーリングに関しては,初期化プルーニングの方が有効だ。 目標は、パフォーマンスを維持しながら、より高い疎性を達成することです。
  論文  参考訳（メタデータ） (2022-09-06T03:48:10Z)
• Weighting and Pruning based Ensemble Deep Random Vector Functional Link Network for Tabular Data Classification [3.1905745371064484]
  本稿では,Ensemble Deep Random Vector Functional Link (edRVFL) の新たな変種を提案する。 EDRVFL (Weighting edRVFL) は、重み付け法を用いて、サンプルが前層で確実に分類された方法に応じて異なる重みのトレーニングサンプルを与えることにより、アンサンブルの多様性と精度を高める。 プルーニングベースのedRVFL(PedRVFL)も提案されている。我々は、次の隠れ層を生成する前に、分類の重要性に基づいて、いくつかの下位ニューロンをプルーニングする。
  論文  参考訳（メタデータ） (2022-01-15T09:34:50Z)
• Probabilistic fine-tuning of pruning masks and PAC-Bayes self-bounded learning [16.526326919313924]
  本研究では, プルーニングマスクの損失を最適化することにより, プルーニングマスクの学習方法を検討する。 線形回帰の設定における誘導適応予測器のトレーニングダイナミクスを解析する。 PAC-Bayes一般化誤差境界は, 先行データと後続データとの間の特徴アライメントの変化の大きさによって制御されることを示す。
  論文  参考訳（メタデータ） (2021-10-22T14:25:22Z)
• Cascade Weight Shedding in Deep Neural Networks: Benefits and Pitfalls for Network Pruning [73.79377854107514]
  カスケード重み付けは,現在ある場合,ランダムプルーニングなどの非最適スキームの性能を著しく向上させることができることを示す。 我々は,gmpの精度向上のためのカスケード重みシェディングの可能性を示し,計算量を削減する。 重み付けと学習段階の巻き戻し手法に光を当て,カスケードの重み付けに結びつく可能性を示し,微調整よりも有利な理由を示した。
  論文  参考訳（メタデータ） (2021-03-19T04:41:40Z)
• Pruning Neural Networks at Initialization: Why are We Missing the Mark? [43.7335598007065]
  ニューラルネットワークを早期に刈り取るための提案について検討する。 トレーニング後のプルーニングとは異なり、ウェイトをランダムにシャッフルすると正確性が保たれる。 この性質は、根底にある刈り込み、早期に熟成したいという願望、あるいはその両方において幅広い課題を示唆している。
  論文  参考訳（メタデータ） (2020-09-18T01:13:38Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)
• MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
  ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。 グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。 確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
  論文  参考訳（メタデータ） (2020-01-28T18:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。