論文の概要: Neural Network Panning: Screening the Optimal Sparse Network Before Training

• arxiv url: http://arxiv.org/abs/2209.13378v1
• Date: Tue, 27 Sep 2022 13:31:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-28 14:56:52.934529
• Title: Neural Network Panning: Screening the Optimal Sparse Network Before Training
• Title（参考訳）: ニューラルネットワークのパンニング:トレーニング前に最適なスパースネットワークをスクリーニングする
• Authors: Xiatao Kang, Ping Li, Jiayi Yao, Chengxi Li
• Abstract要約: ネットワークプルーニングは重みの表現力伝達過程として要約できると我々は主張する。 本稿では,マルチインデックスおよびマルチプロセスステップによる表現力伝達をガイドするニューラルネットワークパニングと呼ばれるトレーニング前のプルーニング手法を提案する。
• 参考スコア（独自算出の注目度）: 15.349144733875368
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pruning on neural networks before training not only compresses the original models, but also accelerates the network training phase, which has substantial application value. The current work focuses on fine-grained pruning, which uses metrics to calculate weight scores for weight screening, and extends from the initial single-order pruning to iterative pruning. Through these works, we argue that network pruning can be summarized as an expressive force transfer process of weights, where the reserved weights will take on the expressive force from the removed ones for the purpose of maintaining the performance of original networks. In order to achieve optimal expressive force scheduling, we propose a pruning scheme before training called Neural Network Panning which guides expressive force transfer through multi-index and multi-process steps, and designs a kind of panning agent based on reinforcement learning to automate processes. Experimental results show that Panning performs better than various available pruning before training methods.
• Abstract（参考訳）: トレーニング前のニューラルネットワークのプルーニングは、オリジナルのモデルを圧縮するだけでなく、相当なアプリケーション価値を持つネットワークトレーニングフェーズを加速する。 現在の研究は細粒度の刈り込みに焦点を当てており、計量を使って重量スクリーニングの重量スコアを計算し、最初の単階刈りから反復刈りまで拡張している。 これらの研究を通じて,ネットワークプルーニングは重みの表現力伝達過程としてまとめることができ,そこでは元のネットワークの性能を維持するために,除去した重みから表現力を引き出すことができる。 最適表現力スケジューリングを実現するために,複数のインデクスおよびマルチプロセスステップを通じて表現力伝達を誘導するニューラルネットワークパンニングと呼ばれるトレーニング前のプルーニングスキームを提案し,強化学習に基づく一種のパンニングエージェントを設計し,プロセスを自動化する。 実験結果から, パンニングは, 訓練前の各種プルーニングよりも優れた性能を示した。

関連論文リスト

• Theoretical Characterization of How Neural Network Pruning Affects its Generalization [131.1347309639727]
  この研究は、異なるプルーニング率がモデルの勾配降下ダイナミクスと一般化にどのように影響するかを研究する最初の試みである。 プルーニング率が一定の閾値以下である限り、勾配降下はトレーニング損失をゼロに導くことができる。 より驚くべきことに、プルーニング分数が大きくなるにつれて、一般化境界はより良くなる。
  論文  参考訳（メタデータ） (2023-01-01T03:10:45Z)
• Dimensionality Reduced Training by Pruning and Freezing Parts of a Deep Neural Network, a Survey [69.3939291118954]
  最先端のディープラーニングモデルには、何十億にも達するパラメータカウントがある。そのようなモデルのトレーニング、保存、転送は、エネルギーと時間を要するため、コストがかかる。 モデル圧縮は、ストレージと転送コストを低減し、フォワードおよび/または後方パスでの計算数を減少させることで、トレーニングをより効率的にすることができる。 この研究は、トレーニング全体を通してディープラーニングモデルでトレーニングされた重量を減らす方法に関する調査である。
  論文  参考訳（メタデータ） (2022-05-17T05:37:08Z)
• Prospect Pruning: Finding Trainable Weights at Initialization using Meta-Gradients [36.078414964088196]
  初期化時にニューラルネットワークをプルーニングすることで、元のネットワークの精度を保ったスパースモデルを見つけることができる。 現在の方法は、この最適化を可能にするには不十分であり、モデル性能の大幅な低下につながります。 提案するProspect Pruning(ProsPr)は,最適化の最初の数ステップを通じてメタグラディエントを用いて,どの重み付けを行うかを決定する。 本手法は,従来のプルーニング・アット・初期化手法と比較して,データの少ない1ショットで,様々な視覚分類タスクにおける最先端のプルーニング性能を実現する。
  論文  参考訳（メタデータ） (2022-02-16T15:18:55Z)
• When to Prune? A Policy towards Early Structural Pruning [27.91996628143805]
  我々は,パフォーマンスを損なうことなく,できるだけ早期に訓練を行う政策を提案する。 我々の方法では、最先端のプルーニングに比べて1.4%の精度でトップ1の精度が向上し、GPUのトレーニングコストを2.4%削減する。
  論文  参考訳（メタデータ） (2021-10-22T18:39:22Z)
• Training Deep Neural Networks with Joint Quantization and Pruning of Weights and Activations [5.17729871332369]
  最先端の量子化技術は現在、ディープニューラルネットワークの重みと活性化の両方に応用されている。 本研究では、トレーニング中の深部ニューラルネットワークの重みと活性化の両方に、新しい均一量子化法と非構造化プルーニング法を併用する。
  論文  参考訳（メタデータ） (2021-10-15T16:14:36Z)
• How much pre-training is enough to discover a good subnetwork? [10.699603774240853]
  刈り取られたネットワークが正常に動作するために必要となる高密度ネットワーク事前学習の量を数学的に解析する。 2層全接続ネットワーク上での勾配降下事前学習の回数の単純な理論的境界を求める。 より大きなデータセットでの実験では、プルーニングによって得られた事前トレーニングのフォアワークがうまく機能するために必要になる。
  論文  参考訳（メタデータ） (2021-07-31T15:08:36Z)
• FreeTickets: Accurate, Robust and Efficient Deep Ensemble by Training with Dynamic Sparsity [74.58777701536668]
  我々は、疎い畳み込みニューラルネットワークの性能を、ネットワークの高密度な部分よりも大きなマージンで向上させることができるFreeTicketsの概念を紹介した。 本研究では, ダイナミックな間隔を持つ2つの新しい効率的なアンサンブル手法を提案し, スパーストレーニング過程において, 多数の多様かつ正確なチケットを「無償」で撮影する。
  論文  参考訳（メタデータ） (2021-06-28T10:48:20Z)
• Sparse Training via Boosting Pruning Plasticity with Neuroregeneration [79.78184026678659]
  本研究では, プラスティック性の観点から, 訓練を通しての刈り込みの効果について検討した。 ゼロコスト神経再生(GraNet)と動的スパーストレーニング(DST)変異(GraNet-ST)を併用した段階的プラニング(gradual pruning)法を考案した。 おそらく最も印象的なのは、ImageNet上のResNet-50との大きなマージンで、さまざまな密集したスパースメソッドに対するスパース・ツー・スパーストレーニングのパフォーマンスを初めて向上させたことだ。
  論文  参考訳（メタデータ） (2021-06-19T02:09:25Z)
• Simultaneous Training of Partially Masked Neural Networks [67.19481956584465]
  トレーニングされたフルネットワークから事前定義された'コア'サブネットワークを分割して,優れたパフォーマンスでニューラルネットワークをトレーニングすることが可能であることを示す。 低ランクコアを用いたトランスフォーマーのトレーニングは,低ランクモデル単独のトレーニングよりも優れた性能を有する低ランクモデルが得られることを示す。
  論文  参考訳（メタデータ） (2021-06-16T15:57:51Z)
• Rapid Structural Pruning of Neural Networks with Set-based Task-Adaptive Meta-Pruning [83.59005356327103]
  既存のプルーニング技術に共通する制限は、プルーニングの前に少なくとも1回はネットワークの事前トレーニングが必要であることである。 本稿では,ターゲットデータセットの関数としてプルーニングマスクを生成することにより,大規模な参照データセット上で事前訓練されたネットワークをタスク適応的にプルークするSTAMPを提案する。 ベンチマークデータセット上での最近の先進的なプルーニング手法に対するSTAMPの有効性を検証する。
  論文  参考訳（メタデータ） (2020-06-22T10:57:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。