論文の概要: An End-to-End Network Pruning Pipeline with Sparsity Enforcement

• arxiv url: http://arxiv.org/abs/2312.01653v1
• Date: Mon, 4 Dec 2023 06:11:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-05 16:10:53.730089
• Title: An End-to-End Network Pruning Pipeline with Sparsity Enforcement
• Title（参考訳）: sparsity enforcementを用いたエンド・ツー・エンドのネットワークプルーニングパイプライン
• Authors: Evan Dogariu
• Abstract要約: トレーニングのすべての段階において、ニューラルネットワークのプルーニングとスパーシフィケーションに適したエンドツーエンドのトレーニングパイプラインを開発します。 本研究は, 刈り込み工程で使用する異なる技術に加えて, これらの手法の組み合わせを利用した実験を行う。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural networks have emerged as a powerful tool for solving complex tasks across various domains, but their increasing size and computational requirements have posed significant challenges in deploying them on resource-constrained devices. Neural network sparsification, and in particular pruning, has emerged as an effective technique to alleviate these challenges by reducing model size, computational complexity, and memory footprint while maintaining competitive performance. However, many pruning pipelines modify the standard training pipeline at only a single stage, if at all. In this work, we look to develop an end-to-end training pipeline that befits neural network pruning and sparsification at all stages of training. To do so, we make use of nonstandard model parameter initialization, pre-pruning training methodologies, and post-pruning training optimizations. We conduct experiments utilizing combinations of these methods, in addition to different techniques used in the pruning step, and find that our combined pipeline can achieve significant gains over current state of the art approaches to neural network sparsification.
• Abstract（参考訳）: ニューラルネットワークは、さまざまなドメインにまたがる複雑なタスクを解決する強力なツールとして登場したが、そのサイズと計算要件の増大は、リソースに制約のあるデバイスにそれらをデプロイする上で大きな課題を提起している。 ニューラルネットワークのスパーシフィケーション、特にプルーニングは、競争性能を維持しながらモデルサイズ、計算複雑性、メモリフットプリントを削減し、これらの課題を軽減する効果的な手法として登場した。 しかし、多くのプルーニングパイプラインは、たとえあるとしても、標準のトレーニングパイプラインを1つのステージにしか変更しない。 本研究では、ニューラルネットワークのプルーニングと、トレーニングのあらゆる段階におけるスパーシフィケーションに適合するエンドツーエンドのトレーニングパイプラインを開発することを検討する。 そのために,非標準モデルパラメータの初期化,事前プランニングトレーニング方法論,ポストプランニングトレーニング最適化を活用した。 我々は,これらの手法の組み合わせを利用した実験を行い,刈り込み工程で使用する様々な技術に加えて,我々の組み合わせパイプラインが,ニューラルネットワークのスパシフィケーションに対する最先端技術よりも大きな利益を得られることを発見した。

関連論文リスト

• Structure-Preserving Network Compression Via Low-Rank Induced Training Through Linear Layers Composition [11.399520888150468]
  ローランド誘導訓練(LoRITa)と呼ばれる理論的修正手法を提案する。 LoRITaは線形層を構成することで低ランク化を促進し、特異値切り込みを用いて圧縮する。 我々は,完全連結ネットワーク上でのMNIST,視覚変換器上でのCIFAR10,畳み込みニューラルネットワーク上でのCIFAR10/100と画像ネットを用いたアプローチの有効性を示す。
  論文  参考訳（メタデータ） (2024-05-06T00:58:23Z)
• BLoad: Enhancing Neural Network Training with Efficient Sequential Data Handling [8.859850475075238]
  オーバヘッドを最小限に抑えながら、異なるサイズのシーケンスに対して効率的な分散データ並列トレーニングを可能にする新しいトレーニング手法を提案する。 このスキームを使用することで、単一のフレームを削除することなく、パディング量を100ドル以上削減することができ、結果として、トレーニング時間とリコールの両方で全体的なパフォーマンスが向上しました。
  論文  参考訳（メタデータ） (2023-10-16T23:14:56Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Subquadratic Overparameterization for Shallow Neural Networks [60.721751363271146]
  私たちは、標準的なニューラルトレーニング戦略を採用することができる分析フレームワークを提供しています。 我々は、Desiderata viaak-Lojasiewicz, smoothness, and standard assumptionsを達成する。
  論文  参考訳（メタデータ） (2021-11-02T20:24:01Z)
• Sparsity in Deep Learning: Pruning and growth for efficient inference and training in neural networks [78.47459801017959]
  Sparsityは、モバイル機器に適合する通常のネットワークのメモリフットプリントを減らすことができる。 ニューラルネットワークの要素を除去および追加するためのアプローチ、モデルの疎性を達成するための異なるトレーニング戦略、実際に疎性を利用するメカニズムについて説明する。
  論文  参考訳（メタデータ） (2021-01-31T22:48:50Z)
• Rapid Structural Pruning of Neural Networks with Set-based Task-Adaptive Meta-Pruning [83.59005356327103]
  既存のプルーニング技術に共通する制限は、プルーニングの前に少なくとも1回はネットワークの事前トレーニングが必要であることである。 本稿では,ターゲットデータセットの関数としてプルーニングマスクを生成することにより,大規模な参照データセット上で事前訓練されたネットワークをタスク適応的にプルークするSTAMPを提案する。 ベンチマークデータセット上での最近の先進的なプルーニング手法に対するSTAMPの有効性を検証する。
  論文  参考訳（メタデータ） (2020-06-22T10:57:43Z)
• Learning the Travelling Salesperson Problem Requires Rethinking Generalization [9.176056742068813]
  トラベリングセールスパーソン問題(TSP)のようなグラフ最適化問題に対するニューラルネットワークソルバのエンドツーエンドトレーニングは近年,関心が高まっている。 最先端の学習駆動アプローチは、自明に小さなサイズで訓練された場合、古典的な解法と密接に関係するが、実践的な規模で学習ポリシーを大規模に一般化することはできない。 この研究は、トレーニングで見られるものよりも大きいインスタンスへの一般化を促進する、原則化されたバイアス、モデルアーキテクチャ、学習アルゴリズムを特定するために、最近の論文を統一するエンドツーエンドのニューラルネットワークパイプラインを提示している。
  論文  参考訳（メタデータ） (2020-06-12T10:14:15Z)
• Pipelined Backpropagation at Scale: Training Large Models without Batches [0.9580895202050946]
  我々は,非同期パイプライン並列学習アルゴリズムである細粒度パイプラインバックプロパゲーションの小型バッチの利用を評価した。 適切な正規化と小さなバッチサイズは、トレーニングにも役立ちます。
  論文  参考訳（メタデータ） (2020-03-25T22:26:28Z)
• Robust Pruning at Initialization [61.30574156442608]
  計算リソースが限られているデバイス上で、機械学習アプリケーションを使用するための、より小さく、エネルギー効率のよいニューラルネットワークの必要性が高まっている。 ディープNNにとって、このような手順はトレーニングが困難であり、例えば、ひとつの層が完全に切断されるのを防ぐことができないため、満足できないままである。
  論文  参考訳（メタデータ） (2020-02-19T17:09:50Z)
• Subset Sampling For Progressive Neural Network Learning [106.12874293597754]
  プログレッシブニューラルネットワーク学習は、ネットワークのトポロジを漸進的に構築し、トレーニングデータに基づいてパラメータを最適化するアルゴリズムのクラスである。 段階的なトレーニングステップ毎にトレーニングデータのサブセットを活用することで,このプロセスの高速化を提案する。 オブジェクト,シーン,顔の認識における実験結果から,提案手法が最適化手順を大幅に高速化することを示す。
  論文  参考訳（メタデータ） (2020-02-17T18:57:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。