論文の概要: Dynamic Sparse Training: Find Efficient Sparse Network From Scratch With Trainable Masked Layers

• arxiv url: http://arxiv.org/abs/2005.06870v1
• Date: Thu, 14 May 2020 11:05:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-03 04:30:46.839193
• Title: Dynamic Sparse Training: Find Efficient Sparse Network From Scratch With Trainable Masked Layers
• Title（参考訳）: 動的スパーストレーニング: トレーニング可能なマスク層でスクラッチから効率的なスパースネットワークを見つける
• Authors: Junjie Liu, Zhe Xu, Runbin Shi, Ray C. C. Cheung, Hayden K.H. So
• Abstract要約: 本稿では、最適ネットワークパラメータとスパースネットワーク構造を共同で見つけることのできる、動的スパーストレーニングと呼ばれる新しいネットワークプルーニングアルゴリズムを提案する。 我々の動的スパーストレーニングアルゴリズムは、非常にスパースなニューラルネットワークモデルを性能損失が少なく容易に訓練できることを実証する。
• 参考スコア（独自算出の注目度）: 18.22501196339569
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a novel network pruning algorithm called Dynamic Sparse Training that can jointly find the optimal network parameters and sparse network structure in a unified optimization process with trainable pruning thresholds. These thresholds can have fine-grained layer-wise adjustments dynamically via backpropagation. We demonstrate that our dynamic sparse training algorithm can easily train very sparse neural network models with little performance loss using the same number of training epochs as dense models. Dynamic Sparse Training achieves the state of the art performance compared with other sparse training algorithms on various network architectures. Additionally, we have several surprising observations that provide strong evidence for the effectiveness and efficiency of our algorithm. These observations reveal the underlying problems of traditional three-stage pruning algorithms and present the potential guidance provided by our algorithm to the design of more compact network architectures.
• Abstract（参考訳）: 本稿では、トレーニング可能なプルーニングしきい値を持つ統一最適化プロセスにおいて、最適ネットワークパラメータとスパースネットワーク構造を共同で見つけることのできる、動的スパーストレーニングと呼ばれる新しいネットワークプルーニングアルゴリズムを提案する。 これらのしきい値は、バックプロパゲーションによって動的に細粒度に調整することができる。 我々の動的スパーストレーニングアルゴリズムは、高密度モデルと同じ数のトレーニングエポックを用いて、非常にスパースなニューラルネットワークモデルを少ない性能で容易に訓練できることを実証する。 動的スパーストレーニングは、様々なネットワークアーキテクチャ上の他のスパーストレーニングアルゴリズムと比較して、アートパフォーマンスの状態を実現できる。 さらに、アルゴリズムの有効性と効率の強い証拠を提供する驚くべき観測がいくつかある。 これらの観測結果から,従来の3段階プルーニングアルゴリズムの根底にある問題点を明らかにし,よりコンパクトなネットワークアーキテクチャの設計に対するアルゴリズムの潜在的ガイダンスを示す。

関連論文リスト

• Dynamic Neural Network for Multi-Task Learning Searching across Diverse Network Topologies [14.574399133024594]
  多様なグラフトポロジを持つ複数のタスクに対して最適化された構造を探索する新しいMTLフレームワークを提案する。 我々は、トポロジ的に多様なタスク適応構造を構築するために、読み出し/読み出し層を備えたDAGベースの制限付き中央ネットワークを設計する。
  論文  参考訳（メタデータ） (2023-03-13T05:01:50Z)
• Tricks and Plugins to GBM on Images and Sequences [18.939336393665553]
  本稿では,動的特徴選択とBoostCNNの利点を組み合わせるために,Deep Convolutional Neural Networks(BoostCNN)を高速化するアルゴリズムを提案する。 また,最小2乗の目的関数に基づいて,重み付けをディープラーニングアーキテクチャに組み込むアルゴリズムも提案する。 実験により,提案手法はいくつかのきめ細かい分類タスクのベンチマークよりも優れていることが示された。
  論文  参考訳（メタデータ） (2022-03-01T21:59:00Z)
• Dynamic Analysis of Nonlinear Civil Engineering Structures using Artificial Neural Network with Adaptive Training [2.1202971527014287]
  本研究では,適応学習アルゴリズムを用いて人工ニューラルネットワークを開発した。 実地運動記録に対するせん断フレームと岩体構造の時間履歴応答をネットワークで予測できる。
  論文  参考訳（メタデータ） (2021-11-21T21:14:48Z)
• Analytically Tractable Inference in Deep Neural Networks [0.0]
  Tractable Approximate Inference (TAGI)アルゴリズムは、浅いフルコネクテッドニューラルネットワークのバックプロパゲーションに対する実行可能でスケーラブルな代替手段であることが示された。 従来のディープニューラルネットワークアーキテクチャをトレーニングするために、TAGIがバックプロパゲーションのパフォーマンスとどのように一致するか、または上回るかを実証しています。
  論文  参考訳（メタデータ） (2021-03-09T14:51:34Z)
• Local Critic Training for Model-Parallel Learning of Deep Neural Networks [94.69202357137452]
  そこで我々は,局所的批判訓練と呼ばれる新しいモデル並列学習手法を提案する。 提案手法は,畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)の両方において,階層群の更新プロセスの分離に成功したことを示す。 また,提案手法によりトレーニングされたネットワークを構造最適化に利用できることを示す。
  論文  参考訳（メタデータ） (2021-02-03T09:30:45Z)
• Advances in the training, pruning and enforcement of shape constraints of Morphological Neural Networks using Tropical Algebra [40.327435646554115]
  ディレーションと浸食の形態的演算子に基づくニューラルネットワークについて検討する。 我々のコントリビューションには、差分凸プログラミング手法による形態ネットワークのトレーニングや、バイナリ形態学をマルチクラスタスクに拡張することが含まれる。
  論文  参考訳（メタデータ） (2020-11-15T22:44:25Z)
• Stochastic Markov Gradient Descent and Training Low-Bit Neural Networks [77.34726150561087]
  本稿では,量子化ニューラルネットワークのトレーニングに適用可能な離散最適化手法であるGradient Markov Descent (SMGD)を紹介する。 アルゴリズム性能の理論的保証と数値的な結果の促進を提供する。
  論文  参考訳（メタデータ） (2020-08-25T15:48:15Z)
• Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
  サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。 この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
  論文  参考訳（メタデータ） (2020-04-17T19:12:39Z)
• Understanding the Effects of Data Parallelism and Sparsity on Neural Network Training [126.49572353148262]
  ニューラルネットワークトレーニングにおける2つの要因として,データ並列性と疎性について検討する。 有望なメリットにもかかわらず、ニューラルネットワークトレーニングに対する彼らの影響を理解することは、依然として明白である。
  論文  参考訳（メタデータ） (2020-03-25T10:49:22Z)
• Dynamic Hierarchical Mimicking Towards Consistent Optimization Objectives [73.15276998621582]
  一般化能力を高めたCNN訓練を推進するための汎用的特徴学習機構を提案する。 DSNに部分的にインスパイアされた私たちは、ニューラルネットワークの中間層から微妙に設計されたサイドブランチをフォークしました。 カテゴリ認識タスクとインスタンス認識タスクの両方の実験により,提案手法の大幅な改善が示された。
  論文  参考訳（メタデータ） (2020-03-24T09:56:13Z)
• Subset Sampling For Progressive Neural Network Learning [106.12874293597754]
  プログレッシブニューラルネットワーク学習は、ネットワークのトポロジを漸進的に構築し、トレーニングデータに基づいてパラメータを最適化するアルゴリズムのクラスである。 段階的なトレーニングステップ毎にトレーニングデータのサブセットを活用することで,このプロセスの高速化を提案する。 オブジェクト,シーン,顔の認識における実験結果から,提案手法が最適化手順を大幅に高速化することを示す。
  論文  参考訳（メタデータ） (2020-02-17T18:57:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。