論文の概要: Learning to Prune in Training via Dynamic Channel Propagation

• arxiv url: http://arxiv.org/abs/2007.01486v1
• Date: Fri, 3 Jul 2020 04:02:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-14 04:27:27.724601
• Title: Learning to Prune in Training via Dynamic Channel Propagation
• Title（参考訳）: 動的チャネル伝搬による訓練におけるプーンの学習
• Authors: Shibo Shen, Rongpeng Li, Zhifeng Zhao, Honggang Zhang, Yugeng Zhou
• Abstract要約: 我々は「動的チャネル伝搬」と呼ばれる新しいネットワーク学習機構を提案する。 各畳み込み層内の特定のチャネル群を抽出し、トレーニング時間内に前方伝播に参加する。 トレーニングが終了すると、ユーティリティ値の高いチャネルは保持され、ユーティリティ値の低いチャネルは破棄される。
• 参考スコア（独自算出の注目度）: 7.974413827589133
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we propose a novel network training mechanism called "dynamic channel propagation" to prune the neural networks during the training period. In particular, we pick up a specific group of channels in each convolutional layer to participate in the forward propagation in training time according to the significance level of channel, which is defined as channel utility. The utility values with respect to all selected channels are updated simultaneously with the error back-propagation process and will adaptively change. Furthermore, when the training ends, channels with high utility values are retained whereas those with low utility values are discarded. Hence, our proposed scheme trains and prunes neural networks simultaneously. We empirically evaluate our novel training scheme on various representative benchmark datasets and advanced convolutional neural network (CNN) architectures, including VGGNet and ResNet. The experiment results verify the superior performance and robust effectiveness of our approach.
• Abstract（参考訳）: 本稿では,トレーニング期間中にニューラルネットワークをプーンする「ダイナミックチャネル伝搬」と呼ばれる新しいネットワークトレーニング機構を提案する。 特に,各畳み込み層内の特定のチャネル群を選択して,チャネルユーティリティとして定義されるチャネルの重要度に応じて,トレーニング時間における前方伝播に参加する。 選択されたすべてのチャネルに対するユーティリティ値は、エラーバックプロパゲーションプロセスと同時に更新され、適応的に変化する。 さらに、トレーニングが終了すると、高ユーティリティ値のチャネルが保持され、低ユーティリティ値のチャネルが破棄される。 そのため,提案手法はニューラルネットワークを同時に訓練し,提案する。 VGGNetやResNetなど,さまざまな代表的なベンチマークデータセットや高度な畳み込みニューラルネットワーク(CNN)アーキテクチャ上で,新たなトレーニング手法を実証的に評価した。 実験結果は,提案手法の優れた性能と堅牢性を検証する。

関連論文リスト

• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• One Forward is Enough for Neural Network Training via Likelihood Ratio Method [47.013384887197454]
  バックプロパゲーション(BP)は、ニューラルネットワークトレーニングにおける勾配計算の主流のアプローチである。 本手法は,1つの前方伝播による推定のための統一可能性比 (ULR) 法を提案する。
  論文  参考訳（メタデータ） (2023-05-15T19:02:46Z)
• Properties and Potential Applications of Random Functional-Linked Types of Neural Networks [81.56822938033119]
  ランダム関数リンクニューラルネットワーク(RFLNN)は、深い構造を学習する別の方法を提供する。 本稿では周波数領域の観点からRFLNNの特性について考察する。 本稿では,より優れた性能でBLSネットワークを生成する手法を提案し,ポゾン方程式を解くための効率的なアルゴリズムを設計する。
  論文  参考訳（メタデータ） (2023-04-03T13:25:22Z)
• Channelformer: Attention based Neural Solution for Wireless Channel Estimation and Effective Online Training [1.0499453838486013]
  本稿では,改良されたチャネル推定を実現するために,エンコーダ・デコーダニューラルアーキテクチャ(Channelformer)を提案する。 我々は,復号器として,エンコーダと残差畳み込みニューラルアーキテクチャに多面的注意を払っている。 また,現代通信システムにおける第5世代(5G)新しい無線(NR)構成に基づく効果的なオンライントレーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-02-08T23:18:23Z)
• Achieving Robust Generalization for Wireless Channel Estimation Neural Networks by Designed Training Data [1.0499453838486013]
  本稿では,トレーニングされたニューラルネットワークを未知のチャネルに堅牢な一般化を支援するためのトレーニングデータの設計手法を提案する。 これはメモリと処理集約的なソリューションであるため、これまで見つからなかったチャネルに対するオンライントレーニングの要件を回避する。 シミュレーションの結果、トレーニングされたニューラルネットワークは、目に見えないチャネルでほぼ同じ性能を維持していることがわかった。
  論文  参考訳（メタデータ） (2023-02-05T04:53:07Z)
• Interference Cancellation GAN Framework for Dynamic Channels [74.22393885274728]
  チャネルのあらゆる変更に適応できるオンライントレーニングフレームワークを導入します。 我々のフレームワークは、非常にダイナミックなチャネル上での最近のニューラルネットワークモデルよりも大幅に優れています。
  論文  参考訳（メタデータ） (2022-08-17T02:01:18Z)
• Multirate Training of Neural Networks [0.0]
  視覚およびNLPにおける様々な伝達学習アプリケーションに対して、ほぼ半分の時間でディープニューラルネットワークを微調整できることを示す。 本稿では,異なる時間スケールで全ネットワークをトレーニングすることで,データに存在するさまざまな特徴を同時に学習するマルチレート手法を提案する。
  論文  参考訳（メタデータ） (2021-06-20T22:44:55Z)
• Local Critic Training for Model-Parallel Learning of Deep Neural Networks [94.69202357137452]
  そこで我々は,局所的批判訓練と呼ばれる新しいモデル並列学習手法を提案する。 提案手法は,畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)の両方において,階層群の更新プロセスの分離に成功したことを示す。 また,提案手法によりトレーニングされたネットワークを構造最適化に利用できることを示す。
  論文  参考訳（メタデータ） (2021-02-03T09:30:45Z)
• Subset Sampling For Progressive Neural Network Learning [106.12874293597754]
  プログレッシブニューラルネットワーク学習は、ネットワークのトポロジを漸進的に構築し、トレーニングデータに基づいてパラメータを最適化するアルゴリズムのクラスである。 段階的なトレーニングステップ毎にトレーニングデータのサブセットを活用することで,このプロセスの高速化を提案する。 オブジェクト,シーン,顔の認識における実験結果から,提案手法が最適化手順を大幅に高速化することを示す。
  論文  参考訳（メタデータ） (2020-02-17T18:57:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。